왜 그렇게 많은 사람들이 자막 없이 TV 시리즈를 시청할 때 또렷하게 듣는 데 어려움을 겪는 걸까요?

가능한 설명을 들어보겠습니다.

다른 사람이 말하는 내용을 들을 수 없거나 명확하게 들을 수 없는 경우 정보를 어떻게 해석합니까? 때로는 문맥을 통해 이해하기도 하고, 때로는 상대방의 동기를 추측하기도 하며, 때로는 입 모양을 보기도 합니다.

고전적인 예는 린단의 '콘돔 파는' 애니메이션 표현이다.

자막을 읽지 않고 입 모양만 봐도 린단이 욕했다는 걸 알 수 있는데, 자막을 추가하는 것은 린단이 말한 내용이 거의 맞다는 것을 알려주는 추가 정보를 제공하는 것과 같습니다. 그리고 당신은 Lin Dan이 정말로 "콘돔 판매"에 대해 이야기하고 있다는 것을 느낄 것입니다.

자막을 더빙으로 대체한다면 이는 우리가 탐구해야 할 문제입니다. 물론 상황은 훨씬 더 복잡합니다. 우리가 보는 입 모양과 우리가 듣는 소리 사이에는 상호 작용이 있습니다.

영국의 심리학자 해리 맥거크가 영상을 준비하고 있을 때 주인공이 바 소리를 내고 가 입 모양을 만들었습니다. 놀랍게도 모든 사람들은 자신이 듣는 것이 ba 또는 ga가 아니라 da라고 생각합니다. 소리만 듣거나 관련 없는 그림을 재생하면 da는 마술처럼 사라집니다.

McGurk는 이것이 우연이 아니라는 것을 깨달았습니다. 여느 심리학자와 마찬가지로 그는 신속하게 실험을 고안했습니다.

그는 텔레비전을 수리하는 동안 혼잣말을 하는 여성의 영상을 준비했습니다. 후처리 결과 입 모양과 목소리가 일치하지 않았습니다. 이 배열에는 네 가지 그룹이 있습니다:

바의 입 모양 – 가 소리

가의 입 모양 – 바 소리

ka의 입 모양 - pa의 소리

pa의 입 모양 - ka의 소리

피험자를 두 그룹으로 나누어 한 그룹은 동영상을 보고, 한 그룹은 듣는 그룹으로 나누었습니다. 사운드는 그냥 듣기만 하고 다른 하나는 두 가지 방법으로 사운드를 테스트했습니다. 그들의 임무는 그들이 들은 것을 보고하는 것입니다.

실험 결과는 명확합니다. 소리만 들었을 때는 90% 이상의 피험자가 정답을 맞췄지만, 영상을 시청한 피험자의 오류율은 매우 높았습니다. 어린이의 경우 50%가 넘었고, 성인의 경우 오류율이 92%에 달해 시각 정보인 입 모양이 청각 정보에 대한 인식에 영향을 미친다는 사실이 실험을 통해 입증됐다. McGurk는 자신의 연구 결과를 Nature 저널에 발표했으며, 이 효과는 그의 이름을 따서 명명되었으며 "McGurk 효과"라고 ​​불립니다.

추가 연구에서는 McGurk 효과가 우리가 생각했던 것보다 더 광범위하게 퍼져 있음을 보여줍니다.

효과가 존재한다는 것을 알고 있더라도 다른 사람들이 당신을 연구할 것이고 당신이 20년이 지난 후에도 여전히 이를 경험할 수 있습니다. 초기 연구에서는 음절만 사용했지만 이후 연구에서는 단어도 McGurk 효과를 생성할 수 있음이 확인되었습니다.

지금까지는 "McGurk 효과"가 존재합니다. 하지만 효과의 강도는 언어마다 다릅니다. 서구 국가의 효과 강도는 중국과 일본보다 훨씬 높습니다.

5개월 정도 된 아기도 그럴 수 있습니다. 이미 "McGurk 효과"를 표현하고 있습니다. 사실 McGurk의 원래 의도는 유아 언어 발달을 연구하는 것이었습니다. 그리고 이것이 우리의 문제에 대한 가능한 설명입니다. 많은 사람들이 자막 없이 TV 시리즈를 명확하게 듣기 어렵다고 느끼는 이유는 "맥거크 효과" 때문입니다.

드라마를 볼 때 자막이 있으면 모든 것이 쉽게 설명되지만, 자막이 없으면 극중 인물의 대사를 해석하는 최종 권한이 '맥거크'다. TV 시리즈에서는 입 모양과 소리의 작은 차이가 그 의미를 이해하려고 할 때 우리 뇌를 혼란스럽게 할 수 있습니다. 일관성 없는 시각 및 청각 정보가 제3의 완전히 새로운 소리로 통합되며 이는 분명히 우리의 이해에 도움이 되지 않습니다. 오히려 그 의미는 우리가 명확하게 들을 수 없다는 느낌을 줍니다.