Как ни странно, то, как мы обрабатываем зрение и звук, в разной степени не синхронизировано для разных людей и задач, согласно новому исследованию Сити, Лондонского университета.
Изучая эффект, исследователи обнаружили, что понимание речи иногда может улучшиться на целых 10 процентов, когда звук задерживается по сравнению со зрением, и что разные люди постоянно имеют уникально разные оптимальные задержки для разных задач.
В результате авторы предполагают, что индивидуальная настройка задержки звука с помощью слухового аппарата или кохлеарного имплантата или настройки компьютерного медиаплеера может иметь значительные преимущества для понимания речи и получения удовольствия от мультимедиа. Исследование опубликовано в Journal of Experimental Psychology: Human Perception and Performance.
Когда исследователи из Сити глубже изучили этот феномен, они продолжали обнаруживать очень любопытную закономерность: разные задачи выигрывают от противоположных задержек, даже в одном и том же человеке. Например, чем больше зрение человека отстает от его прослушивания при выполнении одной задачи (e.грамм., распознавание звуков речи), и наоборот, чем больше вероятность того, что их прослушивание будет отставать от зрения при выполнении других задач (e.грамм., решая, следуют ли губы за голосом говорящего или предшествуют ему). Это открытие дает новое понимание того, как мы определяем, когда события на самом деле происходят в мире, и природу восприятия времени в мозгу.
Когда мы видим и слышим, как человек говорит, сенсорные сигналы проходят разными путями от наших глаз и ушей через мозг. Аудиовизуальная асинхронность, измеренная в этом исследовании, может возникать из-за того, что эти сенсорные сигналы поступают в разные пункты назначения в мозгу в разное время.
Но как тогда мы когда-либо узнаем, когда в мире действительно произошли физические речевые события?? У мозга должен быть способ решить эту проблему, учитывая, что мы все еще можем судить, синхронизированы ли исходные события с разумной точностью. Например, мы часто можем легко определить, когда у фильмов плохая синхронизация губ.
Ведущий автор д-р. Эллиот Фриман, старший преподаватель кафедры психологии Сити Лондонского университета, предлагает решение, основанное на аналогичной проблеме «нескольких часов»: "Представьте, что вы стоите в антикварном магазине, полном часов, и хотите знать, сколько сейчас времени. Ваше лучшее предположение исходит из среднего значения по часам. Однако, если одни часы особенно медленные, другие будут казаться более быстрыми по сравнению с ними.
"В нашей новой теории, которую мы называем «временной перенормировкой», «часы» аналогичны различным механизмам в мозгу, каждый из которых воспринимает зрение и звук не синхронно: но если один из таких механизмов подвержен слуховой задержке, это приведет к смещению среднее значение, по сравнению с которым другие механизмы могут иметь визуальную задержку. Эта теория объясняет любопытный вывод о том, что разные задачи показывают противоположные задержки; это также может объяснить, как мы узнаем, когда события в мире действительно происходят, несмотря на то, что наш мозг имеет множество противоречивых оценок их времени."
В своих экспериментах исследователи представили участникам аудиовизуальные фильмы, в которых человек произносит слоги, слова или предложения, изменяя при этом асинхронность голоса относительно движений губ. Для каждого фильма они измеряли свою точность определения произнесенных слов или то, насколько сильно движения губ влияют на то, что было слышно.
В последнем случае исследователи использовали иллюзию Мак-Герка, где, например, фонема «ба» звучит как «да», когда не соответствует движениям губ для «га». Затем они могли оценить асинхронность, которая привела к максимальной точности или сильнейшей иллюзии Мак-Герка. В отдельном задании они также попросили участников оценить, был ли голос до или после движений губ, на основании чего они могли оценить субъективную асинхронность.
Говоря об исследовании, доктор. Фриман сказал: "Мы часто предполагаем, что лучший способ понять речь – это сопоставить то, что мы слышим, с движениями губ, и что это лучше всего работает, когда зрение и звук одновременны. Однако наше новое исследование подтверждает, что зрение и звук действительно не синхронизированы в разной степени у разных людей. Мы также обнаружили, что для некоторых людей ручная задержка голоса относительно движений губ может улучшить понимание речи и точность идентификации слов на 10% и более.
"В этом документе также представлен новый автоматизированный метод оценки индивидуальных аудиовизуальных асинхронностей, который можно администрировать через Интернет или через «приложение». После измерения асинхронности восприятия человека ее можно искусственно скорректировать с помощью заданной задержки. Это может быть реализовано через слуховой аппарат, кохлеарный имплант или настройку на компьютерном медиаплеере с потенциальными преимуществами для понимания речи и просмотра мультимедиа.
"Асинхронное восприятие может влиять на когнитивные способности, и в будущих исследованиях можно будет изучить его связь с шизотипическими чертами личности, чертами аутистического спектра и дислексией."