Недавнее исследование, опубликованное 7 марта в журнале Nature Human Behaviour, демонстрирует потенциал искусственного интеллекта в декодировании сложной мозговой активности, возникающей при повседневном общении.
Используемая модель Whisper преобразует аудиофайлы в текст посредством статистического сопоставления, не опираясь на заранее заданные языковые структуры, такие как фонемы или части речи. Несмотря на отсутствие явного программного обеспечения языковых признаков, модель самостоятельно выявляет сложные языковые паттерны.
Основной интерес исследования заключался в изучении механизмов человеческого восприятия и производства речи, а также в сопоставлении этих процессов с работой искусственных нейросетей. Ведущий автор исследования, Ариэль Голдштейн, отметил: «Результаты исследования свидетельствуют о том, что когнитивные процессы можно интерпретировать через призму статистических моделей».
Реальные данные для анализа были получены у четырех пациентов с эпилепсией, которым в рамках клинических показаний имплантировали от 104 до 255 электродов для мониторинга мозговой активности. Записи, охватывающие свыше 100 часов живой аудиокорреспонденции во время больничного пребывания, позволили изучить естественные процессы коммуникации вне лабораторных условий.
Анализ показал, что область верхней височной извилины активизируется при восприятии звуковой информации, в то время как нижняя лобная извилина отвечает за интерпретацию смысла. Наблюдалась четкая временная последовательность: сначала активировалась зона слухового восприятия, а затем – область смысловой обработки. Дополнительно отмечено, что некоторые участки мозга задействуются в функциях, не являющихся их основной специализацией, что подтверждает распределенную модель обработки информации.
Использование 80% записанного аудио для обучения модели Whisper позволило предсказывать мозговую активность для оставшихся 20% данных. Полученные результаты значительно превосходили показатели традиционных моделей, основанных на фиксированных языковых структурах, демонстрируя, что алгоритму удалось самостоятельно обнаружить и использовать ключевые языковые признаки.
Эксперты высоко оценили полученные данные. Леонард Шильбах из Мюнхенского центра нейронауки охарактеризовал исследование как прорыв, связывающий вычислительные модели преобразования звука в речь с функциями мозга, а ассоциированный профессор Гашпер Бегуш из Университета Калифорнии в Беркли подчеркнул, что сравнение биологических и искусственных нейронных сетей открывает новые перспективы в разработке экспериментальных методик.
Данное исследование демонстрирует, что современные языковые модели искусственного интеллекта способны не только эффективно обрабатывать речь, но и предоставлять уникальное окно в понимание нейронных механизмов человеческого общения, что может стать основой для усовершенствования технологий распознавания речи и создания вспомогательных коммуникационных устройств.
Изображение носит иллюстративный характер
Используемая модель Whisper преобразует аудиофайлы в текст посредством статистического сопоставления, не опираясь на заранее заданные языковые структуры, такие как фонемы или части речи. Несмотря на отсутствие явного программного обеспечения языковых признаков, модель самостоятельно выявляет сложные языковые паттерны.
Основной интерес исследования заключался в изучении механизмов человеческого восприятия и производства речи, а также в сопоставлении этих процессов с работой искусственных нейросетей. Ведущий автор исследования, Ариэль Голдштейн, отметил: «Результаты исследования свидетельствуют о том, что когнитивные процессы можно интерпретировать через призму статистических моделей».
Реальные данные для анализа были получены у четырех пациентов с эпилепсией, которым в рамках клинических показаний имплантировали от 104 до 255 электродов для мониторинга мозговой активности. Записи, охватывающие свыше 100 часов живой аудиокорреспонденции во время больничного пребывания, позволили изучить естественные процессы коммуникации вне лабораторных условий.
Анализ показал, что область верхней височной извилины активизируется при восприятии звуковой информации, в то время как нижняя лобная извилина отвечает за интерпретацию смысла. Наблюдалась четкая временная последовательность: сначала активировалась зона слухового восприятия, а затем – область смысловой обработки. Дополнительно отмечено, что некоторые участки мозга задействуются в функциях, не являющихся их основной специализацией, что подтверждает распределенную модель обработки информации.
Использование 80% записанного аудио для обучения модели Whisper позволило предсказывать мозговую активность для оставшихся 20% данных. Полученные результаты значительно превосходили показатели традиционных моделей, основанных на фиксированных языковых структурах, демонстрируя, что алгоритму удалось самостоятельно обнаружить и использовать ключевые языковые признаки.
Эксперты высоко оценили полученные данные. Леонард Шильбах из Мюнхенского центра нейронауки охарактеризовал исследование как прорыв, связывающий вычислительные модели преобразования звука в речь с функциями мозга, а ассоциированный профессор Гашпер Бегуш из Университета Калифорнии в Беркли подчеркнул, что сравнение биологических и искусственных нейронных сетей открывает новые перспективы в разработке экспериментальных методик.
Данное исследование демонстрирует, что современные языковые модели искусственного интеллекта способны не только эффективно обрабатывать речь, но и предоставлять уникальное окно в понимание нейронных механизмов человеческого общения, что может стать основой для усовершенствования технологий распознавания речи и создания вспомогательных коммуникационных устройств.
