Научная группа Техасского университета в Остине разработала инновационную систему искусственного интеллекта, способную преобразовывать мысли человека в текст после короткого сканирования мозга. Исследование, опубликованное 6 февраля в журнале Current Biology, открывает новые перспективы для людей с афазией и другими нарушениями речи.
Ключевое преимущество новой технологии заключается в минимальном времени обучения системы. Если предыдущие версии декодеров требовали многочасового сбора данных с помощью функциональной МРТ, то новый алгоритм нуждается всего в 70 минутах данных от каждого участника.
Александр Хут, соавтор исследования и специалист по вычислительной нейробиологии, вместе с аспирантом Джерри Тангом разработали уникальный метод функционального выравнивания. Система использует базовые данные от участников, прошедших длительное 10-часовое сканирование, и адаптирует их для новых пользователей после короткой калибровки.
Примечательно, что для обучения конвертера можно использовать два различных типа данных: либо 70-минутное прослушивание радиорассказов, либо просмотр немых короткометражных фильмов Pixar. При тестировании декодер успешно преобразовывал мысли участников в семантически связный текст. Например, когда человек думал о неприятной работе в кафе-мороженом, система генерировала текст о скучной работе, которую приходилось выполнять ежедневно.
Юкиясу Камитани, нейробиолог из Киотского университета, отмечает особую значимость исследования: оно демонстрирует существование в мозге единого семантического представления идей, независимо от способа их восприятия – через язык или визуальные образы.
Возможность использовать немые видеоматериалы для обучения языкового декодера стала неожиданным открытием. Это особенно важно для пациентов с афазией, которые не могут длительное время воспринимать или воспроизводить речь во время традиционного обучения системы.
Исследователи планируют протестировать конвертер на пациентах с афазией и разработать интерфейс, который поможет им эффективнее выражать свои мысли. Технология может стать прорывом в области коммуникации для людей с речевыми нарушениями, предоставляя им новый способ взаимодействия с окружающим миром.
Изображение носит иллюстративный характер
Ключевое преимущество новой технологии заключается в минимальном времени обучения системы. Если предыдущие версии декодеров требовали многочасового сбора данных с помощью функциональной МРТ, то новый алгоритм нуждается всего в 70 минутах данных от каждого участника.
Александр Хут, соавтор исследования и специалист по вычислительной нейробиологии, вместе с аспирантом Джерри Тангом разработали уникальный метод функционального выравнивания. Система использует базовые данные от участников, прошедших длительное 10-часовое сканирование, и адаптирует их для новых пользователей после короткой калибровки.
Примечательно, что для обучения конвертера можно использовать два различных типа данных: либо 70-минутное прослушивание радиорассказов, либо просмотр немых короткометражных фильмов Pixar. При тестировании декодер успешно преобразовывал мысли участников в семантически связный текст. Например, когда человек думал о неприятной работе в кафе-мороженом, система генерировала текст о скучной работе, которую приходилось выполнять ежедневно.
Юкиясу Камитани, нейробиолог из Киотского университета, отмечает особую значимость исследования: оно демонстрирует существование в мозге единого семантического представления идей, независимо от способа их восприятия – через язык или визуальные образы.
Возможность использовать немые видеоматериалы для обучения языкового декодера стала неожиданным открытием. Это особенно важно для пациентов с афазией, которые не могут длительное время воспринимать или воспроизводить речь во время традиционного обучения системы.
Исследователи планируют протестировать конвертер на пациентах с афазией и разработать интерфейс, который поможет им эффективнее выражать свои мысли. Технология может стать прорывом в области коммуникации для людей с речевыми нарушениями, предоставляя им новый способ взаимодействия с окружающим миром.
