Американский жестовый язык (ASL) обеспечивает мгновенное общение для глухих и слабослышащих, но зачастую возникают трудности при общении с людьми, незнакомыми с нюансами языка. Первые формы ASL начали развиваться в начале XVIII века, а американская школа для глухих в Хартфорде, Коннектикут, стала родиной этой уникальной системы. Современный ASL используют около 400 000 человек в США, включая значительное число детей глухих родителей, для которых овладение языком требует многих лет обучения.
Разработанный исследовательской группой из Корнеллского университета, новый прибор SpellRing предназначен для преодоления языкового барьера посредством преобразования набора букв в текст в режиме реального времени. Платформа сочетает методы глубокого обучения с микро-сонарными технологиями, позволяя облегчить диалог даже тем, кто не владеет ASL в совершенстве. В основе разработки также лежит опыт предыдущего устройства Ring-a-Pose, что ознаменовало первый шаг к компактному решению.
Кольцо SpellRing представляет собой небольшое устройство, надеваемое на большой палец, заключённое в 3D-печатный корпус размером с четверть. Встроенный микрофон и динамик создают и фиксируют невоспринимаемые ушам звуковые волны, а миниатюрный гироскоп регистрирует движения руки. Данные проходят анализ с помощью компьютерного алгоритма глубокого обучения, преобразующего жесты в отдельные буквы, которые отображаются на экране в режиме реального времени.
В экспериментальной фазе при обучении системы участвовали 20 опытных и начинающих пользователей ASL, в ходе которых было выполнено свыше 20 000 наборов слов. Точность распознавания варьируется от 82% до 92%, в зависимости от длины и сложности слова. Такой результат демонстрирует высокий потенциал технологии для реального применения в повседневном общении.
«Многие технологии, распознающие набор букв в ASL, не получили признания в сообществе глухих и слабослышащих из-за громоздкости оборудования. Мы стремились разработать одно кольцо, способное уловить все тонкие и сложные движения пальцев в американском жестовом языке», – отметил Хюнчхуль Лим, аспирант Корнеллского университета по информационным наукам.
Ассистент-профессор информационных наук Ченг Чжан пояснил: «Существует разрыв между техническим сообществом, создающим инструменты, и целевой аудиторией, использующей их. Мы преодолели часть этого разрыва». Лингвист-исследователь Джейн Лю добавила: «Набор букв, хотя и сложен в техническом отслеживании, представляет лишь небольшую часть американского жестового языка и не отражает всей его сути. До разработки устройств для полного распознавания ASL ещё долгий путь, но это важный шаг в правильном направлении».
В данный момент SpellRing ограничивается распознаванием только набора букв, что является лишь одной составляющей ASL. Для полноценного перевода жестового языка необходимо учитывать мимику, движения верхней части тела и другие невербальные сигналы, ведь ASL включает свыше 4000 уникальных знаковых слов. Перспективы дальнейшей разработки предполагают расширение возможностей устройства и интеграцию микро-сонарной технологии в оправы очков для анализа лицевых и телесных движений.
Изображение носит иллюстративный характер
Разработанный исследовательской группой из Корнеллского университета, новый прибор SpellRing предназначен для преодоления языкового барьера посредством преобразования набора букв в текст в режиме реального времени. Платформа сочетает методы глубокого обучения с микро-сонарными технологиями, позволяя облегчить диалог даже тем, кто не владеет ASL в совершенстве. В основе разработки также лежит опыт предыдущего устройства Ring-a-Pose, что ознаменовало первый шаг к компактному решению.
Кольцо SpellRing представляет собой небольшое устройство, надеваемое на большой палец, заключённое в 3D-печатный корпус размером с четверть. Встроенный микрофон и динамик создают и фиксируют невоспринимаемые ушам звуковые волны, а миниатюрный гироскоп регистрирует движения руки. Данные проходят анализ с помощью компьютерного алгоритма глубокого обучения, преобразующего жесты в отдельные буквы, которые отображаются на экране в режиме реального времени.
В экспериментальной фазе при обучении системы участвовали 20 опытных и начинающих пользователей ASL, в ходе которых было выполнено свыше 20 000 наборов слов. Точность распознавания варьируется от 82% до 92%, в зависимости от длины и сложности слова. Такой результат демонстрирует высокий потенциал технологии для реального применения в повседневном общении.
«Многие технологии, распознающие набор букв в ASL, не получили признания в сообществе глухих и слабослышащих из-за громоздкости оборудования. Мы стремились разработать одно кольцо, способное уловить все тонкие и сложные движения пальцев в американском жестовом языке», – отметил Хюнчхуль Лим, аспирант Корнеллского университета по информационным наукам.
Ассистент-профессор информационных наук Ченг Чжан пояснил: «Существует разрыв между техническим сообществом, создающим инструменты, и целевой аудиторией, использующей их. Мы преодолели часть этого разрыва». Лингвист-исследователь Джейн Лю добавила: «Набор букв, хотя и сложен в техническом отслеживании, представляет лишь небольшую часть американского жестового языка и не отражает всей его сути. До разработки устройств для полного распознавания ASL ещё долгий путь, но это важный шаг в правильном направлении».
В данный момент SpellRing ограничивается распознаванием только набора букв, что является лишь одной составляющей ASL. Для полноценного перевода жестового языка необходимо учитывать мимику, движения верхней части тела и другие невербальные сигналы, ведь ASL включает свыше 4000 уникальных знаковых слов. Перспективы дальнейшей разработки предполагают расширение возможностей устройства и интеграцию микро-сонарной технологии в оправы очков для анализа лицевых и телесных движений.
