Высокоточное отслеживание движений глаз остается сложной задачей, несмотря на его критическую важность для множества современных технологий. Оно необходимо для новейших гарнитур виртуальной (VR) и дополненной (AR) реальности, индустрии развлечений, научных исследований, медицины, поведенческих наук, систем помощи водителю в автомобилях и промышленной инженерии. Достижение необходимой точности в этой области представляет собой серьезный технологический вызов.
Решение предложено исследователями из Оптического колледжа Уайанта при Университете Аризоны (University of Arizona Wyant College of Optical Sciences). Команда под руководством Флориана Вилломитцера (Florian Willomitzer), доцента оптических наук, и первого автора Цзячжана Вана (Jiazhang Wang), постдокторанта в лаборатории Вилломитцера (U of A Computational 3D Imaging and Measurement Lab), разработала инновационный подход. Проект зародился в Северо-Западном университете (NorthweStеrn University), где ранее работали Вилломитцер и Ван. Соавторами исследования, опубликованного в журнале Nature Communications, выступили Оливер Коссэйрт (Oliver Cossairt), адъюнкт-профессор электротехники и компьютерной инженерии, а также бывшие студенты Северо-Западного университета Тяньфу Ван (Tianfu Wang) и Бинцзе Сюй (Bingjie Xu).
В основе нового метода лежит дефлектометрия — мощная технология 3D-визуализации, предназначенная для измерения отражающих поверхностей с очень высокой точностью. Традиционно ее применяют для сканирования зеркал больших телескопов и высокопроизводительной оптики на предмет дефектов. Исследователи развили это направление, создав то, что Вилломитцер назвал «вычислительной дефлектометрией».
Вычислительная дефлектометрия объединяет классическую дефлектометрию с передовыми вычислительными методами, часто заимствованными из области компьютерного зрения. По словам Флориана Вилломитцера, этот подход позволяет машинам «видеть невидимое», наделяя их «сверхчеловеческим зрением». Помимо отслеживания взгляда, технология уже применяется для анализа произведений искусства, 3D-визуализации поражений кожи с помощью планшетов.
Система использует экран, отображающий известные структурированные световые узоры, вместо нескольких инфракрасных точечных источников света, применяемых в традиционных методах. Каждый пиксель на экране (а их более миллиона) потенциально может служить отдельным источником света. Анализируя деформацию этих узоров при отражении от поверхности глаза, система получает точные и плотные 3D-данные о роговице (покрывающей зрачок) и склере (белой области вокруг зрачка).
Затем, используя методы вычислительной реконструкции, полученные данные о поверхности и известные геометрические ограничения оптической оси глаза, система с высокой точностью предсказывает направление взгляда. Конкретно применяется стерео-дефлектометрия в сочетании с новыми алгоритмами оптимизации поверхности. Важным преимуществом является то, что метод не требует строгих предположений о форме или поверхности глаза конкретного пользователя, учитывая индивидуальные различия.
Ключевое преимущество подхода на основе дефлектометрии заключается в значительно большем объеме получаемых данных. Если существующие методы фиксируют информацию о направлении взгляда по нескольким (максимум около дюжины) разреженным точкам на поверхности глаза, то новый метод использует данные с более чем 40 000 точек поверхности (теоретически — миллионы) из одного мгновенного снимка камеры. Это увеличивает объем собираемых данных более чем в 3000 раз по сравнению с обычными подходами.
Большее количество точек данных обеспечивает значительно больше информации для потенциально гораздо более точной оценки направления взгляда. Дополнительно, это позволяет упростить систему, например, используя встроенные узоры или визуальный контент непосредственно в VR/AR-устройствах. Побочным, но ценным результатом работы системы является создание плотной и точной реконструкции поверхности глаза.
Первые эксперименты с участием людей и использованием реалистичной модели искусственного глаза показали многообещающие результаты. Точность отслеживания взгляда у людей составила от 0,46 до 0,97 градуса, что сравнимо или превосходит коммерческие системы. На модели искусственного глаза погрешность составила всего около 0,1 градуса. По данным исследователей, это первое известное применение дефлектометрии для отслеживания движений глаз.
Технология имеет огромный потенциал для VR/AR-приложений следующего поколения. Детальная реконструкция поверхности глаза открывает возможности для диагностики и коррекции специфических глазных заболеваний «на лету». Также предвидятся применения в нейробиологических исследованиях и психологии.
В планах команды — интеграция технологии в системы VR/AR с использованием встроенных световых паттернов или самого визуального контента. Рассматривается переход на инфракрасный свет, чтобы не отвлекать пользователей видимым светом. Дальнейшая работа будет включать инженерные усовершенствования, оптимизацию алгоритмов, встраивание других методов 3D-реконструкции и использование искусственного интеллекта для улучшения техники. Флориан Вилломитцер ставит целью приблизиться к точности в 0,1 градуса, достигнутой в экспериментах с моделью глаза.
На технологию подана заявка на патент, и планируется ее коммерциализация через Tech Launch Arizona, организацию при Университете Аризоны. Разработка призвана проложить путь к новой эре надежного и точного отслеживания взгляда, стимулируя волну технологий нового поколения в этой области.
Решение предложено исследователями из Оптического колледжа Уайанта при Университете Аризоны (University of Arizona Wyant College of Optical Sciences). Команда под руководством Флориана Вилломитцера (Florian Willomitzer), доцента оптических наук, и первого автора Цзячжана Вана (Jiazhang Wang), постдокторанта в лаборатории Вилломитцера (U of A Computational 3D Imaging and Measurement Lab), разработала инновационный подход. Проект зародился в Северо-Западном университете (NorthweStеrn University), где ранее работали Вилломитцер и Ван. Соавторами исследования, опубликованного в журнале Nature Communications, выступили Оливер Коссэйрт (Oliver Cossairt), адъюнкт-профессор электротехники и компьютерной инженерии, а также бывшие студенты Северо-Западного университета Тяньфу Ван (Tianfu Wang) и Бинцзе Сюй (Bingjie Xu).
В основе нового метода лежит дефлектометрия — мощная технология 3D-визуализации, предназначенная для измерения отражающих поверхностей с очень высокой точностью. Традиционно ее применяют для сканирования зеркал больших телескопов и высокопроизводительной оптики на предмет дефектов. Исследователи развили это направление, создав то, что Вилломитцер назвал «вычислительной дефлектометрией».
Вычислительная дефлектометрия объединяет классическую дефлектометрию с передовыми вычислительными методами, часто заимствованными из области компьютерного зрения. По словам Флориана Вилломитцера, этот подход позволяет машинам «видеть невидимое», наделяя их «сверхчеловеческим зрением». Помимо отслеживания взгляда, технология уже применяется для анализа произведений искусства, 3D-визуализации поражений кожи с помощью планшетов.
Система использует экран, отображающий известные структурированные световые узоры, вместо нескольких инфракрасных точечных источников света, применяемых в традиционных методах. Каждый пиксель на экране (а их более миллиона) потенциально может служить отдельным источником света. Анализируя деформацию этих узоров при отражении от поверхности глаза, система получает точные и плотные 3D-данные о роговице (покрывающей зрачок) и склере (белой области вокруг зрачка).
Затем, используя методы вычислительной реконструкции, полученные данные о поверхности и известные геометрические ограничения оптической оси глаза, система с высокой точностью предсказывает направление взгляда. Конкретно применяется стерео-дефлектометрия в сочетании с новыми алгоритмами оптимизации поверхности. Важным преимуществом является то, что метод не требует строгих предположений о форме или поверхности глаза конкретного пользователя, учитывая индивидуальные различия.
Ключевое преимущество подхода на основе дефлектометрии заключается в значительно большем объеме получаемых данных. Если существующие методы фиксируют информацию о направлении взгляда по нескольким (максимум около дюжины) разреженным точкам на поверхности глаза, то новый метод использует данные с более чем 40 000 точек поверхности (теоретически — миллионы) из одного мгновенного снимка камеры. Это увеличивает объем собираемых данных более чем в 3000 раз по сравнению с обычными подходами.
Большее количество точек данных обеспечивает значительно больше информации для потенциально гораздо более точной оценки направления взгляда. Дополнительно, это позволяет упростить систему, например, используя встроенные узоры или визуальный контент непосредственно в VR/AR-устройствах. Побочным, но ценным результатом работы системы является создание плотной и точной реконструкции поверхности глаза.
Первые эксперименты с участием людей и использованием реалистичной модели искусственного глаза показали многообещающие результаты. Точность отслеживания взгляда у людей составила от 0,46 до 0,97 градуса, что сравнимо или превосходит коммерческие системы. На модели искусственного глаза погрешность составила всего около 0,1 градуса. По данным исследователей, это первое известное применение дефлектометрии для отслеживания движений глаз.
Технология имеет огромный потенциал для VR/AR-приложений следующего поколения. Детальная реконструкция поверхности глаза открывает возможности для диагностики и коррекции специфических глазных заболеваний «на лету». Также предвидятся применения в нейробиологических исследованиях и психологии.
В планах команды — интеграция технологии в системы VR/AR с использованием встроенных световых паттернов или самого визуального контента. Рассматривается переход на инфракрасный свет, чтобы не отвлекать пользователей видимым светом. Дальнейшая работа будет включать инженерные усовершенствования, оптимизацию алгоритмов, встраивание других методов 3D-реконструкции и использование искусственного интеллекта для улучшения техники. Флориан Вилломитцер ставит целью приблизиться к точности в 0,1 градуса, достигнутой в экспериментах с моделью глаза.
На технологию подана заявка на патент, и планируется ее коммерциализация через Tech Launch Arizona, организацию при Университете Аризоны. Разработка призвана проложить путь к новой эре надежного и точного отслеживания взгляда, стимулируя волну технологий нового поколения в этой области.