Получение точных трехмерных деталей объектов с помощью одной камеры представляет собой серьезную техническую проблему. Традиционные подходы часто требуют сложных установок с двумя камерами или специфических условий освещения, что делает их непрактичными для многих реальных сценариев использования.
Исследователи из Нанкинского университета разработали прорывную систему стереоскопической поляризационной визуализации моментального снимка (SPSIM), предлагающую новый подход к 3D-изображениям. Эта разработка, представленная в журнале Optica и освещенная на платформе Science X Dialog, объединяет метаповерхностную оптику и искусственный интеллект (ИИ) для извлечения высокодетализированной информации о 3D-форме объектов в реальном времени.
Система SPSIM способна захватывать полные данные о поляризации по Стоксу за один кадр. Это достигается с помощью специально разработанной метаповерхностной линзы, показанной на схеме системы (Рис. 1). Такой подход устраняет необходимость в использовании нескольких поляризаторов или последовательных экспозиций, характерных для обычных методов поляризационной съемки.
Ключевым элементом системы является крупномасштабная поляризационная метаповерхность размером 1.65 × 1.65 мм². Эта метаповерхность (показана на Рис. 2) продемонстрировала коэффициент экстинкции 25 дБ, сравнимый с коммерческими поляризаторами, и беспрецедентную эффективность на центральной длине волны в 65%. Эксперименты подтвердили, что метаповерхность успешно разделяет шесть различных состояний поляризации падающего света, направляя каждый поляризационный компонент в заданную позицию на детекторе. Результаты моделирования полностью совпали с экспериментальными данными, подтверждая высокую производительность в узкополосных условиях.
Обработка захваченных данных осуществляется с помощью нейросетевого конвейера. Важнейшим аспектом является использование данных о круговой поляризации (CP), что значительно повышает точность определения нормалей к поверхности. Система достигает точности определения глубины в пределах 0.15 мм.
Процесс обработки включает предварительный этап для получения однозначных значений зенитного угла (ϑ) и азимутального угла (𝜓) (иллюстрация на Рис. 3). Первичная оценка глубины выполняется с использованием измеренных полных параметров Стокса (FSP), угла поляризации (AOP) и степени поляризации (DOP).
Одной из проблем при реконструкции является неоднозначность азимутального угла (𝜓). Для ее решения используется подход «форма из затенения» (shape-from-shading, SFS) в качестве физического априорного знания. Кроме того, применяется улучшенная модель нейронной сети U-Net, обученная на данных FSP и априорной информации, для высокоточного восстановления нормалей к поверхности.
Эффективность SPSIM была подтверждена в ходе реальных испытаний. Качественный и количественный анализ карт нормалей к поверхности (примеры на Рис. 4a) для тестовых объектов, таких как бутылки и чашки из полимерных материалов, показал высокую чувствительность системы к мелким деталям, которые трудноразличимы для традиционных камер или человеческого глаза при естественном освещении.
Сравнение показало, что нейросетевой подход, используемый в SPSIM, значительно снижает ошибки реконструкции на гладких поверхностях по сравнению с традиционными методами. Эксперименты однозначно подтвердили критическую роль данных о круговой поляризации (CP) для восстановления формы. CP позволяет точно фиксировать тонкие изменения контуров, тогда как ее исключение приводит к значительным ошибкам и потере деталей (сравнение на Рис. 4b и 4c).
Система также продемонстрировала возможность реконструкции полной 3D-текстуры объекта. Это достигается путем съемки объекта с нескольких ракурсов и последующего объединения полученных облаков точек (результат показан на Рис. 5).
Разработка SPSIM представляет собой значительный шаг вперед в области 3D-визуализации высокого разрешения. Компактный и эффективный дизайн системы позволяет осуществлять 3D-реконструкцию поверхности в реальном времени, даже в экстремальных условиях, и делает технологию пригодной для интеграции в портативные устройства.
Потенциальные области применения SPSIM включают дополненную реальность (AR), роботизированное зрение, технологии визуализации следующего поколения, биомедицинскую визуализацию, промышленный контроль и автономные системы.
Изображение носит иллюстративный характер
Исследователи из Нанкинского университета разработали прорывную систему стереоскопической поляризационной визуализации моментального снимка (SPSIM), предлагающую новый подход к 3D-изображениям. Эта разработка, представленная в журнале Optica и освещенная на платформе Science X Dialog, объединяет метаповерхностную оптику и искусственный интеллект (ИИ) для извлечения высокодетализированной информации о 3D-форме объектов в реальном времени.
Система SPSIM способна захватывать полные данные о поляризации по Стоксу за один кадр. Это достигается с помощью специально разработанной метаповерхностной линзы, показанной на схеме системы (Рис. 1). Такой подход устраняет необходимость в использовании нескольких поляризаторов или последовательных экспозиций, характерных для обычных методов поляризационной съемки.
Ключевым элементом системы является крупномасштабная поляризационная метаповерхность размером 1.65 × 1.65 мм². Эта метаповерхность (показана на Рис. 2) продемонстрировала коэффициент экстинкции 25 дБ, сравнимый с коммерческими поляризаторами, и беспрецедентную эффективность на центральной длине волны в 65%. Эксперименты подтвердили, что метаповерхность успешно разделяет шесть различных состояний поляризации падающего света, направляя каждый поляризационный компонент в заданную позицию на детекторе. Результаты моделирования полностью совпали с экспериментальными данными, подтверждая высокую производительность в узкополосных условиях.
Обработка захваченных данных осуществляется с помощью нейросетевого конвейера. Важнейшим аспектом является использование данных о круговой поляризации (CP), что значительно повышает точность определения нормалей к поверхности. Система достигает точности определения глубины в пределах 0.15 мм.
Процесс обработки включает предварительный этап для получения однозначных значений зенитного угла (ϑ) и азимутального угла (𝜓) (иллюстрация на Рис. 3). Первичная оценка глубины выполняется с использованием измеренных полных параметров Стокса (FSP), угла поляризации (AOP) и степени поляризации (DOP).
Одной из проблем при реконструкции является неоднозначность азимутального угла (𝜓). Для ее решения используется подход «форма из затенения» (shape-from-shading, SFS) в качестве физического априорного знания. Кроме того, применяется улучшенная модель нейронной сети U-Net, обученная на данных FSP и априорной информации, для высокоточного восстановления нормалей к поверхности.
Эффективность SPSIM была подтверждена в ходе реальных испытаний. Качественный и количественный анализ карт нормалей к поверхности (примеры на Рис. 4a) для тестовых объектов, таких как бутылки и чашки из полимерных материалов, показал высокую чувствительность системы к мелким деталям, которые трудноразличимы для традиционных камер или человеческого глаза при естественном освещении.
Сравнение показало, что нейросетевой подход, используемый в SPSIM, значительно снижает ошибки реконструкции на гладких поверхностях по сравнению с традиционными методами. Эксперименты однозначно подтвердили критическую роль данных о круговой поляризации (CP) для восстановления формы. CP позволяет точно фиксировать тонкие изменения контуров, тогда как ее исключение приводит к значительным ошибкам и потере деталей (сравнение на Рис. 4b и 4c).
Система также продемонстрировала возможность реконструкции полной 3D-текстуры объекта. Это достигается путем съемки объекта с нескольких ракурсов и последующего объединения полученных облаков точек (результат показан на Рис. 5).
Разработка SPSIM представляет собой значительный шаг вперед в области 3D-визуализации высокого разрешения. Компактный и эффективный дизайн системы позволяет осуществлять 3D-реконструкцию поверхности в реальном времени, даже в экстремальных условиях, и делает технологию пригодной для интеграции в портативные устройства.
Потенциальные области применения SPSIM включают дополненную реальность (AR), роботизированное зрение, технологии визуализации следующего поколения, биомедицинскую визуализацию, промышленный контроль и автономные системы.