Разработчики столкнулись с задачей оперативного создания системы распознавания телефонных номеров непосредственно на мобильных устройствах для демонстрации на ИТ-фестивале. Ограничения во времени и необходимость автономности, из-за возможных проблем с интернетом, привели к выбору on-device подхода. Приложение, разработанное на SwiftUI, использовало связку TensorFlowLite, Accelerate и Metal для распознавания, а также WebSocket для соединения с сервером, заменив ненадежный Multipeer Connectivity.
Первоначально для распознавания использовался фреймворк Vision от Apple, но столкнувшись с проблемами неточного распознавания, особенно рукописных номеров, было решено задействовать собственные, более точные ML-модели. В результате был разработан пайплайн из трех моделей: кроппера, сегментера и OCR, которые работали совместно для выделения, маскировки и последующего распознавания текста номера телефона.
Для оптимизации производительности использовался фреймворк Metal, позволивший проводить вычисления на GPU, а также были реализованы собственные шейдеры для ускорения процесса поиска связанных компонентов в изображении. Были применены перспективные трансформации для выравнивания текста перед отправкой в OCR.
Несмотря на успешное решение основной задачи, возникли трудности с перегревом мобильных устройств из-за постоянной работы моделей, связи с сервером и включенного экрана. Проблема была решена путем отказа от постоянной зарядки. Итоговая система показала высокую точность и скорость распознавания, превысив по времени человека в 7,5 раза.
Изображение носит иллюстративный характер
Первоначально для распознавания использовался фреймворк Vision от Apple, но столкнувшись с проблемами неточного распознавания, особенно рукописных номеров, было решено задействовать собственные, более точные ML-модели. В результате был разработан пайплайн из трех моделей: кроппера, сегментера и OCR, которые работали совместно для выделения, маскировки и последующего распознавания текста номера телефона.
Для оптимизации производительности использовался фреймворк Metal, позволивший проводить вычисления на GPU, а также были реализованы собственные шейдеры для ускорения процесса поиска связанных компонентов в изображении. Были применены перспективные трансформации для выравнивания текста перед отправкой в OCR.
Несмотря на успешное решение основной задачи, возникли трудности с перегревом мобильных устройств из-за постоянной работы моделей, связи с сервером и включенного экрана. Проблема была решена путем отказа от постоянной зарядки. Итоговая система показала высокую точность и скорость распознавания, превысив по времени человека в 7,5 раза.
