Модель SAMURAI для визуального трекинга объектов представляет собой значительный шаг вперед по сравнению с предшествующими моделями SAM и SAM-2. SAM изначально предназначался для сегментации изображений на основе различных подсказок (текст, точки, bounding box, маски), а SAM-2 адаптировал эту архитектуру для видео, используя механизм памяти для отслеживания объектов во времени.
Основная инновация SAMURAI заключается в интеграции модели движения на основе фильтра Калмана, что значительно повышает точность отслеживания. Фильтр Калмана использует как предсказания модели, так и информацию о движении объекта, минимизируя влияние ошибок и неопределенности при отслеживании. Также введена система отбора кадров для памяти, которая отбрасывает кадры с плохим качеством.
SAMURAI использует оценку предсказанных масок с учетом их соответствия модели движения и уверенности в наличии объекта. Маска с наибольшим взвешенным скором на основе этих факторов выбирается для дальнейшего отслеживания. Усовершенствование памяти позволяет избегать накопления ошибок из-за хранения некачественных кадров, что было проблемой у SAM-2.
Благодаря этим улучшениям, SAMURAI демонстрирует высокую эффективность в задачах отслеживания объектов, особенно в сложных условиях с переполненными сценами, быстро движущимися объектами, и объектами, похожими друг на друга. Модель на основе фильтра Калмана и улучшенная память позволили достичь впечатляющих результатов в области zero-shot трекинга, что выводит ее на уровень конкурентоспособности с supervised-решениями.
Изображение носит иллюстративный характер
Основная инновация SAMURAI заключается в интеграции модели движения на основе фильтра Калмана, что значительно повышает точность отслеживания. Фильтр Калмана использует как предсказания модели, так и информацию о движении объекта, минимизируя влияние ошибок и неопределенности при отслеживании. Также введена система отбора кадров для памяти, которая отбрасывает кадры с плохим качеством.
SAMURAI использует оценку предсказанных масок с учетом их соответствия модели движения и уверенности в наличии объекта. Маска с наибольшим взвешенным скором на основе этих факторов выбирается для дальнейшего отслеживания. Усовершенствование памяти позволяет избегать накопления ошибок из-за хранения некачественных кадров, что было проблемой у SAM-2.
Благодаря этим улучшениям, SAMURAI демонстрирует высокую эффективность в задачах отслеживания объектов, особенно в сложных условиях с переполненными сценами, быстро движущимися объектами, и объектами, похожими друг на друга. Модель на основе фильтра Калмана и улучшенная память позволили достичь впечатляющих результатов в области zero-shot трекинга, что выводит ее на уровень конкурентоспособности с supervised-решениями.
