Ssylka

Мультимодальный анализ каталогов с использованием LLM и VLM

Традиционные методы каталогизации и сопоставления товаров часто оказываются недостаточными из-за неструктурированных и разнообразных описаний, а также из-за наличия важной информации на изображениях. Применение LLM (больших языковых моделей) и VLM (моделей зрения и языка) позволяет автоматизировать извлечение атрибутов из текста и изображений, таких как цвет, материал, размер и стиль, а также их сочетаний, даже если они неявно представлены в описаниях. Это улучшает точность сопоставления и классификации товаров.
Мультимодальный анализ каталогов с использованием LLM и VLM
Изображение носит иллюстративный характер

Ключевым этапом является извлечение атрибутов. LLM анализируют текстовые описания, выделяя существенные характеристики (бренд, модель, цвет) и даже синтетические атрибуты (стиль выреза, состояние товара). VLM анализируют изображения, выявляя особенности, которые сложно описать словами (форма, текстура, дизайн). Комбинация текстовых и визуальных данных обеспечивает более полное понимание товара.

После извлечения атрибутов LLM используются для сопоставления. Модели могут сравнивать товары на основе как явных сходств (один и тот же бренд и размер), так и неявных (экологичность). VLM улучшают процесс сопоставления, обрабатывая визуальные особенности, такие как цвет, узор и форма. Сопоставление основано на заданных параметрах, допускающих незначительные отклонения.

Применение LLM и VLM для обработки каталогов увеличивает точность сопоставления, обрабатывает разнообразные данные, но требует значительных вычислительных ресурсов и может быть медленным в реальном времени. Оптимизация производительности включает в себя использование меньших моделей, обученных на специализированных наборах данных, квантизацию, а также fine-tuning моделей для отдельных категорий. Важно учитывать языковые особенности и необходимость локального размещения моделей для больших объемов данных.


Новое на сайте

14783Птицы от рассвета до заката: персональная выставка Джима мойра в Lady Lever Art Gallery 14782Новая жизнь фасада: надежда и история на стенах кинотеатра ABC 14781Поворот в доступности абортов: как законы и технологии меняют картину в США 14780Что стало с лицом Lil Nas X? 14779Взлом аккаунта министра: криптовалютная афера на платформе X 14778Google под прицелом антимонопольной комиссии Японии 14777Хор для тех, кто не умеет петь: как Zest Choir меняет отношение к музыке 14776Поглотила ли покупка Instagram конкуренцию на рынке соцсетей? 14775Как у прилавка с суши возникла уэльская морская трава? 14774Почему муравьи становятся новой целью международных браконьеров? 14773Как пятеро друзей из Dude Perfect стали символом семейного развлечения? 14772Может ли Хельсинки стать новой столицей европейских стартапов? 14771Кто стоял за великой железнодорожной кражей: элита преступного мира? 14770Meta возобновляет обучение искусственного интеллекта на публичных данных европейских...