Как маркетплейс Wildberries находит одинаковые товары от разных продавцов для предложения более выгодной цены или быстрой доставки? Процесс начинается с отбора кандидатов на основе текстовых и визуальных данных, которые преобразуются в эмбеддинги и обрабатываются алгоритмами ближайшего соседства. На этом этапе используются модели E5-small и Vit-H, а также реализация Faiss на GPU для ускорения поиска.
Затем, на этапе классификации, отбираются точные дубликаты с помощью двух моделей: Bi-encoder и Cross-encoder. Bi-encoder, обученный для каждой категории товаров, опирается на эмбеддинги, а Cross-encoder использует текстовые описания, исключая шумные данные. Использование двухэтапной модели позволяет достичь баланса между точностью и скоростью работы.
Для уточнения результатов применяется графовый анализ. Используя алгоритмы выделения сообществ, система объединяет товары в полносвязные группы и отсекает слабые связи, тем самым повышая точность и качество результатов.
Финальный результат: более трети из 130 миллионов товаров идентифицированы как дубликаты. Обновление алгоритмов, замена моделей, применение mmap + Faiss, а также добавление этапа Cross-encoder значительно повлияли на метрики, в частности, на точность и выручку.
Изображение носит иллюстративный характер
Затем, на этапе классификации, отбираются точные дубликаты с помощью двух моделей: Bi-encoder и Cross-encoder. Bi-encoder, обученный для каждой категории товаров, опирается на эмбеддинги, а Cross-encoder использует текстовые описания, исключая шумные данные. Использование двухэтапной модели позволяет достичь баланса между точностью и скоростью работы.
Для уточнения результатов применяется графовый анализ. Используя алгоритмы выделения сообществ, система объединяет товары в полносвязные группы и отсекает слабые связи, тем самым повышая точность и качество результатов.
Финальный результат: более трети из 130 миллионов товаров идентифицированы как дубликаты. Обновление алгоритмов, замена моделей, применение mmap + Faiss, а также добавление этапа Cross-encoder значительно повлияли на метрики, в частности, на точность и выручку.
