В этом месяце Фонд содействия инновациям выбрал SearchBooster (дочерний проект MediaNation, сервис умного поиска для интернет-магазинов) победителем гранта на разработку поиска товаров по картинке в рамках национальной программы «Цифровая экономика». Проект задействует технологии машинного обучения, нейросетей и алгоритмы компьютерного зрения и будет доступен для внедрения на веб-сайты в мае следующего года. Информация о результатах отбора проектов и победителях опубликована на сайте фонда. 

Новая технология пригодится интернет-магазинам с ассортиментом более 500 товаров. Она поможет посетителям сайтов быстрее находить нужные им товары в большом каталоге и повысит конверсию интернет-магазина.

У проекта SearchBooster есть и западные конкуренты — Multisearch, Algolia и другие разработчики умного поиска. Однако в связи с последними событиями они покинули рынок. Большинство этих систем направлены только на текстовый поиск, где возможность визуального подбора товара отсутствует. Можно выделить только похожий западный патент — это Google Vision API. Однако в нем компаниям придется самостоятельно настраивать индексацию и внедрять функцию на сайт. А проект SearchBooster будет предлагать комплексный и готовый к установке программный продукт.

Другие решения являются локальными технологиями конкретных интернет-магазинов. В частности, подобную функцию внедрил у себя на сайте Ebay. С ее помощью покупатели могут использовать изображения для поиска товаров среди 1,2 миллиарда позиций в каталоге. А уже через год у всех российских ecommerce-проектов появится возможность реализовать подобный функционал.

Чтобы найти нужный товар, пользователю будет предложено сделать имеющуюся или загрузить существующую фотографию с изображением товара в панель поиска. Далее алгоритмы на основе машинного обучения и ИИ проанализируют загруженное фото и подберут список максимально похожих товаров в режиме реального времени. Пользователь сможет сфотографировать вещь на улице или в любом другом месте, сразу же найти ее в каталоге и тут же сделать заказ. Точность определения основного объекта на фотографии — не менее 95%, а скорость поиска не будет превышать 10 секунд.

Проект будет реализован в два этапа:

Этап 1 (май — ноябрь 2022). За первое полугодия специалисты SearchBooster научат умные алгоритмы удалять фон и определять главный объект на фотографии. Будут реализованы и протестированы инженерно-технические решения для очистки фона на изображении и выделения основного объекта. А также будет выбрана наиболее подходящая архитектура нейронной сети с последующим обучением на основе существующих наборов данных. Затем произойдет интеграция модулей определения основного объекта и удаления фона.

Этап 2 (декабрь 2022 — мая 2023). Во втором полугодии нейросети научатся искать похожие изображения на основе векторного расстояния их цифровых образов. Специалисты агентства реализуют модуль поиска, который будет принимать цифровой образ изображения и искать наиболее близкие к нему изображения проиндексированных товаров. А далее подключат технологию к основному сервису searchbooster.io и проведут a/b-тестирования на реальных крупных клиентах. 

После пробных запусков с интернет-магазинами сервис ждет этап доработки, на котором будет собрана обратная связь от пользователей и улучшены функции поиска товаров по картинке.