Систему поиска товара по фото для маркетплейсов разработали в НГТУ НЭТИ
Студенты факультета автоматики и вычислительной техники Новосибирского государственного технического университета НЭТИ создали систему визуального поиска товаров, которая позволяет находить нужный товар в каталоге маркетплейса по фото. В основе разработки — искусственный интеллект, который понимает суть поиска, а не просто сравнивает пиксели.
Разработка предназначена в первую очередь для интеграции в мобильные приложения российских интернет-магазинов и маркетплейсов. Это позволит упростить поиск для покупателей, сделать его интуитивным и быстрым, для площадок — повысить конверсию и уровень продаж, сократив время между интересом к товару и его поиском, создать новый удобный инструмент для магазинов, работающих с визуальным поиском товаров от одежды до мебели.
Как рассказал руководитель проекта, преподаватель кафедры автоматизированных систем управления НГТУ НЭТИ Егор Антонянц, в основе системы лежит сиамская нейронная сеть (SNN), которая обучена понимать суть изображения, а не просто искать вещь по элементам цифрового изображения. SNN преобразует фотографию в уникальный цифровой «отпечаток» и быстро находит в базе данных товары с максимально похожими векторами, причем распознает один и тот же предмет, даже если на фото разное освещение, ракурс или сложный фон. Это нужно для того, чтобы покупатель, увидев понравившийся товар в магазине, сфотографировал его и смог найти такую же модель в онлайн-магазинах.
«Была задача сделать систему не только быстрой, но и точной, поэтому мы упростили и оптимизировали архитектуру нейросети, что позволило сохранить высокую точность распознавания, сравнимую с крупными коммерческими аналогами, но с гораздо меньшими требованиями к вычислительным ресурсам», — рассказал Егор Антонянц.
Преимущество разработки НГТУ НЭТИ — это точность распознавания. Подобные технологии визуального поиска уже используются в некоторых крупных отечественных и зарубежных маркетплейсах и приложениях, но почти все они или менее устойчивы к неидеальным условиям съемки (например, плохому свету), или требуют мощных серверов для обработки запросов.
«Точность распознавания нашей технологии составила более 95% даже на пользовательских фото с плохим качеством. При этом система может быть интегрирована для работы на мобильных устройствах, что делает ее готовой к внедрению в реальные приложения без необходимости в дорогом оборудовании», — отметил один из главных разработчиков проекта, студент третьего курса АВТФ Дмитрий Шипунов, добавив, что в перспективе технология может быть адаптирована для других задач, где нужно быстро и точно сравнивать изображения, например, в системах складского учета.
Ранее магистранты факультета автоматики и вычислительной техники НГТУ НЭТИ Михаил Киреенко и Данил Матвеев в рамках дисциплины «Проектная деятельность» под руководством Егора Антонянца создали приложение для автоматизированного создания песен, в которых модель ИИ воссоздает определенный голос.