В НГТУ НЭТИ создали нейросеть для построения тепловой карты покупателей в реальном времени
В Новосибирском государственном техническом университете НЭТИ разработали программный инструмент, который в реальном времени анализирует перемещения посетителей в магазинах и строит тепловые карты их активности. Проект реализован на основе технологий компьютерного зрения и нейронных сетей.
Предназначенная для ритейла разработка позволяет мгновенно получать данные о поведении покупателей, что поможет сделать торговые залы более удобными и эффективными. По словам руководителя проекта, ассистента кафедры автоматизированных систем управления НГТУ НЭТИ Егора Антонянца, система анализирует видеопоток с камеры наблюдения в реальном времени.
«В основе лежит сверточная нейросетевая модель, которая обнаруживает людей в кадре. Программа подсчитывает количество посетителей, запоминает траектории их движения и места остановок. Вся эта информация мгновенно накладывается на видео в виде цветного градиента — так называемой тепловой карты. Чем «теплее» цвет, значит, тем больше людей побывало в этой точке», — рассказал Егор Антонянц.
В отличие от распространенной системы подсчета посетителей торговых точек, когда каждого покупателя просто фиксируют у двери, новый алгоритм позволяет увидеть полную картину поведения человека в зале. Технически работа строится в несколько этапов: сначала нейросеть выделяет людей на каждом кадре, потом программа накапливает данные об их местоположении, а затем с помощью математических алгоритмов преобразует их в понятную визуальную карту в режиме реального времени.
Как рассказал главный разработчик проекта, студент четвертого курса факультета автоматики и вычислительной техники Дмитрий Гордиенко, аналоги такого программного инструмента есть, но они или слишком дороги для небольших магазинов, или дают лишь общую статистику, но не показывают в моменте, что именно привлекло внимание человека.
«Наша разработка позволяет прямо сейчас оценить, насколько удачно выложен товар на новой витрине или в какой зоне зала посетители проводят больше всего времени. Мы это наглядно проверили: в одном из тестовых видео четко видно, как покупатели останавливаются у витрины с мороженым, а продавец все время находится в зоне кассы. Такую информацию можно использовать для мгновенной корректировки выкладки товаров», — отметил Дмитрий Гордиенко.
Студент также добавил, что инструмент может быть полезен не только в ритейле, но и в любых общественных пространствах, где важно оперативно понимать потоки людей. Речь про музеи, выставочные центры и аэропорты. В перспективе систему можно адаптировать для более сложной аналитики и интеграции с существующими системами видеонаблюдения.
Ранее студенты факультета автоматики и вычислительной техники НГТУ НЭТИ создали систему визуального поиска товаров, которая позволяет находить нужный товар в каталоге маркетплейса по фото.