Зачем вообще нужен искусственный интеллект в ритейле? Ведь мы просто продаем продукты. Многие уверены, что высокие технологии нужны для «высоких» областей, а в магазине у дома используется только простой ручной труд. На самом деле всё наоборот.
Когда имеешь дело с миллионами продовольственных товаров в более чем 17 тысяч продуктовых магазинов по всей стране, очень важна автоматизация. Она помогает снизить нагрузку на сотрудников и, как например в нашем случае, не допускать пустот на полках. Для Х5 критически важно, чтобы товар всегда был плотно выложен на полках магазинов. Поэтому сотрудники постоянно следят за наполненностью полок и продуктовой выкладкой.
Окей, пусть следят. А искусственный интеллект-то им зачем?
С утра до вечера бегать между полками и постоянно пополнять их — тяжелый труд. Причём большую часть времени приходится ходить и смотреть глазами, везде ли всего достаточно. За день можно полумарафон нагулять. Зачем мучить человека, если можно заставить работать машину? Вот мы и заставляем.
И как работает машина?
Машина — это связка из видеокамер, направленных на полки магазина, и искусственного интеллекта, который расположен на небольшом сервере в служебном помещении. Изображение с камер обрабатывается нейросетью, которая «видит» незаполненные пространства на полках. После этого система выводит сообщение о пустотах на экране в служебном помещении, а также отправляет уведомления на смартфоны сотрудников.
Человек взял последние 10 сырков из холодильника, отошел на пару шагов — а сотрудник уже выкладывает новые сырки. В результате — полки всегда заполнены, а сотрудники не перегружены.
И эти технологии — не сложные?
Нет, довольно простые. Мы используем недорогие и удобные в обслуживании камеры, сервер в подсобном помещении — не дороже настольного компьютера. Конечно, требуются усилия по монтажу, подключению, проверке. Но дальше всё работает автоматически.
Логика работы такая: раз в определенное время система запрашивает с камеры свежее изображение полки (время настраивается, обычно это значение от секунд до нескольких минут). Затем система обрабатывает изображение, чтобы удалить из кадра людей, потому что они заслоняют полки. После этого с помощью нейронной сети мы детектируем каждый товар на полке (на картинке каждый такой товар выделен прямоугольником) и распознаем его PLU. В пилотах мы распознавали около 50 популярных PLU. Затем сравниваем информацию о том, какие товары есть на самой свежей картинке и какие были раньше. И если например в 11:55 на полке было 10 бутылок молока «Простоквашино», а в 12:05 их стало всего 7 и если при этом система видит пустое пространство на полке, то она сообщает о том, что нужно на полку нужно поставить дополнительные бутылки с молоком.
Для ценников считали, что ценник относится к товару, который стоит правее и выше него. Мы можем определить является товар промо-товаром или нет (у промо товаров желтые ценники, у обычных товаров — белые). Отдельно нейронка следит за полками с овощами и фруктами. Это более сложная задача. Сейчас этот проект работает в пилотном режиме, но нейросеть уже обрабатывает изображения с 600 камер в 74 «Пятёрочках»!
Важно отметить, что нейронка постоянно учится. Точнее, её учат. Сотрудники периодически размечают новые данные и запускают процесс дообучения сети. С каждым дообучением нейронка всё лучше распознаёт продукты. И когда мы монтируем систему в новом магазине, на сервер «приезжает» самая свежая и умная версия ИИ.
А что, кроме полок, ещё можно видеть?
Например, отдельные продукты на кассе. Традиционно кассир «Пятёрочки» взвешивает фрукты и овощи, вводя PLU (уникальный код, который есть у любого товара в магазине). Эти номера приходится запоминать, искать в бумажках, спрашивать у коллег, подглядывать в интерфейсе кассы. Это долго и сложно.
Мы хотим упростить работу кассиров и в одном из пилотных проектов применяем для этого нейронную сеть. Над рабочим местом кассира мы установили небольшую камеру, которая смотрит ровно на весы. Каждый раз, когда на них появляется весовой товар, мы пытаемся угадать его — и подсказываем PLU.
Цель этой технологии — уменьшить время работы кассира. Вместо того, чтобы взвесить товар, а затем искать нужный PLU вручную, кассир нажимает специальную кнопку на кассе и мы выводим ему подсказки, какой товар расположен на весах.
А людей можно определять?
Конечно. Например, мы можем легко и быстро детектировать очереди у касс. Когда перед кассой скапливается, скажем, 4-5 человек, камера видит это и на экран подается сообщение: «Открыть дополнительную кассу». Покупателям не нужно ждать или звать кого-то.
В пилотном режиме мы также внедряем систему бесконтактного распознавания лиц сотрудников — она работает уже в 20 региональных «Пятёрочках». Система работает в виде специального устройства в магазине. С его помощью сотрудник может подтвердить свою личность по FACE ID.
А с ворами можно бороться с помощью подобных видеоустройств?
Эта задача — значительно сложнее. Как понять, что перед нами вор? Смотреть на полки и в корзину? Но человек мог передать товар супругу, чтобы тот положил его в свою корзину. Или мог понести его в руках, потому что так удобнее.
Кроме того, люди двигаются, поворачиваются от камеры... Одним словом, пока это направление мы не развиваем, хотя тестируем разные технологии.
Есть, например, технология трекинга людей, которая запущена в одном из магазинов «Пятёрочка #налету». Камеры, размещенные в торговом зале, выводят изображение на экраны. На этих изображениях нейронка дорисовывает полоски, определяя положение тела посетителя.
По поводу возможных применений — трекинг и анализ позы это не единственная, но важная часть системы в магазинах по типу Amazon Go, когда человек берет товар с полки и ему не нужно пробивать его на кассе, так как система увидела, что за товар взял человек и автоматически добавила его в чек. С помощью технологий, которые работают поверх трекинга можно понимать, какие действия совершает человек: подошел к полке/взял с полки товар/поставил товар обратно на полку/положил товар в корзину. И дальше уже на основе этой информации автоматически определять его покупки — либо для того, чтобы автоматически снять оплату, либо для антифрода — понять, что человек взял товар, но вышел из магазина, не оплатив его.
Какие технологии используются при разработке искусственного интеллекта и нейронных сетей?
Когда 2 года назад наша команда начала заниматься видеоаналитикой в X5 Retail Group, то сразу стало понятно, что нужно строить платформу компьютерного зрения. Нам нужен был набор технологий, которые позволили бы нам быстро экспериментировать над решением различных задач ритейла, максимально переиспользовать готовые компоненты, выдерживать большую нагрузку и обеспечивать простоту обслуживания.
Основа платформы – вычислительные модули, которые размещаются в каждом магазине и на которых работают нейронные сети. Вычислительная мощность устройств зависит от решаемой задачи – это могут быть как маломощные одноплатные компьютеры с ARM-процессорами, так и мощные сервера с видеокартами. Весь анализ данных происходит в магазинах, в некоторых проектах в одном магазине мы анализируем несколько десятков фотографий в день, это всего несколько мегабайт данных, а в каких-то – видеопоток объемом в десятки гигабайт в день.
Проанализированные данные отправляются из магазинов на наши сервера в дата-центрах, где мы используем их для составления и показа отчетов и отсылки уведомлений сотрудникам магазинов.
Важной частью платформы являются системы автоматизации и мониторинга, которые позволяют нам очень быстро доставлять обновления в системы всех магазинов и обнаруживать проблемы в работе платформы.
Это тоже интересно:
Обратите внимание: на AliExpress началась большая распродажа Xiaomi. Подробнее >>
Полный список горящих товаров на AliExpress. Смотреть >>