Mail.ruПочтаМой МирОдноклассникиВКонтактеИгрыЗнакомстваНовостиПоискОблакоComboВсе проекты

В «Пятерочке» и «Перекрестке» теперь повсюду камеры. Мы узнали, зачем они нужны

На вопросы о роли новых технологий в магазинах «Пятёрочка» и «Перекрёсток» отвечает Александр Паринов, руководитель управления нейронных технологий X5.

Зачем вообще нужен искусственный интеллект в ритейле? Ведь мы просто продаем продукты. Многие уверены, что высокие технологии нужны для «высоких» областей, а в магазине у дома используется только простой ручной труд. На самом деле всё наоборот.

Когда имеешь дело с миллионами продовольственных товаров в более чем 17 тысяч продуктовых магазинов по всей стране, очень важна автоматизация. Она помогает снизить нагрузку на сотрудников и, как например в нашем случае, не допускать пустот на полках. Для Х5 критически важно, чтобы товар всегда был плотно выложен на полках магазинов. Поэтому сотрудники постоянно следят за наполненностью полок и продуктовой выкладкой.

Окей, пусть следят. А искусственный интеллект-то им зачем?

С утра до вечера бегать между полками и постоянно пополнять их — тяжелый труд. Причём большую часть времени приходится ходить и смотреть глазами, везде ли всего достаточно. За день можно полумарафон нагулять. Зачем мучить человека, если можно заставить работать машину? Вот мы и заставляем.

И как работает машина?

Машина — это связка из видеокамер, направленных на полки магазина, и искусственного интеллекта, который расположен на небольшом сервере в служебном помещении. Изображение с камер обрабатывается нейросетью, которая «видит» незаполненные пространства на полках. После этого система выводит сообщение о пустотах на экране в служебном помещении, а также отправляет уведомления на смартфоны сотрудников.

Вот так камера видит привычный нам мир полок в магазине. Красным выделены пустые пространства. Ещё кто-то спрятал пирожки между упаковками молока.

Человек взял последние 10 сырков из холодильника, отошел на пару шагов — а сотрудник уже выкладывает новые сырки. В результате — полки всегда заполнены, а сотрудники не перегружены.

И эти технологии — не сложные?

Нет, довольно простые. Мы используем недорогие и удобные в обслуживании камеры, сервер в подсобном помещении — не дороже настольного компьютера. Конечно, требуются усилия по монтажу, подключению, проверке. Но дальше всё работает автоматически. 

Вот, к примеру, как нейронка видит полку с молочной продукцией. Обратите внимание, отдельно она следит за тем, чтобы рядом с товаром были соответствующие ценники.

Логика работы такая: раз в определенное время система запрашивает с камеры свежее изображение полки (время настраивается, обычно это значение от секунд до нескольких минут). Затем система обрабатывает изображение, чтобы удалить из кадра людей, потому что они заслоняют полки. После этого с помощью нейронной сети мы детектируем каждый товар на полке (на картинке каждый такой товар выделен прямоугольником) и распознаем его PLU. В пилотах мы распознавали около 50 популярных PLU. Затем сравниваем информацию о том, какие товары есть на самой свежей картинке и какие были раньше. И если например в 11:55 на полке было 10 бутылок молока «Простоквашино», а в 12:05 их стало всего 7 и если при этом система видит пустое пространство на полке, то она сообщает о том, что нужно на полку нужно поставить дополнительные бутылки с молоком.

Для ценников считали, что ценник относится к товару, который стоит правее и выше него. Мы можем определить является товар промо-товаром или нет (у промо товаров желтые ценники, у обычных товаров — белые). Отдельно нейронка следит за полками с овощами и фруктами. Это более сложная задача. Сейчас этот проект работает в пилотном режиме, но нейросеть уже обрабатывает изображения с 600 камер в 74 «Пятёрочках»!

Чтобы определить наполненность полок, программа смотрит на контраст между цветом продукта и цветом контейнера, в котором он лежит. Однажды программа перестала видеть виноград. Оказалось, что тёмный виноград выложили в тёмные ящики. Пропал контраст, и всё. Вот тут всё заполнено. Красота!

Важно отметить, что нейронка постоянно учится. Точнее, её учат. Сотрудники периодически размечают новые данные и запускают процесс дообучения сети. С каждым дообучением нейронка всё лучше распознаёт продукты. И когда мы монтируем систему в новом магазине, на сервер «приезжает» самая свежая и умная версия ИИ.

А что, кроме полок, ещё можно видеть?

Например, отдельные продукты на кассе. Традиционно кассир «Пятёрочки» взвешивает фрукты и овощи, вводя PLU (уникальный код, который есть у любого товара в магазине). Эти номера приходится запоминать, искать в бумажках, спрашивать у коллег, подглядывать в интерфейсе кассы. Это долго и сложно.

Мы хотим упростить работу кассиров и в одном из пилотных проектов применяем для этого нейронную сеть. Над рабочим местом кассира мы установили небольшую камеру, которая смотрит ровно на весы. Каждый раз, когда на них появляется весовой товар, мы пытаемся угадать его — и подсказываем PLU.

Цель этой технологии — уменьшить время работы кассира. Вместо того, чтобы взвесить товар, а затем искать нужный PLU вручную, кассир нажимает специальную кнопку на кассе и мы выводим ему подсказки, какой товар расположен на весах.

А людей можно определять?

Конечно. Например, мы можем легко и быстро детектировать очереди у касс. Когда перед кассой скапливается, скажем, 4-5 человек, камера видит это и на экран подается сообщение: «Открыть дополнительную кассу». Покупателям не нужно ждать или звать кого-то.

В пилотном режиме мы также внедряем систему бесконтактного распознавания лиц сотрудников — она работает уже в 20 региональных «Пятёрочках». Система работает в виде специального устройства в магазине. С его помощью сотрудник может подтвердить свою личность по FACE ID.

Вот так выглядит устройство.

А с ворами можно бороться с помощью подобных видеоустройств?

Эта задача — значительно сложнее. Как понять, что перед нами вор? Смотреть на полки и в корзину? Но человек мог передать товар супругу, чтобы тот положил его в свою корзину. Или мог понести его в руках, потому что так удобнее.

Кроме того, люди двигаются, поворачиваются от камеры… Одним словом, пока это направление мы не развиваем, хотя тестируем разные технологии.

Есть, например, технология трекинга людей, которая запущена в одном из магазинов «‎Пятёрочка #налету». Камеры, размещенные в торговом зале, выводят изображение на экраны. На этих изображениях нейронка дорисовывает полоски, определяя положение тела посетителя.

Во время загрузки произошла ошибка.
Посмотрите, как это работает

По поводу возможных применений — трекинг и анализ позы это не единственная, но важная часть системы в магазинах по типу Amazon Go, когда человек берет товар с полки и ему не нужно пробивать его на кассе, так как система увидела, что за товар взял человек и автоматически добавила его в чек. С помощью технологий, которые работают поверх трекинга можно понимать, какие действия совершает человек: подошел к полке/взял с полки товар/поставил товар обратно на полку/положил товар в корзину. И дальше уже на основе этой информации автоматически определять его покупки — либо для того, чтобы автоматически снять оплату, либо для антифрода — понять, что человек взял товар, но вышел из магазина, не оплатив его.

Какие технологии используются при разработке искусственного интеллекта и нейронных сетей?

Когда 2 года назад наша команда начала заниматься видеоаналитикой в X5 Retail Group, то сразу стало понятно, что нужно строить платформу компьютерного зрения. Нам нужен был набор технологий, которые позволили бы нам быстро экспериментировать над решением различных задач ритейла, максимально переиспользовать готовые компоненты, выдерживать большую нагрузку и обеспечивать простоту обслуживания.

Основа платформы – вычислительные модули, которые размещаются в каждом магазине и на которых работают нейронные сети. Вычислительная мощность устройств зависит от решаемой задачи – это могут быть как маломощные одноплатные компьютеры с ARM-процессорами, так и мощные сервера с видеокартами. Весь анализ данных происходит в магазинах, в некоторых проектах в одном магазине мы анализируем несколько десятков фотографий в день, это всего несколько мегабайт данных, а в каких-то – видеопоток объемом в десятки гигабайт в день.

Проанализированные данные отправляются из магазинов на наши сервера в дата-центрах, где мы используем их для составления и показа отчетов и отсылки уведомлений сотрудникам магазинов.

Важной частью платформы являются системы автоматизации и мониторинга, которые позволяют нам очень быстро доставлять обновления в системы всех магазинов и обнаруживать проблемы в работе платформы.

Это тоже интересно:

Обратите внимание: на AliExpress началась большая распродажа Xiaomi. Подробнее >>

Полный список горящих товаров на AliExpress. Смотреть >>

Хиты продаж и новинки
Самые лучшие цены на смартфоны
Комментарии
27
Ольчик
В ответ на комментарий от Xenos WIGHT
Xenos WIGHT
Скорее всего в лучших традициях дорожных камер система будет использоваться для автоматических штрафов сотрудникам, как в фильме про гремлинов :) Пустое место на полке больше определённого времени? Минус из зарплаты. Стоишь на месте дольше определённого времени? Минус из зарплаты. Система распознавания лиц потеряла? Прогул :)
СсылкаПожаловаться
К гадалке не ходи!!!
СсылкаПожаловаться
Питер Кент
В ответ на комментарий от Д. Евгений История переписки2
Д. Евгений
точно
запретить срочно все станки, пусть кузнецы и ремесленники руками работают
СсылкаПожаловаться
Ага. Срочно перевести всех граждан на матрицу. Тебе лично шланг в это самое не помешает :))))
СсылкаПожаловаться
Питер Кент
В ответ на комментарий от Д. Евгений История переписки3
Д. Евгений
не от большого ума не видишь
СсылкаПожаловаться
Иди подключись к распил-сети. И бабла занеси её афторам. Всё равно тебе с твоим умищем бабло не нужно :)))))
СсылкаПожаловаться
Питер Кент
В ответ на комментарий от Д. Евгений История переписки3
Д. Евгений
не от большого ума не видишь
СсылкаПожаловаться
Иди подключись к распил-сети. И бабла занеси её афторам. Всё равно тебе с твоим умещем бабло не нужно :)))))
СсылкаПожаловаться
Д. Евгений
В ответ на комментарий от ИННА
ИННА
А затем нейросеть выставит на улицы людей с работы, и не надо рассказывать, что это делается для помощи мерчендайзерам, это делается для сокращения расходов на фонд оплаты труда, а соответственно против человека в целом
СсылкаПожаловаться
точно
запретить срочно все станки, пусть кузнецы и ремесленники руками работают
СсылкаПожаловаться
Д. Евгений
В ответ на комментарий от Питер Кент История переписки2
Питер Кент
Зашел на рынок. Назвал нужные товары. Оплата наличными доступна в любом мухос*анске. Зачем нужны эти распильные нейросети - в упор не вижу.
СсылкаПожаловаться
не от большого ума не видишь
СсылкаПожаловаться
Наталья
Магазин "Пятерочка" очень испортился... Раньше, лет 10 назад был намного лучше, дешевле. А щас, даже ходить туда не хочется.
СсылкаПожаловаться
Алла и Валера
Пятерка, магнит и др. подобные магазины - это помойка. Сколько живу ни одного раза не купил там какой - нибудь товар.
СсылкаПожаловаться
Сергей
В ответ на комментарий от Павел История переписки3
Павел
Помнишь? Что говорили 200 лет назад. Пустомеля.
СсылкаПожаловаться
Еще скажи, что не было Платона и Аристотеля, их же никто лично не слышал.
А теперь по существу вопроса пожалуйста.
СсылкаПожаловаться
Алексей Дворников
Они 200 лет назад знали а теперь ещё на 100 вперёд хотят. Рождёные в 90-х это их ответ.
СсылкаПожаловаться
Павел
В ответ на комментарий от Сергей История переписки2
Сергей
Да ладно, не надо нам этих страшилок. Точно так же говорили, когда станки заменяли рабочих лет 200 назад. Ничего, пережили.
СсылкаПожаловаться
Помнишь? Что говорили 200 лет назад. Пустомеля.
СсылкаПожаловаться
Абдуловера
Пошла к чёрту эта пятёрочка!
СсылкаПожаловаться
x3m
Где вы были в 2010 году? Загонял менеджер полки постоянно заполненными держать и проверять, да ещё искать товары на стеллажах.
СсылкаПожаловаться
Xenos WIGHT
Скорее всего в лучших традициях дорожных камер система будет использоваться для автоматических штрафов сотрудникам, как в фильме про гремлинов :) Пустое место на полке больше определённого времени? Минус из зарплаты. Стоишь на месте дольше определённого времени? Минус из зарплаты. Система распознавания лиц потеряла? Прогул :)
СсылкаПожаловаться
NoNaMe
Теперь можно цены на продукты поднимать! Ну, как же, у нас ИИ на страже и благополучии граждан. Надо же все потраченные средства окупить.
СсылкаПожаловаться
Сергей
В ответ на комментарий от Николай
Николай
Ухню какую то выдумывают.
В магазинах катострофическая нехватка сотрудников!!!
Зарплата у кассиров 20 к.
За то у супервайзеров и кто выше ..зп мама не горюй.
Приезжают в магазин с проверками и начинают пальцы гнуть.. нафига наплодили всяких супервайзеров, ноопов, дкшников и т.д.. а зарплата то у этих уже под 100к и выше.
Лучше бы охрану наняли, чем трутней плодить.
СсылкаПожаловаться
Прямой смысл расти до того, кто выше, а?
СсылкаПожаловаться
Сергей
В ответ на комментарий от ИННА
ИННА
А затем нейросеть выставит на улицы людей с работы, и не надо рассказывать, что это делается для помощи мерчендайзерам, это делается для сокращения расходов на фонд оплаты труда, а соответственно против человека в целом
СсылкаПожаловаться
Да ладно, не надо нам этих страшилок. Точно так же говорили, когда станки заменяли рабочих лет 200 назад. Ничего, пережили.
СсылкаПожаловаться
Мария Ступак
В ответ на комментарий от ИННА
ИННА
А затем нейросеть выставит на улицы людей с работы, и не надо рассказывать, что это делается для помощи мерчендайзерам, это делается для сокращения расходов на фонд оплаты труда, а соответственно против человека в целом
СсылкаПожаловаться
Согласна
СсылкаПожаловаться
ИННА
А затем нейросеть выставит на улицы людей с работы, и не надо рассказывать, что это делается для помощи мерчендайзерам, это делается для сокращения расходов на фонд оплаты труда, а соответственно против человека в целом
СсылкаПожаловаться
Николай
Ухню какую то выдумывают.
В магазинах катострофическая нехватка сотрудников!!!
Зарплата у кассиров 20 к.
За то у супервайзеров и кто выше ..зп мама не горюй.
Приезжают в магазин с проверками и начинают пальцы гнуть.. нафига наплодили всяких супервайзеров, ноопов, дкшников и т.д.. а зарплата то у этих уже под 100к и выше.
Лучше бы охрану наняли, чем трутней плодить.
СсылкаПожаловаться
Чтобы оставить комментарий, вам нужно авторизоваться.
Вы не ввели текст комментария
Вы не ввели текст комментария
Обнаружили ошибку? Выделите ее и нажмите Ctrl+Enter.
Подпишитесь на нас