В июне в Санкт-Петербурге прошла Conversations — конференция по генеративному AI для бизнеса и разработчиков. На сцене продуктового трека состоялась дискуссия «Продукт умер, да здравствует AI? Ищем смыслы, деньги и ценность для пользователей в мире GenAI». Эксперты из 2ГИС, Авито, hh.ru, X5 Tech поговорили о том, как трансформируется профессия продакт-менеджера и в каких случаях цена ошибки слишком высока.
В дискуссии приняли участие:
- Дмитрий Легчиков, AI Lead в 2ГИС
- Дмитрий Михель, руководитель продуктового направления в Авито
- Евгений Биндасов, руководитель лаборатории искусственного интеллекта в hh.ru
- Кирилл Собетов, технический менеджер продуктов AI в X5 Tech
А Глеб Обломский, директор по продуктам Just AI, стал модератором. Ценные мысли обсуждения — в этом материале.
Трансформация роли продуктового специалиста
Развитие генеративного искусственного интеллекта ставит под вопрос привычные навыки продуктовых менеджеров. Раньше исследования, анализ конкурентов, описание ценности продукта и составление роадмапов занимали значительную долю времени и считались ключевыми компетенциями. Теперь с этим легко справляются нейросети. Но что выходит на первый план?
Кирилл Собетов уверен, что теперь важен навык «когнитивной валидации» — умения выстраивать правильные логические связи, проверять источники и отсекать галлюцинации LLM. Его поддерживает Дмитрий Михель, отмечая растущую потребность в структурном мышлении, которое часто есть у людей инженерных специальностей. Он также поделилися опытом: в Авито все продуктовые решения принимаются через чтение документации. Продакт готовит документ, а команда из 5−7 человек его валидирует. Такой процесс помогает отсеивать сырые идеи, а также проекты, бездумно сгенерированные искусственным интеллектом.
Дмитрий Легчиков считает, что в эпоху AI от менеджера требуется смелость брать на себя ответственность — уметь вовремя признать, что гипотеза не сработала, и закрыть неэффективный «зомби-проект». Добавились к важным навыкам и скиллы вайбкодинга. Теперь вместо того, чтобы рассказывать об идее на слайдах, продакт может принести на встречу уже собранный AI-прототип и показать его в деле.
Оценка качества AI-продуктов
По словам Евгения Биндасова, топ-1 навык продакта сегодня — это оценка качества ответа нейросети (Eval). Менеджеру необходимо уметь оценивать работу AI, понимать базовый уровень (например, как эту задачу раньше решал обычный человек) и создавать продукт, который его превосходит. И только доказав эффективность, можно считать, во сколько обойдется масштабирование. Но здесь есть подводные камни. Как отмечает Дмитрий Легчиков, в AI-проектах бывает сложно понять причину неудач: фича не работает из-за плохой идеи или из-за криво размеченных данных.
Дмитрий Легчиков предлагает смотреть на запуск AI-решений через призму венчурного инвестирования. Запуск GenAI-фичи — инвестирование в стартап ранней стадии. Идей может быть сотни, но до релиза дойдут единицы. Здесь отлично работает принцип «double down or quit» (удваивай ставки или уходи): бизнес должен протестировать гипотезу и четко решить, готов ли он тратить бюджет на эту фичу дальше, или проект пора закрывать.
Как объясняет Дмитрий Михель, экономика генеративного AI — это всегда размен железа на качество. Более «легкие» модели выдают результат похуже, но зачастую его вполне достаточно для текущего состояния продукта. При этом конвертировать качество в реальные деньги крайне сложно. Например, в Авито тяжело посчитать точную финансовую отдачу от того, что ИИ-подсказка менеджеру изменила телефонный разговор с клиентом.
И если в онлайне посчитать возврат инвестиций тяжело, то в офлайне это проще. Кирилл Собетов поделился опытом X5 Tech на примере запуска модели компьютерного зрения для распознавания пустых корзин в проходах: «Мы физически можем измерить качество, насколько улучшился NPS по магазину, и прочие метрики — оценить то, что происходит прямо на земле».
Для внутренних экспериментов в компании используют песочницу: там запускают небольших агентов (на 300−400 запросов в месяц) и навешивают на них условную стоимость, чтобы оценить реальное потребление. И уже на этапе масштабирования команда считает, какой возврат инвестиций приносит агент и сколько рабочих часов сотрудников он экономит.
Этика и цена ошибки
Хотя эксперты представляли разные сферы бизнеса, вопрос цены ошибки стоял одинаково остро для всех. Дмитрий Легчиков поделился опытом 2ГИС: одно дело — сгенерировать неточное саммари отзывов, совсем другое — когда из-за ошибки AI-агента живой человек среди ночи застревает на стойке отеля в чужой стране. В таких продуктах цикл тестирования намеренно растягивается.
В чувствительных сферах любая автоматизация и вовсе может вызвать отторжение. Евгений Биндасов подчеркивает, что в HR-отрасли люди крайне остро реагируют на отказы от бездушных машин. Именно поэтому в hh.ru выбирают честность: пользователям открыто говорят, что с ними коммуницирует AI. Технологии также используются, чтобы объяснить, почему кандидат получил отказ или почему он подходит на должность.
Дмитрий Михель поднимает еще одну этическую дилемму — страх сотрудников перед сокращениями из-за внедрения AI. Однако правильный подход, по мнению экспертов, заключается не в замене людей машинами. Цель технологий — сделать сотрудников «киборгами», то есть усилить их продуктивность, ускорив при этом рост всей компании.
Подводя итоги дискуссии, модератор Глеб Обломский отметил, что на смену эпохе активных экспериментов с GenAI приходит новый этап, главным показателем зрелости которого стало самое популярное слово прошедшей встречи — Eval. Теперь успех зависит от того, насколько точно специалист умеет оценивать качество работы нейросетей, грамотно распределять бюджеты и нести ответственность за финальный бизнес-результат.