В Instacart гибридный ИИ решает хроническую проблему надёжности ИИ

Почему ИИ нужен предохранитель

ИИ берётся за задачи, которые невозможно решить идеально. Это можно считать одним из рабочих определений ИИ: система пытается справиться с проблемой, где безошибочного ответа в принципе не существует.

Распространение генеративного ИИ повысило амбиции таких проектов. Сегодня ИИ рассматривают как возможную замену специалисту службы поддержки, аналитику, преподавателю или виртуальному помощнику. Полностью автономные системы такого уровня в ближайшее время выглядят сомнительно, но новые подходы позволяют ограничивать применение больших языковых моделей более умеренными целями.

Прогнозирующий ИИ, который существует уже несколько десятилетий и раньше назывался «прогнозной аналитикой», тоже решает задачу с неизбежной погрешностью. Аналитические методы быстро улучшаются, но универсального способа безошибочно предсказывать, кто кликнет, купит, солжёт или умрёт, не существует.

Поэтому и генеративным, и прогнозирующим системам приходится учитывать собственные ошибки. Если задача не решается идеально, нужен механизм, который не даст ненадёжному прогнозу автоматически превратиться в действие.

Как Instacart подбирает замену

Instacart позволяет заказывать продукты и товары для дома с доставкой из большинства розничных сетей. У сервиса есть ограничение: сотрудник, который собирает заказ, иногда не находит выбранный покупателем товар.

Здесь подходит прогнозирующий ИИ. Он оценивает, какая замена с наибольшей вероятностью устроит клиента, и предлагает наиболее подходящий вариант из доступных товаров.

Но подобрать замену — только половина задачи. Система должна ещё понять, насколько уверена в своём выборе и стоит ли действовать автоматически. Именно этой части ИИ-индустрия пока уделяет меньше внимания.

Этим занимается Ahsaas Bajaj, руководитель направления машинного обучения в Instacart. Он получил степень магистра компьютерных наук в UMass Amherst, а до Instacart работал в Walmart, Goldman Sachs и Samsung. Разработанные им системы обеспечивают сотни миллионов операционных решений в реальном времени, помогая сохранять высокий уровень удовлетворённости клиентов.

По словам Bajaj, подбор замены сложнее многих других проектов машинного обучения из-за масштаба пространства решений: для каждого прогноза потенциально приходится выбирать из тысяч товаров. Его система использует явно заданные уровни уверенности, которые влияют на решения во время работы.

Если отсеивать варианты слишком жёстко, сервис упустит подходящие замены. Если фильтр окажется слишком мягким, клиент увидит рекомендации с низкой вероятностью успеха и может перестать доверять сервису. Связать качество прогноза с понятным бизнес-решением — одна из задач, где ИИ приносит практическую пользу.

Уверенность как предохранитель

Прогнозирующий ИИ может служить ограничителем надёжности для разных ИИ-систем. Он определяет, какие случаи стоит передать человеку, и тем самым позволяет использовать автоматизацию там, где без проверки она была бы непригодна. Такой подход относится к быстро развивающемуся гибридному ИИ.

Например, больницы и медицинские сети используют ИИ для автоматической подготовки страховых заявок. Затем отдельная прогнозирующая модель оценивает риск отказа по каждой заявке. Сотрудники проверяют прежде всего случаи с высоким риском до отправки страховщику.

Отдельная прогнозирующая модель нужна не всегда. В 2011 году Watson от IBM, победивший действующих чемпионов викторины Jeopardy!, не только выбирал правильный ответ, но и оценивал уверенность в нём. Для игры это принципиально: если участник нажмёт кнопку и ошибётся, он потеряет очки.

Watson применяет модель машинного обучения, которая оценивает вероятность правильности каждого варианта ответа. Затем система многократно проверяет большое число кандидатов и выбирает тот, который считает наиболее вероятным. Тот же прогнозирующий балл, по которому варианты ранжируются, одновременно становится оценкой уверенности в выбранном ответе.

В одном из вопросов Jeopardy! требовалось продолжить фразу: «При делении клетки митоз разделяет ядро, а цитокинез разделяет эту жидкость, окружающую ядро». Watson выбрал ответ «цитоплазма». Уровень уверенности в 92% одновременно сделал этот вариант первым в рейтинге и стал оценкой уверенности системы в своём выборе.

Как Instacart оценивает варианты

Система Instacart работает похожим образом. Допустим, покупатель заказал хлопья с мёдом определённого бренда. Модель оценивает возможные замены по характеристикам товара: бренду, отделу, стоимости и диетическим признакам — например, отметкам «органический», «веганский», «вегетарианский» или «без жира».

В число вариантов могут попасть хлопья с мёдом других брендов, а также другие продукты, например гранола кусочками. Для каждого кандидата система рассчитывает вероятность того, что покупатель останется доволен заменой. Этот показатель одновременно ранжирует варианты, помогает выбрать лучший и задаёт уровень уверенности в выбранном товаре.

Уровень уверенности определяет дальнейшее решение. Watson использовал его, чтобы в реальном времени понять, стоит ли нажимать кнопку и отвечать на вопрос. Instacart применяет тот же принцип, чтобы выбрать замену и предложить её клиенту.

При этом задача Ahsaas Bajaj не в том, чтобы единолично установить, как сервис должен использовать уровни уверенности. Он анализирует, как разные решения на основе этих оценок влияют на удовлетворённость клиентов, и предлагает компании варианты развёртывания. Затем несколько принимающих решения сотрудников Instacart определяют, какую замену лучше предложить.