Как запустить полезный ИИ-пилот: советы для бизнеса и не только

О чём говорили участники

Для бизнеса выживание — непростая задача. Часто приводят статистику: в США 75% новых компаний закрываются в течение пяти лет. Появились и новые данные: по оценкам, 95% пилотных проектов с ИИ не дают ожидаемой окупаемости и результатов — по крайней мере, насколько это можно измерить. Автор уточняет, что сравнение с обычным бизнесом не связано напрямую, но эти цифры показывают, как трудно руководителям добиваться целей при внедрении ИИ.

На мероприятии The Next Endeavor в Маунтин-Вью участники панели обсуждали, что помогает компаниям запустить работающий пилотный проект и развивать его дальше. В панели участвовали Пол Байер, сооснователь GAI Insights, Эндрю Лау, сооснователь Jellyfish, Панкай Тхаккар, гендиректор и сооснователь Kloudfuse, и Рахул Тодкар, основатель и гендиректор Nasik. Речь шла о бизнесе на основе ИИ-агентов, роли людей и других связанных с внедрением вопросах.

Что делают компании участников

Эндрю Лау рассказал, что Jellyfish помогает компаниям добиваться роста производительности с помощью изменений в работе, наблюдаемости и телеметрии. По его словам, многим компаниям не удаётся получить тот прирост производительности, на который они рассчитывают.

Лау считает, что сейчас внедрение ИИ опережает способность компаний перестраивать работу людей. Командам, сотрудникам, ролям и процессам сложно адаптироваться к изменениям — именно это, по его мнению, становится главным препятствием для роста производительности.

Панкай Тхаккар объяснил, что Kloudfuse занимается наблюдаемостью в производственной среде. Платформа охватывает метрики, журналы и трассировки по всей инфраструктуре и приложениям, а теперь и по ИИ-агентам. При этом все данные остаются в среде заказчика.

Рахул Тодкар рассказал, что Nasik создали, поскольку собирать ИИ-агентов стало очень просто: на это могут уйти секунды или пара минут. Но запускать и поддерживать агентов в производственной среде, особенно в крупной компании, намного сложнее. Nasik разработала открытую среду выполнения для ИИ-агентов, средств для задач по программированию, фреймворков и инструментов, объединяющую их в одну систему.

Тодкар отметил, что стремление к общему искусственному интеллекту — AGI — важно, но компаниям стоит учитывать и концепцию IGA: «интеллекта, которым управляют и распоряжаются». По его словам, агенты без доступа, управления и контроля могут стать источником серьёзной опасности.

Пол Байер добавил, что GAI Insights проводит много презентаций и обсуждений для советов директоров и руководителей. Эта тема, по его словам, остаётся запутанной и быстро меняется.

Как оценивать бизнес-применение ИИ

Затем участники обсудили варианты применения ИИ и способы оценивать их результативность. Лау отметил, что программную разработку стоит рассматривать отдельно от более общих пилотных проектов. Вместо того чтобы оценивать только окупаемость, можно смотреть на затраты на токены и на отдачу — например, на ускорение инженерной работы.

По словам Лау, многое зависит от того, кто использует ИИ-продукт и как именно он применяется в компании. Решения для отдельных функций — например, разработки продуктов, финансов или отдела кадров — могут требовать разных подходов: у каждой функции свои сценарии использования.

Лау также упомянул общие сценарии применения и специализированные задачи, которым могут понадобиться отдельные решения. При этом участники снова и снова возвращались к вопросу управления. По словам Тодкара, нужен механизм, который объединит три обсуждавшиеся области применения.

Тхаккар добавил, что при запуске системы в производство нужно заранее понимать, кто отвечает за неё и кто будет реагировать, если что-то пойдёт не так. Системы сложны, поэтому вопрос ответственности нельзя оставлять без ответа.

Окупаемость и ответственность

Тодкар отметил, что измерять окупаемость бывает трудно, поэтому компаниям нужно чаще обсуждать, как именно они оценивают результаты внедрения.

Лау считает, что бизнес постепенно начинает лучше ориентироваться в ситуации, хотя она меняется примерно каждые три месяца. Вместе с тем в отраслях уже появляются устойчивые закономерности.

Участники также говорили о том, как получать данные о росте производительности, добиваться прозрачности за счёт повторяющихся сценариев и анализировать сложные внедрения, устройство которых не всегда видно снаружи. Лау отметил, что компании начинают понимать, как выглядит удачный результат.

Наблюдаемость и общая картина

Тхаккар связал наблюдаемость с давней задачей вычислительной техники: отслеживать производительность и выяснять, почему система ведёт себя определённым образом. По его словам, для этого уже сформировались необходимые уровни инструментов по мере развития разных систем.

Байер спросил участников, что мешает компаниям продвигаться дальше: технологии, руководство, бизнес-обоснование или оценка окупаемости.

Лау ответил, что на ранних этапах компании часто действовали из страха упустить новые возможности. По мере развития подходов, добавил он, компании начинают яснее понимать, какого результата хотят добиться.

Цели и способы внедрения

Тодкар назвал два основных требования к бизнес-приложениям: чётко объяснить, зачем они нужны, и выстроить понятный процесс внедрения. Кроме того, нужно учитывать ограничения изолированных тестовых сред: решение может быть не готово к полноценному производственному циклу.

Тодкар предупредил, что архитектура системы с ИИ-агентами в производственной среде сильно отличается от тестовой, а отладка занимает много времени. В производстве друг на друга накладываются непрозрачные уровни, поэтому компаниям необходимо понимать, что происходит внутри системы.

Открытые и закрытые модели

Ближе к концу обсуждения участники поговорили о будущем открытых моделей. Они согласились, что открытые модели не обязательно означают китайские модели, и подчеркнули: при выборе важно учитывать устройство модели, а не только геополитический контекст.

По словам Лау, для выбора моделей нужны критерии. Он считает, что именно поэтому открытые модели уже заметно используются в производственных задачах. Когда компании научатся оценивать отдачу от разных вариантов, можно будет лучше сопоставлять их стоимость и полезность.

Тхаккар сказал, что открытые модели кажутся ему логичным выбором: их проще адаптировать под конкретные задачи. Однако, по его мнению, отрасль пока не готова к такому переходу в полной мере.