Чтобы масштабировать ИИ-агентов, нужны реестр, договоры и актуальный контекст

«Если у вас один, два или пять агентов, с этим можно справиться. Когда их 100 или 1 000, всё растёт экспоненциально», — сказал Ван де Мале.

Разрыв между обещаниями и результатами

Разрыв между обещаниями поставщиков и тем, что получают компании, связан с ошибками ИИ: агенты не всегда отвечают правильно, люди по-прежнему нужны, а расходы растут. Команда с пятью агентами может поручить сотрудникам проверять ответы, повторно подтверждать пригодность агентов и обновлять контекст, от которого они зависят. Но это ручное управление: чем больше агентов, тем больше нужно сотрудников. Компания с тысячей агентов не сможет обеспечить безопасность, просто наняв больше людей.

Расходы на вычисления растут по той же логике. Современные модели часто способны прийти к правильному ответу, но это обходится дорого, отметил Ван де Мале. Они могут много раз повторять одни и те же шаги, и каждый проход расходует токены. За последний год компании убедились, что ИИ не бесплатен.

Как контролировать агентов в работе

Опрос Harris Poll, заказанный Collibra, показал: почти 30% компаний замечали, что агенты получали доступ к данным или показывали их, хотя разрешения на это у них не было. Чтобы управлять агентами, работающими с реальными системами, компаниям сначала нужно знать, сколько таких агентов у них есть и чем они заняты.

На саммите Collibra, прошедшем в ту же неделю, Ван де Мале спросил аудиторию, кто знает, сколько агентов работает в их компаниях и что именно они делают. Большинство присутствующих не смогли ответить ни на один вопрос. По его словам, компании поощряют сотрудников создавать агентов и экспериментировать с ними, поэтому вести точный учёт трудно. Ван де Мале добавил: невозможно контролировать то, о существовании чего вы даже не знаете.

Второй шаг — процесс допуска агента к работе, который определяет, какие проверки он должен пройти перед запуском. Но если процедура слишком медленная, команды начинают её обходить. Проверка должна проходить достаточно быстро, чтобы следовать правилам обычно было выгоднее по времени, чем пропускать их. Третий шаг нужен для агентов, которые прошли первые две проверки.

Почему агенты ошибаются в корпоративных данных

В Кремниевой долине, в частности у гендиректоров Anthropic Дарио Амодея и OpenAI Сэма Альтмана, распространено мнение, что постоянно улучшающиеся модели со временем перестанут допускать подобные ошибки. Возможно, это сработает для потребительских сценариев, но не для бизнеса. Чат-бот может дать несколько приемлемых ответов на один и тот же промт. А на вопрос о выручке компании есть только один правильный ответ, и большим языковым моделям трудно каждый раз выдавать именно его.

По данным опроса Collibra, 90% участников считают, что надёжным результатам мешает отсутствие согласованной основы данных. За десятилетие инвестиций в платформы данных у большинства компаний накопилось достаточно информации и есть доступ к ней. И всё же агенты, по словам Ван де Мале, обращаются не к тем таблицам, неправильно понимают найденные поля или используют записи с дефектами качества.

Он считает, что причина скорее в управлении данными и контексте, чем в самих данных.

Решением может стать онтология, которая описывает данные компании, их деловой смысл и правила использования. Ван де Мале много лет назад основал Collibra, чтобы фиксировать бизнес-контекст. Теперь та же работа помогает снабжать агентов знаниями о том, как устроена компания.

Онтологию следует хранить в отдельном от моделей и платформ слое контекста. Компании будут менять модели, а многие в ближайшие годы сменят и платформы для данных и ИИ. Онтология описывает сам бизнес: она меняется вместе с ним и сохраняется при переносе на новые платформы.

Как контекст влияет на точность агентов

Хороший контекст помогает сократить расход токенов: если агент уже знает нужные определения, ему не приходится многократно возвращаться к задаче, чтобы вывести их самостоятельно. Сложнее поддерживать контекст в актуальном состоянии после запуска.

Одна из лабораторий передовых моделей недавно опубликовала исследование своего аналитического агента. Без контекста он правильно отвечал примерно на 30% вопросов, а с контекстом — примерно на 90%. Через два месяца точность снизилась до 60%: контекст, как и данные в дата-пайплайнах, требует постоянного обновления.

По словам Ван де Мале, в следующее десятилетие компании будут решать проблемы разрозненного, изолированного и некачественного контекста — похожие на те, с которыми они работали в сфере данных последние 20 лет. Контекст будет одновременно храниться в Cowork от Anthropic, ChatGPT, Microsoft Copilot, собственных системах для агентов и платформах данных. Из-за этого разные системы и подразделения могут начать по-разному определять одни и те же деловые понятия.

Как агенты-надзиратели проверяют правила

Collibra предлагает использовать контракт агента: он превращает имеющиеся правила управления и контекст в машиночитаемые инструкции, которые можно проверять и применять во время работы. Такие правила можно одинаково использовать для целого набора агентов. Общие контракты задают единые границы, а специализированные адаптируют их к отдельным категориям агентов. По мере появления новых типов агентов правила можно расширять.

Агент-надзиратель проверяет предполагаемое действие до его выполнения и блокирует то, что запрещено контрактом. Для таких проверок нельзя использовать большие языковые модели: они добавили бы задержку и расходы к каждому действию, а их решения были бы столь же ненадёжны, как решения самих агентов. Collibra разрабатывает надзирателей так, чтобы они проверяли правила контракта детерминированно: одно и то же действие каждый раз получает один и тот же вердикт.

Одного механизма контроля недостаточно, и Collibra вместе с остальной отраслью продолжает искать способы управлять сбоями. Пока же инвестиции в ИИ стоит направлять на слой контекста, сказал Ван де Мале. По его словам, у всех есть доступ к одним и тем же моделям, поэтому преимущество получают компании, которые умеют собирать собственные знания и эффективно предоставлять их агентам. Именно в этом он видит источник конкурентного преимущества.