Долгоживущие ИИ-агенты молча забывают правила комплаенса — контекст не спасёт

Техническая проблема

Команды инфраструктуры привыкли полагаться на стандартные пайплайны CI/CD и циклы контроля качества, считая, что они обнаружат такое ухудшение. На практике это происходит редко.

В чистой тестовой среде контекстное окно невелико, и механизм внимания большой языковой модели точно соотносит запрос с системным промтом. Но большие языковые модели — вероятностные генераторы, а не детерминированные базы данных. Когда последовательности токенов разрастаются до сотен тысяч, внимание к отдельным фрагментам ослабевает.

Исследователи называют это эффектом «потери в середине». Речь не о простой ошибке поиска. Это архитектурный сбой: модель перестаёт различать временный разговорный контекст и неизменяемые правила работы с мастер-данными.

Стандартные пайплайны генерации с дополнением извлечёнными данными (RAG) здесь тоже не спасают. Векторные базы хорошо находят семантически похожий текст, но не могут обеспечить сохранение состояния. Они не способны заменить вероятностный ответ жёсткими операционными ограничениями. Если модель решит проигнорировать правило, векторное хранилище её не остановит.

Разделение уровней

Расширение контекстного окна до миллиона токенов проблему не решит. Не помогут и более сложные пайплайны RAG. Такие меры лишь откладывают неизбежный сбой и увеличивают совокупную стоимость облачной инфраструктуры, когда проблема всё же проявится.

Решение заключается в том, чтобы рассматривать корпоративную бизнес-логику как защищённое состояние. Физически она должна находиться за пределами слоя генерации текста.

В передовых архитектурах для этого используют нейросимвольное разделение. Нейросеть отвечает за рассуждение, а детерминированный слой правил, полностью вынесенный за пределы контекстного окна большой языковой модели, — за символическую логику. Контекстный слой с программной проверкой целостности не позволяет языковой модели перезаписать ключевые правила управления.

Вероятностная модель может подготовить черновой результат. Но до выполнения действия детерминированный движок должен проверить его на соответствие неизменяемой логике. Этот обмен между двумя уровнями и становится защитным механизмом.

Три шага на этой неделе

Для начала исправлений не нужен план на полгода. Специалисты по оркестрации ИИ и руководители инфраструктуры данных могут сразу проверить работающие системы и защитить их архитектуру.

Вывод

Корпоративное внедрение ИИ долгое время было сосредоточено на скорости генерации: команды оптимизировали число токенов в секунду и время до первого ответа. Для стабильной работы теперь требуется другое — структурная целостность и детерминированное управление.

Специалисты по оркестрации ИИ, которые создают архитектуры, способные сохранять ограничения памяти, смогут безопасно масштабировать системы и заслужить доверие аудиторских комитетов и советов директоров. Те, кто проигнорирует незаметное смещение, в итоге будут объяснять регуляторам, почему их ИИ забыл правила на девятый день.

Анкит Ананд — управляющий консультант и архитектор корпоративного управления данными.