Ни одна модель не справляется со всеми задачами, и в большинстве случаев узким местом оказывается способность рассуждать
Источник: the-decoder.com
Где ошибаются агенты
CloudOpsBench проверяет, могут ли агенты выполнять задачи в облаке, а не только знать, как они решаются. Результаты показывают, что даже лучшие модели не справляются со значительной частью заданий: Claude Fable 5.1 выполнила 60%, а GPT-6 Astra — 53%.
Команда под руководством Энг Чэня из Мичиганского университета связывает основную долю провалов с рассуждением. Примерно в 80% случаев агент неверно определяет, насколько широко нужно проверять систему, пропускает важные сервисы или завершает работу до того, как задача действительно решена. Около 20% ошибок возникают из-за неверных действий; некоторые из них способны привести к необратимым последствиям для инфраструктуры.
Проверка в AWS и планы развития
Все задания выполняются одинаково в реальном облаке AWS и в его эмуляторе. Авторы планируют расширить бенчмарк, добавив поддержку GCP, Azure и OCI. Проект опубликован на GitHub под лицензией Apache 2.0; вместе с ним доступен подробный анализ ошибок.
По оценке Dataist, результаты CloudOpsBench показывают, что успех в облачных операциях зависит не только от правильности отдельных действий: агенту нужно проверить весь контекст задачи и убедиться, что работа завершена. При этом примерно пятая часть ошибок связана именно с неверными действиями, некоторые из которых могут повредить инфраструктуру без возможности восстановления.
Читайте также
Как NVIDIA Factory Operations Blueprint координирует ИИ-агентов при расследовании проблем на производстве
Правительству Албанезе грозит повторение скандала Robodebt из-за алгоритмов и ИИ: «оно идёт к этому с открытыми глазами»
Британские власти обещали экономике £400 млрд от ИИ. Эта цифра в основном взята у Google
Бывший топ-менеджер Meta назвал ИИ-агента Muse «безумным» риском для приватности
Хорошие пёсики? Мрачный антиутопический взлёт роботов-собак
Canva сократит или переведёт на другие места более 1 200 сотрудников в рамках масштабной реорганизации
Дата-центры переходят на старые авиационные двигатели, пока подключение к электросетям затягивается
Акции технологических компаний США отыграли потери после распродажи из-за опасений по поводу расходов на ИИ
Anthropic разрабатывает систему для подтверждения подлинности моделей ИИ
«Крестный отец» ИИ Джеффри Хинтон: возможно, людям было бы лучше без ИИ
Ballistic Ventures Теда Шляйна ищет $490 млн на новые фонды на фоне бума кибербезопасности, подпитываемого ИИ
Google: пользоваться поиском без ИИ невозможно
OpenAI: GPT-6 Astra спроектировала устройство с нуля меньше чем за неделю
За рекордным кварталом Palantir скрывается тревожный сигнал
Развитие больших языковых моделей опережает исследования, призванные его объяснить, выяснили учёные
ИИ-стартап Fal удвоил оценку до $16 млрд на фоне растущего спроса
Сэм Альтман хвастается: ИИ уже умнее самых выдающихся учёных-исследователей
Новая вкладка Netflix на базе ИИ подберёт, что посмотреть, под настроение
Anthropic представила инструмент, с которым начальник может следить за вашими чатами с Claude
ИИ-агенты управляют телескопом Allen Telescope Array и ищут внеземной разум
Ежедневные новости об ИИ
Каждый день отбираем важные новости об ИИ и рассказываем главное — без хайпа и воды. Если хотите понимать, что происходит в ИИ раньше остальных, — подписывайтесь.
Только важное — каждый день
В Telegram