Ни один ИИ-агент не набрал больше 12% в новом бенчмарке SemiAnalysis на реальных рабочих задачах

Работа вместо теста на знания

GDPx проверяет, как агенты справляются с задачами в реалистичных условиях: работают в Siemens NX, ищут информацию среди тысяч файлов в хранилищах данных и взаимодействуют с действующими корпоративными системами. По словам SemiAnalysis, этим подход отличается от GDPval от OpenAI: там весь контекст даётся в промте, а реалистичной рабочей среды нет.

206 заданий охватывают 11 областей, в том числе проектирование микросхем, биологию, количественную торговлю, кибербезопасность и право. Административные задачи и страхование в бенчмарк не включили. Команда SemiAnalysis объясняет выбор тем, что первый триллион долларов доходов от ИИ появится в отраслях, где передовые модели могут принести наибольшую отдачу.

Результаты и ошибки агентов

Среди проверенных моделей лидирует Claude Opus 5.5 с результатом 12%. Gemini 4 Carbon набрала 10,9%, а её запуск обходится в $16,29 за задачу — примерно втрое дешевле. Результат GPT-6 Astra — 9,6%.

Ни одна модель не решила полностью задачи по финансам и праву. Например, в практической работе с таблицей одна ошибочная цифра может сделать бесполезным весь результат. Если считать только полностью выполненные задания по этому строгому критерию, ни одна модель не завершила бы ни одного. Поэтому SemiAnalysis подсчитывает долю отдельных требований, выполненных в каждой задаче.

Проверки выявили и другие сбои:

Фильтры безопасности меняют места в рейтинге

Отдельный анализ показывает, насколько на результаты влияют механизмы безопасности поставщиков моделей. Если исключить кибербезопасность, биологию и проверку согласованности поведения, GPT-6 Astra немного опережает Opus 5.5 с результатом 11,8%.

В заданиях по кибербезопасности GPT-6 Astra и GPT 6.1 Sol набрали 0%, тогда как Muse Wonder Full от Meta показала 35,2%.

Gemini 4 Carbon почти сравнялась с Opus 5.5, но стоит лишь примерно треть его цены. В нижнем ценовом сегменте GPT-6 Luna и DeepSeek 4.1 Flash набирают около пяти процентов при стоимости примерно один доллар за задачу. Muse Wonder Full отсутствует, поскольку у неё нет общедоступной цены

Источник: the-decoder.com

Закрытые задания и спорная методика

Задания подготовили 14 специализированных партнёров. Они также продают лабораториям ИИ данные для обучения и оценки моделей. SemiAnalysis признаёт, что не располагает внутренними специалистами во всех областях. Обычно каждому партнёру разрешено опубликовать только один пример задания; остальные остаются закрытыми.

В некоторых областях, включая право и проектирование оборудования, результаты оценивают языковые модели по заданным критериям, а не эксперты-люди. Поэтому внешние наблюдатели не могут полностью проверить ни сложность заданий, ни качество оценивания.

Закрытость помогает защитить тест от подгонки: лаборатории ИИ не могут настроить модели под конкретные задания, если те не опубликованы. Похожий шаг сделала Artificial Analysis в последней версии своего Intelligence Index.

Разработчик Джош Пёртелл, однако, считает, что в GDPx «шума больше, чем сигнала». По его словам, каждая модель работает в программной среде своего поставщика: например, Opus — в Claude Code. Это ставит поставщиков с менее развитым программным обеспечением в невыгодное положение. Кроме того, в отдельных областях часто всего около десяти заданий, поэтому результаты могут заметно колебаться.

SemiAnalysis планирует обновлять бенчмарк раз в три-шесть месяцев.

По оценке Dataist, GDPx проверяет не только возможности моделей, но и то, как на результат влияют программные инструменты, правила безопасности и способ оценивания. Закрытые задания затрудняют независимую проверку теста, а малое число примеров в отдельных областях делает рейтинги нестабильными.