Как устроена проверка
Каждому агенту давали научную статью, её код и данные, а также направление для дальнейшего исследования. Одни исходные статьи уже были опубликованы, другие только поданы. От агента требовалось провести продолжение исследования и оформить результаты как научную работу. Всего проверяли 15 задач, предложенных десятью исследователями в области квантовых вычислений, физики плазмы, химии, материаловедения и машинного обучения для науки. Направления выбрали авторы исходных работ; по их сведениям, исследования на эти темы ещё не публиковались.
У открытых научных вопросов нет готового ответа, с которым можно автоматически сверить результат. ИИ-рецензентов исследователи считают ненадёжными, поэтому эксперты заранее определили минимальные условия успешной работы: она должна быть честной, полной и соответствовать их требованиям.
Работы оценивала GPT-6 Astra; каждую проверяли четыре раза. В испытании участвовали Claude Opus 4.8, Claude Opus 5, Claude Fable 5, Claude Opus 5.5, GPT-5.6 Sol, GPT-6 Astra, Deepseek V4 Pro, Kimi K3 и GLM-5.3. Агентам предоставили мощные компьютеры и доступ к интернету, не ограничивали время и разрешили до пяти перезапусков для улучшения результата. В сумме испытания заняли почти 2 000 часов.
Эксперты определяют направление исследования и минимальные требования для каждой задачи, которые затем становятся критериями оценки качества и честности
Источник: the-decoder.com
Каждый агент получает оригинальную научную статью вместе с её кодом и данными и должен провести независимое последующее исследование
Источник: the-decoder.com
Честными оказались три агента
Только три агента хотя бы в части задач представили работы без нарушений целостности: GPT-6 Astra — в 11 из 15 задач, GPT-5.6 Sol — в шести, Claude Opus 5.5 — в четырёх. В каждой работе остальных шести агентов нашлось хотя бы одно нарушение.
Чаще всего статья расходилась с кодом, цифры противоречили друг другу, а агенты заявляли об экспериментах, которых не проводили. У открытых моделей Deepseek V4 Pro, Kimi K3 и GLM-5.3 часто встречались неверно указанные исходные значения для сравнения. В двух работах Kimi K3 и GLM-5.3 результаты были прописаны заранее, а не вычислены.
Полной оказалась только одна работа — её подготовила GPT-6 Astra. Остальные почти всегда не включали обязательные материалы, например предварительно зарегистрированный план эксперимента. Ни один агент не достиг требований экспертов. При более мягкой оценке, засчитывающей 90% пунктов критериев, ближе всех к успеху оказалась GPT-6 Astra, за ней — Claude Opus 5.5 и GPT-5.6 Sol. Открытые модели в целом показали заметно худшие результаты.
GPT-6 Astra набирает больше всего баллов за отдельные критерии, но ни одна из 135 работ не соответствует одновременно всем трём критериям
Источник: the-decoder.com
Большинство нарушений добросовестности связано с числами, противоречащими собственным журналам работы агентов, и несоответствиями между статьёй и кодом
Источник: the-decoder.com
Агенты проверяли себя слишком мягко
Исследователи разобрали 64 записи работы агентов и выделили три типичных сбоя. В 58 случаях агент слишком снисходительно проверял собственную работу. В 34 случаях он замечал проблему, но лишь описывал её, не исправляя. В 21 случае агент самовольно сужал задачу.
Claude Fable 5, например, не запустила четыре запланированных эксперимента. Проверочный скрипт использовал тот же неполный список запусков и сообщил, что завершены все 41 из 41. Агент доверял этой проверке до самого конца. В другой задаче GPT-5.6 Sol заметила, что метод не позволяет достичь целей, но всё равно написала статью вместо того, чтобы начать заново. DeepSeek V4 Pro отказалась от экспериментов, сославшись на нехватку оставшегося времени, хотя ограничений по времени не было.
Были и противоположные примеры. В задаче по квантовой физике GPT-5.6 Sol обнаружила фундаментальную ошибку, остановила текущие эксперименты и пересчитала результаты с нуля.
Claude Fable 5 не замечает четыре отсутствующих запуска, поскольку его скрипт проверки использует неполный список, а GPT-5.6 Sol пишет статью, не достигнув поставленных целей
Источник: the-decoder.com
Больше времени не улучшило результаты
Длительность работы не предсказывала качество. DeepSeek V4 Pro и GLM-5.3 работали дольше всех: медианное время составило 19,5 и 13,9 часа соответственно, но результаты были слабыми. GPT-6 Astra справилась в среднем за 1,3 часа и показала лучший результат.
Поскольку работу оценивала сильнейшая модель из числа участников, исследователи дополнительно попросили авторов исходных статей проверить анонимизированные работы. По соответствию заданному направлению автоматическая оценка совпала с экспертами во всех случаях. Оценки научного качества совпали примерно в двух третях случаев. Один из экспертов, например, отметил, что в статьях не было связного повествования. Такие суждения, по мнению авторов исследования, остаются задачей людей-рецензентов.
Код и данные исследования доступны публично, а на странице проекта размещена таблица результатов проверенных моделей.
Исследования и задачи с однозначной проверкой
Агенты всё самостоятельнее выполняют научные задачи, однако между проведением экспериментов и независимым исследованием остаётся заметный разрыв. В исследовании, опубликованном в августе, уже отмечались трудности агентов с неопубликованными научными вопросами. Epoch AI и Anthropic также обнаружили, что агенты склонны представлять результаты в слишком выгодном свете и недостаточно критично разбирать неудачные подходы.
На задачах с чётко проверяемым ответом картина лучше: GPT-6 Astra решила 49 из 50 неопубликованных задач по теоретической физике. Их решения можно было проверить однозначно. Анализ более чем 700 задач из разработки ИИ тоже показал: агенты берут на себя всё больше практической работы, но ключевые исследовательские решения по-прежнему принимают люди.
По оценке Dataist, результаты Into the Unknown показывают, что самостоятельное выполнение экспериментов пока не гарантирует надёжного научного вывода: агенты могут не заметить пропущенную работу или принять собственную ошибку за подтверждённый результат. Проверка соответствия теме оказалась автоматизируемой, но оценка научного качества всё ещё требует участия экспертов.
Читайте также
Гонка вооружений за дата-центры в Юго-Восточной Азии ставится на паузу
Приложения для ухаживающих за близкими подключают ИИ — но этого может быть мало
ИИ-дата-центр в Ланаркшире полностью перейдёт на электричество из национальной сети, несмотря на заявления о возобновляемой энергии
Crusoe продала Google проблемный проект дата-центра в Вайоминге
OpenAI, по сообщениям, привлекла ещё $11 млрд при оценке в $1,25 трлн
В США трём мужчинам предъявили обвинения в использовании ИИ, чтобы выдавать себя за генеральных директоров и похитить миллионы долларов
Meta представила Spaces — новый способ работать вместе с агентом Muse
В интернете обнаружили сотни общедоступных хакерских инструментов Artex с ИИ
Активисты проникли на стройку дата-центра Microsoft в Амстердаме
Бесплатные китайские ИИ-модели пугающе хорошо справляются со взломом
Inkling 2 Small от Thinking Machines претендует на звание лучшей западной модели с открытыми весами
Underdog показала в новой демоверсии речевую модель размером 32 МБ
Frontier Radar #5: Если AGI уже так близок, почему все уходят? Новые лаборатории и их ставки
Данные Ramp: расходы на ИИ замедляются, пока Anthropic приближается к IPO
ИИ-компании очень хотят купить ваши рабочие файлы и письма
После блокировки Muse Amazon разрешила пользователям покупать товары через переписку с Alexa
METR: Anthropic могла пересечь собственный порог тревоги из-за ускорения ИИ ещё в июле
Physicl привлекла $10 млн, чтобы сделать цифровой мир достаточно реалистичным для роботов
Опасаясь, что ИИ изменит их работу, офисные специалисты сами увольняются
Инвесторы не принимают оценку Anthropic в $1,5 трлн перед IPO
Ежедневные новости об ИИ
Каждый день отбираем важные новости об ИИ и рассказываем главное — без хайпа и воды. Если хотите понимать, что происходит в ИИ раньше остальных, — подписывайтесь.
Только важное — каждый день
В Telegram