Google: до самоулучшающегося ИИ ещё далеко

Чем сложнее и дольше задача, тем реже ИИ справляется с ней самостоятельно. В 1 389 внутренних запусках агента Argon доля успешных решений без участия человека резко снижалась с ростом сложности. По словам Белфилда, люди по-прежнему необходимы для творческих исследований, разработки новых экспериментов, выявления тонких нестабильностей обучения и долгосрочного планирования. Обзор двенадцати старших исследователей DeepMind подтвердил эту картину: автоматизация лучше всего работает на чётко определённых задачах с проверяемым результатом и хуже всего — на открытых научных поисках идей.

На внутреннем бенчмарке DeepMind RE-Bench, который включает 74 реалистичные задачи по разработке машинного обучения, Argon решает примерно половину. Это заметно больше, чем 27% у Gemini 3.7 Flash, но до почти безошибочной работы, необходимой для полной автоматизации, ещё далеко.

Индекс Google не показывает ускорения исследований

Чтобы систематически отслеживать прогресс, команда создала общий индекс способностей (GCI), охватывающий 123 модели и 92 бенчмарка. Способности моделей Gemini растут устойчивым темпом — примерно на 0,1 пункта GCI в месяц, без заметного ускорения. Команда связывает то, что Gemini 4 Argon немного опережает общую тенденцию, с увеличением вычислительных ресурсов и вложений в организацию работы, а не с ускорением исследований за счёт ИИ.

Сейчас команда оценивает риск автоматизации исследований с помощью ИИ как низкий, но создаёт систему измерений, чтобы в дальнейшем отслеживать признаки ускорения.

Выводы Белфилда согласуются с недавними исследованиями, однако в отрасли нет единого мнения. Более 20 исследователей ИИ, среди них Джеффри Хинтон, Йошуа Бенжио и Якуб Пахоцкий из OpenAI, недавно предупредили в научной работе о возможном «взрыве интеллекта». По их мнению, за несколько лет ИИ-системы могут автоматизировать все исследования и разработки в области ИИ, сжав годы обычного прогресса до нескольких месяцев.