i
Новости
Новости · 2026-11-20

Самый неправильно понятый график в сфере ИИ получил крупное обновление

Dataist Dataist

Некоммерческая организация METR обновила график, который оценивает, задачи какой длительности способны выполнять модели ИИ. Новые испытания показывают: модели по-прежнему быстро улучшаются в задачах с проверяемым результатом, таких как программирование и математика, но пока уступают людям там, где нужно выносить суждения. В частности, ни одна модель не подготовила оценку ИИ, которую сотрудники METR сочли бы полезной для исследований. При этом самые новые модели уже приблизились к приемлемому уровню в такой задаче. Насколько устойчивым будет этот прогресс, пока неясно: открытые задачи сложно и разрабатывать, и оценивать.

Обложка: Самый неправильно понятый график в сфере ИИ получил крупное обновление

Что измеряет график METR

В первоначальной версии графика METR оценивала модели на большом наборе задач, которые предварительно выполняли люди. Сложность каждой задачи определяли по тому, сколько времени требовалось испытателям-людям. Затем модели оценивали по продолжительности задач, с которыми они справлялись. Результат показал, что каждые четыре месяца максимальная длительность успешно выполненных передовыми моделями задач удваивалась.

График широко распространялся, но его часто понимали неверно: использованные METR измерения были сложными. Теперь организация добавила задачи, на которые у людей, по оценкам, уходит гораздо больше времени, а также задания с менее однозначным результатом.

Разница важна для обучения моделей. В проверяемой задаче можно автоматически определить, получилось ли у системы выполнить её. Исследователи много раз запускают модель, усиливают связи, связанные с успешными ответами, и ослабляют те, что приводят к ошибкам. Так работает обучение с подкреплением. Этот подход помог моделям добиться высоких результатов в программировании и математике, где правильность решения можно проверить автоматически.

Сложнее применить его к задачам, где успех нельзя чётко определить или для оценки нужно много времени, — например, к выбору нового направления исследований. Такие задания трудно не только осваивать, но и оценивать. Поэтому в первоначальном графике METR их не было, хотя именно подобные способности могут потребоваться для автоматизации исследований и разработок в области ИИ.

Новые испытания на суждение

Вопрос об автоматизации исследований ИИ стал особенно актуальным после другого доклада METR, опубликованного ранее в этом месяце с обширными закрытыми фрагментами. В нём утверждалось, что ИИ может вдвое ускорять разработку ИИ в Anthropic. Доклад вызвал опасения, что компания, недавно проведшая крупное первичное публичное размещение акций, вскоре сможет прийти к полному рекурсивному самоулучшению: системы ИИ будут без участия людей проектировать собственных преемников.

В новый набор METR включила задачи, требующие суждений и допускающие разные ответы. В одном испытании модели должны придумать новые оценки ИИ, которые METR могла бы использовать в исследованиях. Результаты затем проверяют сотрудники организации. Хотя самые передовые модели уже превосходят почти всех людей в разработке программного обеспечения, с этой задачей они пока не справились: сотрудники METR не сочли полезной для своих исследований ни одну созданную моделью оценку.

Другое испытание проверяет, как модели оценивают философские аргументы. METR использует его, чтобы изучить способность моделей выносить обоснованные суждения, однако сотрудники организации расходятся во мнениях о том, насколько эта задача важна для автоматизации исследований и разработок в области ИИ. В ней модели также уступили людям.

Компьютерный учёный Саяш Капур, который готовится стать профессором Калифорнийского университета в Беркли, считает переход к более разнообразным проверкам полезным. По его словам, оценивание ИИ требует более творческих подходов. Сам Капур не удивился, что модели отстают в открытых задачах, например при разработке оценки ИИ: в препринте, опубликованном в августе, он и его соавторы сообщали, что модели пока не способны самостоятельно воспроизводить исследования людей в компьютерных науках.

В среду OpenAI также сообщила в блоге, что её модели хуже справляются с реальными задачами, которые задают сотрудники компании, чем с более простыми и проверяемыми заданиями из первоначального набора METR.

Что означают результаты

Единого мнения о том, как интерпретировать разрыв между проверяемыми и открытыми задачами, нет. Капур считает, что узким местом автоматизации исследований ИИ станет «исследовательский вкус» — способность выбирать перспективные вопросы, гипотезы и эксперименты. Другие полагают, что обучение на задачах с легко проверяемым результатом со временем позволит моделям справляться и с открытыми заданиями. Прогресс в проверяемых задачах пока не замедляется.

Новые данные METR показывают, что модели могут улучшаться и в задачах с открытым результатом. Некоторые из самых новых моделей, например Opus 5.5, в разработке оценок ИИ обычно попадают в категорию «чуть выше проходного уровня». METR пока не считает такие результаты пригодными для своих исследований, но год назад все модели находились в категории «явно ниже проходного уровня».

Однако открытых задач в докладе мало: их трудно создавать и оценивать. Лингвист и компьютерный учёный Найонг Ким из Бостонского университета считает, что наблюдаемый рост говорит о текущем состоянии моделей, но пока неясно, можно ли на его основе судить о дальнейшем прогрессе.

Сотрудник технического отдела METR Мэтт Путц также отмечает, что прогнозировать развитие моделей на заданиях, требующих суждений или допускающих неоднозначность, будет сложно. По его словам, для таких задач труднее получить чистые и надёжные тенденции, чем для заданий с чёткими условиями.

Трудности связаны и с тем, как METR оценивает длительность задач. В первоначальном графике исследователи измеряли время, предлагая людям выполнить каждое задание. В новом докладе длительность в основном оценочная: оплачивать людям сотни часов работы или привлекать немногих специалистов, способных выполнить конкретную задачу, слишком дорого и долго.

У отдельных заданий есть и свои ограничения. Например, большинство философских аргументов оценивал один человек, а модели сравнивали с его оценками. Результаты могли бы измениться, если бы к проверке привлекли больше экспертов, но это потребовало бы дополнительного времени.

Специалисты, с которыми беседовали для материала, считают включение открытых задач в новый график METR шагом в нужном направлении. При этом окончательных ответов о том, возможна ли автоматизация исследований и разработок в области ИИ и как быстро она произойдёт, пока нет. Капур называет такой переход перспективным, но подчёркивает, что для полного понимания ситуации предстоит проделать ещё много работы.

По оценке Dataist, обновление графика расширяет представление о возможностях моделей, но пока не даёт надёжной основы для прогнозов об автоматизации исследований ИИ. Особенно важно, что результаты по задачам с открытым ответом опираются на оценки длительности и проверки с ограничениями. Уверенно сравнивать прогресс в этой области с успехами в программировании и математике пока нельзя.

Чипы выдержат условия космоса. А выдержит ли их финансирование? Дочь Дженсена Хуанга тоже работает в Nvidia — по сообщениям, она кричит на сотрудников и осыпает их странными оскорблениями Распродажа техакций может усилиться, прежде чем появится повод покупать Nvidia вкладывает не менее $500 млн в диффузионные модели Inception, чтобы усилить линейку открытых Nemotron Анализ Bloomberg: вакансий в Китае для работников под влиянием ИИ стало сокращаться на 10 процентных пунктов быстрее, чем для остальных Ставка Google на ИИ оборачивается громким провалом Google обновила главную страницу, ещё сильнее превратив поиск в ИИ-сервис ответов Бывший председатель SEC Гэри Генслер: ИИ уже в пузыре, который лопнет и обернётся экономической катастрофой Anthropic завершила IPO и параллельное частное размещение, банки полностью выкупили дополнительные акции по своей опции Семь основателей Anthropic заработали почти $2 млрд на рекордном IPO ИИ взимает скрытый «когнитивный налог» с самых низкооплачиваемых работников Collective Wisdom в Hermes Agent превращает личную ИИ-хитрость сотрудника в навык всей команды Мировые фондовые рынки падают: IPO Anthropic не остановило распродажу акций ИИ-компаний ИИ-агент Meta Muse путает переписки и может раскрывать личные данные, сообщает Reuters После протестов в Мельбурне NextDC обещает строить новые дата-центры подальше от жилых домов Противники Anthropic вышли на протесты в Нью-Йорке и Сан-Франциско после дебюта компании на бирже с оценкой в $2 трлн Выступая перед открытием торгов на Nasdaq, глава Anthropic подтвердил: компания не станет торопить развитие ИИ Всё больше банков предупреждают: за действия ИИ-агентов отвечают клиенты, даже если тех взломают Сэм Альтман предостерёг от будущего, в котором решения будут принимать ИИ, а не люди Техногиганты уже строят дата-центры в Австралии. Зачем лейбористы так стремятся дать им лазейки?

Ежедневные новости об ИИ

Каждый день отбираем важные новости об ИИ и рассказываем главное — без хайпа и воды. Если хотите понимать, что происходит в ИИ раньше остальных, — подписывайтесь.

Только важное — каждый день

В Telegram