Исследование: ведущие эксперты по ИИ сильно недооценили темпы развития отрасли

На вопрос о темпах улучшения ИИ обычно отвечают исследователи из ведущих университетов, часто цитируемые специалисты и опытные экономисты. Однако промежуточный отчёт FRI показывает, что эти группы существенно недооценили недавний прогресс ИИ в бенчмарках и некоторых показателях внедрения.

С середины 2022 года FRI собирает прогнозы развития ИИ в рамках нескольких исследований и проектов. В выборку вошли опытные специалисты. В первом раунде продольной экспертной панели по ИИ LEAP (Longitudinal Expert AI Panel) участвовали 339 человек:

Среди специалистов по информатике были 30 профессоров из 20 ведущих учреждений и 10 авторов, входящих в число 200 наиболее цитируемых исследователей ИИ. В панелях также участвовали суперпрогнозисты — универсальные эксперты с подтверждённо точными прогнозами.

ИИ достиг целей раньше прогнозов

Самый большой разрыв связан с математикой. ИИ достиг уровня золотой медали на Международной математической олимпиаде в июле 2025 года — на пять лет раньше медианного прогноза экспертов и на десять лет раньше медианного прогноза суперпрогнозистов. Эти оценки собрали в 2022 году, ещё до запуска ChatGPT, однако, по данным FRI, та же закономерность сохранялась и позднее.

На основании своих прогнозов эксперты оценили среднюю вероятность фактически достигнутых результатов бенчмарков в 24,6 процента, а суперпрогнозисты — всего в 9,7 процента. Для результата уровня золотой медали на математической олимпиаде эти показатели снизились до 8,6 и 2,3 процента

Источник: the-decoder.com

ИИ, возможно, также решил одну из задач тысячелетия, хотя пока неясно, соответствует ли решение критериям оценки. В опросе, проведённом в августе и сентябре 2025 года, эксперты оценили медианную вероятность такого решения к концу 2027 года всего в 10%, а суперпрогнозисты — в 5,4%.

В исследовании возможностей ИИ в вирусологии эксперты предположили, что модели сравняются с ведущей командой вирусологов в бенчмарке по поиску и устранению ошибок только к 2030 году. Суперпрогнозисты назвали 2034 год. FRI считает, что это, вероятно, произошло уже в апреле 2025 года. Аналогичное занижение прогнозов показал бенчмарк по кибербезопасности.

Согласно медианному прогнозу, эксперты ожидали, что к 2030 году ИИ достигнет уровня ведущей команды в тесте Virology Capabilities Test, а суперпрогнозисты — к 2034 году. FRI считает, что это, вероятно, произошло в апреле 2025 года. Респонденты связывали достижение этой вехи с более высоким ожидаемым биориском, а не с каким-либо документально подтверждённым ростом фактического вреда

Источник: the-decoder.com

Экономические прогнозы тоже оказались слишком осторожными. Эксперты оценили медианное значение максимальной годовой повторяющейся выручки любой ИИ-компании к концу 2026 года в $20 млрд. Экономисты назвали $16 млрд, а суперпрогнозисты — $25 млрд. FRI приводит для Anthropic оценку примерно в $100 млрд на сентябрь 2026 года и считает, что этот показатель, вероятно, уже достигнут.

Годовая выручка Anthropic и OpenAI (слева) намного превысила медианные прогнозы всех опрошенных групп (справа). Даже самая высокая оценка среди групп — 25 млрд долларов — значительно уступила 65 млрд долларов, о которых сообщалось в июле 2026 года

Источник: the-decoder.com

Реальное влияние оценить сложнее

Не каждый прогноз оказался заниженным. Специалисты по биобезопасности предположили, что 22,5% участников, использующих языковую модель, смогут выполнить задания в биологической лаборатории. Вирусологи ожидали 40%, а суперпрогнозисты — 16,2%. В контролируемом испытании с языковой моделью и доступом к интернету справились только 5,2% участников, тогда как при использовании одного интернета — 6,6%. Языковая модель не дала измеримого преимущества, хотя испытание было небольшим.

Возможно, эксперты также завысили прогнозы по беспилотным автомобилям. Они оценили медианную долю автономных поездок в американских сервисах вызова автомобилей на 2027 год в 7,3%, тогда как прогноз на основе большой языковой модели составил 2,5%. FRI отмечает, что прогнозы по экономическому росту, занятости и масштабному вреду от ИИ пока нельзя надёжно проверить.

При этом участники пересматривают ожидания в сторону повышения. Среди тех, кто прошёл оба опроса, за девять месяцев средняя вероятность того, что ИИ станет «технологией века», выросла с 31 до 36% у экспертов и с 28 до 35% у суперпрогнозистов.

Теперь эксперты и суперпрогнозисты ожидают от ИИ более значительных последствий для общества, чем девять месяцев назад. Обе группы приписывают наивысшую среднюю вероятность варианту «технология века», сопоставимому с электричеством

Источник: the-decoder.com

FRI ускоряет методы прогнозирования

В дальнейшем FRI выделит подгруппу респондентов, ожидающих очень быстрого прогресса ИИ до 2040 года, и начнёт публиковать постоянно обновляемые прогнозы больших языковых моделей рядом с оценками людей. Согласно ForecastBench, некоторые модели уже сравнялись с суперпрогнозистами в отдельных типах вопросов. FRI также хочет определить наиболее точных участников панели LEAP и публиковать их прогнозы, когда накопится достаточно данных.

FRI указывает и на ограничение собственных данных: заниженные прогнозы становятся очевидными сразу после того, как реальность опережает ожидания, а завышенные — только после наступления установленного срока. Поэтому промежуточный отчёт закономерно чаще выявляет случаи чрезмерной осторожности прогнозистов. Кроме того, часть собственных оценок FRI опирается на прогнозы больших языковых моделей, использующие информацию, которой не было у авторов исходных прогнозов.