Anthropic предупреждает: она близка к созданию саморазвивающегося ИИ (RSI)

В понедельник Anthropic опубликовала обновлённые финансовые данные: выручка компании быстро растёт, но вместе с ней увеличиваются и расходы. В мелком шрифте документа обнаружилось ещё одно предупреждение: компания, похоже, считает, что близка к созданию модели, способной к рекурсивному самоулучшению.

Рекурсивное самоулучшение — это ситуация, когда ИИ настолько хорошо обучает себя, что развитие его возможностей резко ускоряется. Для тех, кто опасается катастрофических последствий ИИ, это сценарий, после которого уже не будет возврата: система сможет совершенствовать себя, пока не выйдет из-под контроля людей, и может не учитывать причиняемый вред, достигая своих целей.

Сторонники ИИ видят в рекурсивном самоулучшении — или хотя бы в надёжном использовании ИИ для совершенствования самого себя — обещание огромного роста производительности и новых научных открытий.

Anthropic считает, что здесь есть и возможности, и риски. В документе S-1 компания сообщает, что использует ИИ в исследованиях и разработке, но предупреждает: помощь ИИ в создании более способных систем может представлять серьёзную угрозу безопасности, особенно если она резко ускорит прогресс. Эти риски охватывает политика ответственного масштабирования Anthropic: она описывает, как компания планирует следить за ними и снижать их по мере приближения к рекурсивному самоулучшению.

Когда термин стал широко употребляться в начале этого года, многие считали его модным словом или, в лучшем случае, целью, которую слишком трудно достичь, определить или подтвердить.

Однако в понедельник Anthropic добавила новые формулировки в раздел документа о факторах риска. Компания сообщила, что уже применяла ИИ для разработки моделей, скачки в возможностях которых тогда не распознала. Кроме того, по её оценке, она может вскоре достичь собственного определения рекурсивного самоулучшения:

In addition, our increasing use of ИИ systems to accelerate our own research and development may cause the capabilities of our models to advance more rapidly than our ability to develop, validate, and implement corresponding safety, alignment, and security measures. As a result, we have in the past not identified , and may in the future not identify, a significant acceleration in our rate of development until after it has occurred.

For example, our internal estimates and our expectations regarding future models, rather than our current models, indicate that we may imminently meet our Responsible Scaling Policy’s definition of “dramatically accelerated progress attributable to ИИ.” We have not designated any of our current models as exceeding this threshold, and we continue to assess the underlying data.

В отрывке говорится, что возможности моделей могут развиваться быстрее, чем Anthropic успевает создавать и внедрять соответствующие меры безопасности. Компания признаёт, что раньше могла заметить значительное ускорение разработки уже после того, как оно произошло, и допускает, что это может случиться снова. По внутренним оценкам будущих моделей, Anthropic может вскоре достичь порога «резко ускорившегося прогресса, обусловленного ИИ». При этом ни одна из нынешних моделей этот порог пока не перешла, а компания продолжает изучать данные.

Anthropic также заявила, что пока не достигла этого порога и рассчитывает сохранять участие людей в исследованиях и разработке в обозримом будущем. Компания не ожидает, что сможет безопасно поручить Claude полностью самостоятельно проектировать и создавать следующие поколения передовых моделей без существенного контроля и понимания со стороны человека — если такая возможность вообще появится. Поэтому Anthropic рассматривает обновление своей политики ответственного масштабирования, чтобы люди сохраняли контроль над разработкой передовых моделей.

Скептики могут напомнить, что документ S-1 одновременно раскрывает информацию и служит маркетинговым инструментом. Поэтому заявление о близости к модели, способной строить саму себя, может быть частью продвижения компании.

Тем не менее возможности Claude в этом году заметно выросли, особенно в программировании, математике и кибербезопасности. Если Anthropic считает, что рекурсивное самоулучшение уже близко, возможно, к этому стоит отнестись серьёзно и действовать — в том числе подумать о регулировании.