Google DeepMind запускает институт для расширения дискуссии об AGI

Первый сборник

Создатели института отмечают, что Google, Google DeepMind и исследователи по всему миру не всегда будут соглашаться друг с другом. Их позиции также могут меняться по мере появления новых данных и информации на быстро развивающемся направлении.

В первый сборник вошли эссе о четырёх темах:

Прозрачность рассуждений

В эссе исследователей по безопасности DeepMind Рохина Шаха и Анки Драган рассматривается сокращение окна прозрачности ИИ. Речь идёт о возможности увидеть и проверить пошаговое рассуждение модели.

Авторы считают, что уменьшение прозрачности не является неизбежным. Новые архитектуры усложняют наблюдение за наиболее мощными моделями, поэтому разработчикам и регуляторам, по их мнению, нужно напрямую учитывать связанные с этим компромиссы в области безопасности.

Один из вариантов — ограничить «непрозрачную последовательную глубину»: объём последовательных вычислений, которые модель может выполнить, не создавая понятного человеку следа рассуждений. Другой вариант — обязать разработчиков доказывать, что менее прозрачные системы всё ещё можно контролировать с прежней эффективностью.

Стандарты для передовых моделей

В другом эссе Демис Хассабис предлагает создать регулируемый США орган по стандартам для передовых моделей ИИ. Он должен оценивать наиболее развитые системы.

Согласно предложенному Хассабисом подходу, на первом этапе разработчики будут добровольно передавать модели на проверку не позднее чем за 30 дней до выпуска. Если система оценки докажет свою эффективность, успешное прохождение тестов могут сделать условием для развёртывания передовых моделей в США.

Сначала орган будет разрабатывать оценки совместно с ИИ-компаниями. Позже он должен перейти к независимым закрытым проверкам — так называемым тестам «удержанных данных». Их задача — не дать лабораториям подстраивать модели под заранее известные оценки.

Хассабис также отметил, что при необходимости фреймворк можно будет постепенно ужесточать. В числе возможных мер он назвал согласованное замедление разработки передовых моделей ИИ несколькими компаниями.

Дискуссия о безопасности

Публикация эссе совпала со сдвигом в отраслевых обсуждениях безопасности. Дискуссия переходит от общих заявлений о рисках к конкретным предложениям по раскрытию информации, внешней проверке и согласованному замедлению разработки, если меры защиты не будут успевать за развитием технологий.

Сдвиг ускорился на этой неделе после того, как руководители компаний поддержали отдельные элементы призыва генерального директора Anthropic Дарио Амодеи к более медленному темпу развития передовых моделей ИИ.