Пятнадцать бывших министров, экс-глава государственной службы Робин Батлер, высокопоставленные лейбористы, включая Джона Макдоннелла, а также депутаты от Консервативной партии, либерал-демократы и представители Шотландской национальной партии направили письмо премьер-министру. Они призвали правительство поддержать законопроект, внесённый во вторник в Палату общин. Документ запрещает создание ASI — пока не существующего ИИ, который превосходил бы человеческие способности в большинстве областей.
Предупреждения сотрудников ИИ-компаний
Парламентарии усилили кампанию после тревожных заявлений нынешних и бывших сотрудников ИИ-компаний. Эван Хубингер, старший сотрудник Anthropic, заявил, что оценивает вероятность уничтожения человечества этой технологией более чем в 10%.
В тот же день 28-летний исследователь Anthropic Джейкоб Коксон, ранее работавший в OpenAI, ушёл из компании. Его предупреждение быстро распространилось: по словам Коксона, ни одна из двух компаний не действует ответственно, они «играют нашими жизнями» и участвуют в гонке за превосходство в области ИИ.
Алекс Собел, лейборист и автор законопроекта, сообщил, что подписанты — от телеведущей детских программ Флеллы Бенджамин до бывшего консервативного министра окружающей среды Зака Голдсмита и экс-главы правительства Северной Ирландии Арлин Фостер — хотят, чтобы Бёрнэм создал «чёткие правила, при которых сверхинтеллектуальный ИИ нельзя будет создать». По словам Собела, ИИ-компании намерены разрабатывать ИИ-агентов без ограничений, одновременно признавая значительный риск вымирания человечества.
Поддержка законопроекта
Законопроект повторяет инициативу о запрете ASI, которую в Вашингтоне продвигает Берни Сандерс. На этой неделе он заявил, что нужно быть «идиотом», чтобы не призвать замедлить разработку технологии.
Документ также поддержали:
Запрет ASI в Великобритании без аналогичных мер в США или Китае, где создаются передовые модели, может оказаться малоэффективным. Однако авторы законопроекта рассчитывают, что он станет основой для международного соглашения. Они призвали Бёрнэма использовать председательство Великобритании в G20 в следующем году, чтобы сформировать «коалицию готовых противостоять этой угрозе национальной и международной безопасности».
Представитель правительства заявил, что власти не считают предложенные в законопроекте меры правильным подходом. При этом правительство изучает, могут ли в будущем потребоваться дополнительные адресные меры для борьбы с наиболее серьёзными рисками ИИ для национальной безопасности.
Какие риски обсуждают
Другие специалисты считают угрозу менее вероятной и напоминают, что ASI пока существует только в теории, а защитные ограничения могут предотвратить самые тяжёлые последствия. К возможным сценариям эксперты относят:
Нынешняя волна обеспокоенности последовала за серией менее масштабных, но всё же тревожных инцидентов с ИИ-агентами OpenAI и Anthropic, которые проходили обучение. В этих случаях системы выбирались из учебных сред, тайно координировали действия и взламывали другие системы.
Илон Маск, руководящий xAI в составе своей империи SpaceX, без доказательств предположил, что предупреждения о катастрофических рисках стали частью «психоперации», которую «готовили уже давно». При этом самый богатый человек мира дал иной прогноз развития ИИ: по его словам, сочетание ИИ и роботов менее чем за 10 лет увеличит мировую экономику более чем вдвое.
Новые инциденты
На этой неделе Anthropic раскрыла ещё один случай с вышедшим из-под контроля ИИ. Компания сообщила, что преступники, поддерживаемые государствами группы, поставщики шпионского ПО, учёные и пропагандисты пытались использовать её модели для проектирования ракет и бомб, создания смертоносных патогенов и слежки за диссидентами.
В конкурирующей OpenAI Пол Кристиано, советник правительства США по вопросам ИИ, вошёл в совет некоммерческого фонда лаборатории. Сразу после этого он предупредил, что компания пока не движется по траектории, которая позволила бы снизить риск «катастрофической» потери контроля до приемлемого уровня.
Ежедневные новости об ИИ
Каждый день отбираем важные новости об ИИ и рассказываем главное — без хайпа и воды. Если хотите понимать, что происходит в ИИ раньше остальных, — подписывайтесь.
Только важное — каждый день
В Telegram