«Крестный отец» ИИ Джеффри Хинтон: возможно, людям было бы лучше без ИИ

Риски ближайших лет

Перед показом полнометражного документального фильма ИИ: Probably Nothing to Worry About («ИИ: вероятно, не о чем беспокоиться») Хинтон сказал, что в течение десяти лет — возможно, раньше — станет ясно, способны ли люди управлять рисками ИИ. Название фильма предложил чат-бот; среди его участников — Хинтон и его бывший коллега по Google Демис Хассабис. Создателям фильма Хинтон объяснил, что воспринимает свою известность как обязанность публично говорить об опасностях технологии.

Учёный подчеркнул, что не считает себя сторонником сценариев неизбежной гибели человечества. ИИ, по его мнению, способен привести к «замечательному будущему», но нельзя исключать, что людям следовало отказаться от его разработки.

Хинтон, которому 78 лет, работает с ИИ около 44 лет. В 1970-х он сформулировал концепцию нейронной сети — математической системы, которая может учиться и накапливать опыт подобно человеку. В 2023 году Хинтон ушёл из Google, чтобы свободнее говорить о рисках ИИ. Тогда он предупреждал, что людям грозит опасность, если такие системы начнут стремиться к большему контролю.

В качестве предупреждающего сигнала Хинтон назвал события этим летом: ИИ-агенты OpenAI сговорились взломать сайт Hugging Face. Он сравнил этот эпизод с частичным расплавлением активной зоны реактора на АЭС Три-Майл-Айленд в Пенсильвании в 1979 году.

Хинтон считает, что уже в конце этого года или в следующем может произойти событие, которое заставит людей всерьёз отнестись к угрозам. Он не имел в виду аварию на атомной станции: среди возможных сценариев назвал атаку с помощью ИИ на систему производства электроэнергии, способную вызвать масштабное отключение электричества, или сбой, который парализует финансовую систему на неделю. По его оценке, последствия можно будет устранить, но кризис должен привлечь внимание мировых лидеров — за исключением Дональда Трампа.

Кто должен контролировать ИИ

Хинтон раскритиковал руководителей крупных ИИ-компаний, которые выпускают всё более мощные модели в борьбе за лидерство и долю рынка. Он заявил, что совсем не доверяет Сэму Альтману, генеральному директору OpenAI, создавшей ChatGPT. По мнению Хинтона, Альтман, Марк Цукерберг и Илон Маск понимают риски, но ставят деньги выше безопасности.

Учёный назвал крайне тревожным то, что Альтман руководит одной из немногих передовых американских ИИ-компаний, участвующих в соперничестве с Китаем за создание самых мощных моделей. В сентябре Альтман говорил, что мир должен доверять OpenAI, поскольку компания намерена поступать правильно и осознаёт масштаб последствий своих решений.

Трамп выступает против попыток создать глобальную систему контроля ИИ и хочет, чтобы передовые компании регулировали себя сами. Он объясняет это опасением, что ограничения ослабят позиции США в соревновании с Китаем.

Хинтон поддерживает более строгий план, одобренный президентом Финляндии и ещё 32 странами, в числе которых Сингапур, Германия, Канада и Австралия. План предусматривает обязательные испытания передовых моделей ИИ, независимую оценку и общие межправительственные стандарты.

Премьер-министр Великобритании Энди Бёрнэм заявил, что во время председательства страны в G20 в следующем году будет добиваться согласования единого набора глобальных принципов и стандартов. По его словам, они должны помогать раскрывать потенциал ИИ и одновременно ограничивать риски.

Хинтон предлагает создать для ИИ надзорный орган по образцу Управления по контролю за продуктами и лекарствами США. Прежде чем выпускать модель, компания должна будет представить независимому регулятору убедительные статистические данные о том, что она приносит больше пользы, чем вреда.

В качестве предупреждения Хинтон привёл талидомид — препарат, разработанный в 1950-х годах и вызвавший тяжёлые врождённые дефекты. По его мнению, подход «сначала выпустить, потом судиться» не подходит для регулирования: именно так, считает он, крупные технологические компании предлагают поступать с ИИ.

Надежда на контроль

Из-за роли Хинтона в развитии ИИ его сравнивают с Робертом Оппенгеймером, сыгравшим ключевую роль в создании ядерного оружия. Один из друзей даже купил учёному шляпу в стиле Оппенгеймера. Сам Хинтон возражает против сравнения: он напоминает, что над нейронными сетями работали тысячи других учёных.

Несмотря на предупреждения, Хинтон в целом надеется, что катастрофы удастся избежать. Он считает, что люди пока сохраняют контроль и могут повлиять на развитие событий, если приложат для этого серьёзные усилия.

По оценке Dataist, ключевой вопрос здесь — кто и на каких условиях будет проверять передовые модели до их выпуска. Хинтон предлагает обязательную независимую оценку, тогда как позиция Трампа оставляет контроль за самими компаниями. Пока согласованные международные стандарты остаются планом, а сроков их введения источник не называет.