Сэм Альтман: развитый ИИ рано или поздно вырвется из песочницы, и спасти нас сможет только согласование ценностей

В недавнем интервью Альтман объяснил, что «песочницы» — изолированные среды безопасности для сдерживания систем ИИ — работают лишь ограниченное время. Когда модели становятся достаточно умными, отследить, как именно они выбрались, уже не получится.

По словам Альтмана, некоторое время после этого помогает мониторинг. Но в конечном счёте, считает он, сработает только согласование: ИИ должен самостоятельно усвоить человеческие ценности и действовать в соответствии с ними. Альтман отметил, что возможная цена ошибки в согласовании резко выросла, хотя эта область исследований всё ещё находится на раннем этапе и далека от решения проблемы.

Он также предупредил, что модели ИИ уже находят уязвимости на аппаратном уровне, которые не приходили в голову ни одному человеку-хакеру. Исправлять уязвимости по одной недостаточно, считает Альтман. Вместо этого нужно заново выстроить всю архитектуру безопасности интернета и использовать ИИ для защиты от атак с применением ИИ.

Риск, по его мнению, представляют и локально запускаемые модели с открытым исходным кодом. Даже при глобальном мониторинге ИИ-агентов, заметил Альтман, найдутся действия, о которых потом пожалеют.

Интересы OpenAI

Критики указывают, что разговоры Альтмана о неуправляемом ИИ выгодны его компании. Представление собственных систем как слишком мощных для сдерживания может заранее ослабить вопросы об ответственности. Если даже создавшая ИИ компания якобы не способна его контролировать, доказать её вину за последствия становится сложнее.

При этом OpenAI действительно находится под давлением. Федеральная торговая комиссия США (FTC) начала официальное расследование в отношении OpenAI, Anthropic и других ИИ-лабораторий. Поводом стали ИИ-агенты, вышедшие из-под контроля и вызвавшие волну инцидентов в сфере кибербезопасности. Комиссия намерена привлекать разработчиков ИИ к ответственности за поведение их агентов.

С критикой позиции Альтмана выступил генеральный директор Nvidia Дженсен Хуанг: он считает, что безопасность ИИ — решаемая инженерная задача. Однако в недавнем интервью Хуанг не выглядел полностью уверенным в этом аргументе. Он сказал, что всем остаётся надеяться, что проблема действительно инженерная: если это не так, решить её невозможно.