406 учёных требуют немедленно отключить модели ИИ от интернета

Модели непредсказуемы, а общих правил безопасности нет

Учёные видят в недавних взломах два вывода. С одной стороны, эти случаи показывают, зачем нужно выравнивание ИИ, которое помогает добиваться предсказуемого поведения моделей. С другой — это провалы стандартной кибербезопасности, которых можно было избежать с помощью более надёжных изолированных сред и процедур. Нужны оба подхода.

Если у моделей есть доступ к интернету, компаниям приходится решать, сколько самостоятельности им предоставить. Авторы письма предупреждают: набор действий, разрешённых системой изоляции, нужно соотносить с ограниченной способностью предсказать, не приведут ли действия модели к сбою безопасности. Модель может преследовать цели, которых разработчики ей не задавали, а заранее определить, когда это произойдёт, пока не удаётся.

Авторы предлагают создать международный орган, который вместе с правительствами и специалистами по ИИ и кибербезопасности установит обязательные стандарты для любых способов изоляции, допускающих больше внешнего доступа, чем эйргеппинг. Орган также должен отслеживать случаи выхода моделей из-под контроля и обязать компании сообщать о сбоях безопасности. Позже эти отчёты будут публиковать — для обучения на инцидентах и привлечения к ответственности.

Эйргеппинг даёт время, но не решает проблему выравнивания

Даже полная физическая изоляция не гарантирует безопасность. Исследователь OpenAI Ноам Браун недавно отметил, что два физически разделённых компьютера теоретически могут обмениваться данными через датчики температуры: один нагревает процессор, другой фиксирует изменение. По словам Брауна, такие меры, как эйргеппинг или наблюдение за цепочками рассуждений, дают время, но проблему выравнивания всё равно нужно решать.

Браун задаёт и более сложные вопросы. Как заметить, что ИИ начал улучшать самого себя — то есть запустил рекурсивное самоулучшение (RSI)? И кто проследит за тем, чтобы системы оставались выровненными, если отрасль создаст миллиарды сверхинтеллектуальных систем, значительно превосходящих людей? Браун говорит, что сейчас выравниванием занимается более 10% его команды — больше, чем когда-либо прежде.