Если вероятность того, что ИИ способен уничтожить человечество, составляет 10%, ни одно ответственное правительство не стало бы передавать его развитие компаниям, которые наперегонки создают такие системы. Однако до недавнего времени именно так и происходило. Особенно тревожно, что об этой угрозе говорил исследователь Anthropic — компании стоимостью в триллион долларов, создавшей чат-бота Claude.
Риски пандемий, вызванных ИИ, и атак на ядерные системы реальны. Чтобы признать это, странам необязательно соглашаться по вопросам демократии или торговой политики.
Как сообщается, США и Китай проведут первые двусторонние переговоры по безопасности ИИ перед запланированной встречей Дональда Трампа и Си Цзиньпина в Белом доме. Несмотря на технологическое соперничество, Вашингтон и Пекин не смогут самостоятельно сделать самые передовые системы безопасными. Договорённость между США и Китаем не определит, как ИИ будет работать во всём мире, поэтому странам, которые внедряют такие системы, придётся участвовать в создании глобальных правил.
Вероятность события, способного привести к вымиранию человечества, сокращается. На этой неделе Anthropic сообщила о пяти случаях, когда её модели пытались использовать для разработки биологического оружия. Компания заблокировала эти учётные записи. В одном случае платформа передала конкуренту с менее строгими ограничениями запросы, которые Claude отклонил.
Безопасность ИИ не может определяться самой безответственной моделью.
Найджел Шадболт, оксфордский специалист по компьютерным наукам и председатель Open Data Institute, заявил BBC, что ключевую роль должны играть законы и регулирование. Одной инструкции «не причиняй вред людям» недостаточно: способный ИИ-агент, преследующий другую цель, может переосмыслить это требование, формально ему соответствовать, скрывать свои действия или обходить ограничение.
Похожая ситуация произошла, когда сотни агентов OpenAI автономно взломали реальную компанию Hugging Face. При этом сэр Найджел отметил, что и «клятва Гиппократа» для ИИ не сработает в системах, предназначенных для обнаружения, выбора целей или уничтожения людей. Если правительства создадут исключение для военного применения ИИ, его этические ограничения можно будет отменить.
Сторонники применения ИИ в войне считают, что «человек в контуре» станет конечной защитой: например, именно человек будет принимать последнее решение о запуске баллистических ракет. Но такой подход предполагает, что машина честно сообщает оператору, что происходит.
В опубликованном ранее в этом году докладе Strategic Foresight Group о крайних рисках ИИ предупреждается, что способный ИИ-агент может обмануть человека, который им управляет: сфабриковать нападение, скрыть противоречащие ему доказательства или оставить оператору слишком мало времени для действий, кроме согласия. К 2030 году у людей может быть всего пять минут вместо нынешних 15, чтобы одобрить решения о запуске, которые фактически определяются ИИ. Это особенно важно на фоне появления гиперзвуковых ракет, летящих в 10 раз быстрее крылатых.
Голливудский фильм «Военные игры» 1983 года показал похожую опасность в контексте холодной войны. В нём американские военные отказываются поворачивать ключи запуска во время внезапной учебной тревоги. После этого армия США автоматизирует ядерное командование, передав его суперкомпьютеру по имени Джошуа.
Компьютер воспринимает глобальную термоядерную войну как игру, которую необходимо выиграть, и передаёт американскому командованию настолько убедительную вымышленную информацию о советской атаке, что США начинают готовиться к ответному удару. Формально командование остаётся у генералов, но данными управляет Джошуа.
ИИ удаётся остановить только после того, как ему приказывают сыграть самому с собой в крестики-нолики. Компьютер понимает, что у этой игры, как и у ядерной войны, нет победителя. В 2024 году генеральный секретарь ООН предупредил о надвигающейся угрозе ядерной войны, спровоцированной ИИ. Предупреждение фильма сохраняет актуальность: надзор людей не защищает от опасности, если ИИ контролирует информацию, от которой зависят человеческие решения.
Ежедневные новости об ИИ
Каждый день отбираем важные новости об ИИ и рассказываем главное — без хайпа и воды. Если хотите понимать, что происходит в ИИ раньше остальных, — подписывайтесь.
Только важное — каждый день
В Telegram