«Слишком мало, слишком поздно»: критики недоумевают и подозревают лидеров ИИ, призвавших притормозить

От развлечения к угрозе

Дискуссия о безопасности ИИ разгорелась после предупреждений информаторов: самые передовые системы могут представлять экзистенциальную угрозу для человечества. Всего за семь дней до этого поклонники ИИ беззаботно тестировали новую модель OpenAI GPT-6 Astra, которую в том числе продвигали как бытовой инструмент: она должна была помогать бронировать теннисные корты, управлять модными компаниями и заказывать еду на вынос.

К среде передовые разработки стали выглядеть гораздо менее безобидно. Уходящий из Anthropic исследователь Джейкоб Коксон заявил, что люди, создающие ИИ, всерьёз допускают: к концу десятилетия технология может уничтожить человечество.

Речь шла об искусственном сверхинтеллекте — пока не существующей версии ИИ, которая превзошла бы людей в большинстве областей. Однако слова Коксона и поддержавшие их заявления экспертов заметно усилили тревогу.

Следующий поворот произошёл после того, как Anthropic сообщила: пользователи обходили встроенные ограничения её действующих моделей и применяли их способами, которые могли помочь в разработке биологического оружия. Среди возможных сценариев назывались создание новых вирусов, передающихся через комаров, и разновидностей птичьего гриппа.

После этого законодатели в Лондоне и Вашингтоне потребовали ограничить или запретить наиболее опасные направления развития ИИ.

План Дарио Амодеи

В выходные глава Anthropic Дарио Амодеи представил план из трёх пунктов, призванный сдержать темп развития передовых систем. Незадолго до этого сотрудники самой компании стали источником тревожных предупреждений, а теперь Амодеи предложил меры против возможного «апокалипсиса ИИ».

Одновременно он предупредил: ускорение развития способностей систем может привести к тому, что рой ИИ-агентов через 6–12 месяцев получит возможность захватить весь интернет. Скептики усомнились в таком прогнозе, но некоторые сочли его достаточным основанием для объявления «красной тревоги».

Предложения Амодеи быстро получили поддержку конкурентов — Сэма Альтмана из OpenAI и Илона Маска из SpaceX. После беспокойной недели это выглядело поводом для осторожной надежды: руководители компаний начали обсуждать замедление до того, как кто-то серьёзно пострадает.

Амодеи предложил три меры:

Сейчас такие наблюдатели подключаются только по инициативе самих компаний либо получают ограниченный доступ для расследования уже произошедших проблем. При отсутствии независимого государственного регулятора это может стать первым шагом к постоянному внешнему контролю.

Последний пункт, вероятно, будет самым сложным. Амодеи предложил начать с узкого соглашения о запрете очевидно опасного применения ИИ — например, для производства биологического оружия. Перспективы американо-китайской координации проверит встреча Дональда Трампа и Си Цзиньпина в Вашингтоне 24 сентября.

Вашингтон не готов тормозить

У плана есть немедленная политическая проблема: Дональд Трамп, судя по всему, не хочет признавать опасность ИИ. Инициатива Амодеи требует действий со стороны правительства США, однако на прошлой неделе Трамп заявил, что не опасается возможного вымирания человечества из-за ИИ.

В воскресенье он подтвердил эту позицию, сказав, что люди обсуждают то, чего не произойдёт. Судя по его подходу к ИИ, поражение в конкуренции с Китаем тревожит его сильнее.

Министр финансов США Скотт Бессент на прошлой неделе заявил, что после победы Китая в этой области «не будет следующего дня»: если Китай опередит США в ИИ, всё остальное перестанет иметь значение.

Люди из окружения Трампа также не понимают, почему Амодеи и другие руководители ИИ-компаний сами не могут замедлить развитие технологий.

Дэвид Сакс, сопредседатель президентского совета советников по науке и технологиям, ответил на публикацию Амодеи: самый простой способ не создать сверхинтеллект — договориться его не создавать.

По мнению Сакса, требование принять предпочтительный регуляторный фреймворк в обмен на такое решение будет выглядеть как шантаж общества и политической системы.

Сначала безопасность

Другую критику идеи «сдерживать темп» развития ИИ высказал профессор Стюарт Рассел, один из ведущих специалистов в этой области. Амодеи предложил замедлить прогресс, чтобы дать разработчикам время улучшить системы, которые должны удерживать ИИ в соответствии с человеческими интересами.

Рассел считает такой порядок действий полностью ошибочным. По его мнению, нужно установить требования к безопасности, и дальнейшее развитие должно продолжаться только после их выполнения.

Он сравнил предложенный подход с решением фармацевтической компании выпускать новый препарат от рака каждый год, надеясь, что за это время удастся провести клинические испытания и получить хорошие результаты. По словам Рассела, сначала задают требования к безопасности, а уже затем определяют, можно ли двигаться дальше.

Критики требуют моратория

Специалисты, не работающие в крупных исследовательских лабораториях, также с подозрением отнеслись к идее глобального регулирования ИИ, которую предложил руководитель самой дорогой в мире компании, занимающейся этой технологией.

Дэвид Крюгер, профессор ИИ, активист в сфере безопасности и бывший первый директор Института безопасности ИИ при правительстве Великобритании, назвал инициативу запоздалой и недостаточной. Он призвал немедленно ввести международный мораторий на разработку передовых систем ИИ на неопределённый срок.