Забудьте о «сверхразуме»: из-за ошибки ИИ в этом месяце мир едва не оказался на пороге третьей мировой войны

На фоне потока новостей о сверхразумных машинах, которые могут привести человечество к вымиранию, рассказ CNN о почти противоположном сценарии остался почти незамеченным. Издание описало, как зависимость американских военных от ненадёжных чат-ботов едва не втянула США в войну с Китаем.

Главной международной новостью об ИИ за последние три недели стала отставка инженера Anthropic Джейкоба Коксона. По его словам, OpenAI и Anthropic «мчатся к самоулучшающемуся сверхразуму и ставят наши жизни на кон». Коксон описал сценарий «Терминатора»: машина становится намного умнее человечества и решает его уничтожить. Это привлекло внимание публики, журналистов и политиков, вызвало волну тревожных, доверчивых публикаций и подтолкнуло законодателей к действиям.

Губернатор Калифорнии Гэвин Ньюсом распорядился создать «выключатель» для ИИ. Губернатор Нью-Йорка Кэти Хокул также рассматривает возможность появления таких выключателей. Сенатор Берни Сандерс и член Палаты представителей Грег Касар внесли законопроект о запрете искусственного сверхразума.

Пока многие следили за вымышленными сверхразумными машинами, которые теоретически могли бы уничтожить человечество, в новостях появился куда более серьёзный сюжет.

К череде событий, едва не приведших к катастрофе, привела не «вышедшая из-под контроля сверхразумная система», а доверие властей к ошибочным продуктам, которые производители рекламируют как почти сверхразумные.

В публикации CNN от 18 сентября, которую другие крупные издания не подтвердили, говорится, что США «едва не начали войну» с Китаем из-за разведывательного доклада. В нём утверждалось, что китайское судно перевозит компоненты ядерного оружия. Военные подготовили перехват: к операции готовились самолёты и солдаты, которым предстояло подняться на борт. Столкновение между Китаем и США могло быстро перерасти в мировую войну.

Американские чиновники перепроверили разведывательный доклад буквально за несколько мгновений до начала операции. Выяснилось, что его подготовили с помощью чат-бота и что сведения о грузе судна были ошибочными.

Этот случай не вызвал у законодателей призывов регулировать технологии, чтобы предотвратить возможное вымирание человечества, как это произошло с историей о «вышедшем из-под контроля ИИ». Издание за изданием не предупреждало читателей, что из-за доверия военных к ошибочным чат-ботам США едва не вступили в войну с ядерной державой.

Авторки называют большие языковые модели, на которых работают эти чат-боты, «стохастическими попугаями»: они устроены так, чтобы воспроизводить закономерности данных, на которых обучались. Когда в новостях такие модели представляют как «мощные» и «вышедшие из-под контроля», способные самостоятельно уничтожить человечество, это укрепляет веру в то, что основанные на них инструменты достаточно надёжны даже для военных задач с высокими ставками.

Даже CNN в критическом материале описала чат-бот, которым пользовались американские военные, как источник «серьёзных рисков» из-за того, что это «мощная, новая и относительно малоизученная технология».

Однако современные большие языковые модели и чат-боты на их основе не являются малоизученными. Они также неэффективны для таких задач. Это системы, которые создают правдоподобно выглядящий текст на основе огромных и беспорядочно собранных наборов данных, а затем проходят файн-тюнинг — дополнительное обучение, призванное сделать ответы привлекательнее для предполагаемых пользователей.

CNN не удалось выяснить, какой именно чат-бот использовали военные. Но, вероятно, лежащую в его основе языковую модель дообучили выдавать текст со стилистическими особенностями разведывательных докладов. И работа таких моделей, и связанные с ней риски хорошо известны и задокументированы уже много лет, в том числе в статье авторок 2021 года «Об опасностях стохастических попугаев: могут ли языковые модели быть слишком большими?».

Представление о загадочном поведении систем возникает из-за того, что продавцы намеренно окутывают их тайной, а заказчики и пользователи неверно понимают, что именно выдают эти системы.

В отличие от ненаучных и фантастических заявлений руководителей OpenAI и Anthropic и тех, кто без критики повторяет их тезисы, вред от продуктов этих компаний объясняется не тем, что они действительно сверхразумны. Он возникает потому, что люди верят в их сверхразумность.

ИИ-системы, которые делают медицинские записи, ошибочно помечают пациентов как употребляющих запрещённые наркотики. А правительства убивают детей, полагаясь на «разведывательные» системы, которые принимают школы за военные объекты. Это предсказуемые последствия доверия к ненадёжным автоматизированным программам.

Тем временем рекламные кампании компаний, продающих такие продукты, предупреждают о грядущем сверхразуме и тем самым отвлекают внимание от реальных рисков, подменяя их собственными фантазиями о конце света.

Использование продуктов, продаваемых как ИИ, пора регулировать не потому, что это волшебные машины, а потому, что они ошибаются и не должны применяться в ситуациях с высокими ставками. Любую автоматизацию в военной сфере, медицине и других областях, где на кону человеческие жизни, необходимо тщательно проверять именно в тех условиях, где её собираются применять. Правила использования должны оставлять ответственность за решения людям, которые действительно вправе их принимать.

«Как неоднократно напоминала нам бывшая председатель Федеральной торговой комиссии Лина Хан, в вопросах ИИ закон не делает исключений»

Источник: theguardian.com

Как неоднократно напоминала бывшая председатель Федеральной торговой комиссии США Лина Хан, для ИИ не существует исключения из закона: федеральные ведомства и другие регуляторы могут применять уже действующие нормы, чтобы защищать общественность от небезопасной и ненаучной практики отрасли. Компании продвигают необоснованные продукты, рекламируя их как «волшебный разум с небес».

Когда журналисты и политики вслед за руководителями компаний описывают их продукты как существ с собственной волей, это помогает руководителям уходить от ответственности и вводит общественность в заблуждение. Гебру и Бендер призывают журналистов и законодателей привлекать компании к ответственности, а не повторять их рекламные тезисы.

Тимнит Гебру — исполнительный директор Dair и авторка готовящейся к выходу книги «Глубокое разучивание: радикализация технического идеалиста». Книга уже доступна для предзаказа и должна выйти 16 февраля.

Эмили М. Бендер — профессор лингвистики Вашингтонского университета и соавтор книги «Контрапункт ИИ».