Одна из самых яростных критиков ИИ считает разговоры о конце света отвлекающим манёвром

Что произошло в индустрии

На этой неделе обсуждали как минимум два события в ИИ-индустрии. Сначала разгорелся спор вокруг математической задачи стоимостью $1 млн: участники выясняли, не использовала ли OpenAI незаметно работу других исследователей, чтобы первой получить решение.

На следующий день исследователь Anthropic, ранее работавший в OpenAI, публично уволился. Он объяснил уход тревогой из-за того, как обе компании обращаются с вопросами безопасности ИИ.

Другой технический сотрудник Anthropic ответил, что в компании действительно искренне считают: ИИ способен убить всех людей. Сам он оценил вероятность такого сценария в более чем 10% в течение следующего десятилетия. В исходном сообщении он поставил восклицательный знак.

В интернете развернулся спор о том, насколько обоснованны эти страхи. Их называли:

Некоторые участники считали, что верны сразу несколько объяснений.

Позиция Тимнит Гебру

Одним из самых заметных критиков стала исследовательница технологий и ИИ Тимнит Гебру. В X и Bluesky она писала о пересекающихся идеях и идеологиях, которые, по её мнению, привели к нынешней странной ситуации.

Ранее Гебру получила известность после громкого ухода из Google. В 2018 году компанию наняла её для оценки предвзятости в быстро развивающихся ИИ-инструментах. Вместе с другими исследователями она подготовила работу о потенциальных опасностях вероятностных больших языковых моделей. Google отказалась публиковать эту работу, и вскоре Гебру покинула компанию.

Она написала книгу о своём опыте — Deep Unlearning: The Rise of ИИ and the Radicalization of a Tech Idealist. Выход ожидается в начале следующего года.

Работа Гебру в целом связана с безопасностью ИИ, однако она отвергает формулировки вроде «безопасность и согласование». По её мнению, люди, предупреждающие о скором конце света, отвлекают внимание от реального вреда, который может причинить технологическая отрасль.

Почему компании выбирают математику

На вопрос Лорен Гуд о том, что спор вокруг «математической битвы» говорит о состоянии ИИ, Гебру ответила, что сначала стоит спросить, почему компании так много вкладывают именно в решение математических задач и почему выбирают определённые дисциплины.

По её словам, программирование, шахматы и математика постепенно стали восприниматься так, будто успех в этих областях означает решение проблемы интеллекта вообще. Компании могут сказать: задача решена — значит, решён и интеллект.

Гебру считает, что OpenAI хочет сформировать именно такую картину: ИИ совершил нечто невероятное и продемонстрировал выдающийся интеллект. Поэтому компания выбрала открытую математическую задачу стоимостью $1 млн.

Однако если бы задача прошла полный процесс проверки, который математическое сообщество использует для оценки значимости и новизны утверждений, а также вклада каждого участника, всем стоило бы дождаться окончательных результатов. Тогда было бы проще понять, насколько точно OpenAI описала этот прорыв.

Гебру сослалась на так называемую Лейденскую декларацию. В ней, по её словам, предупреждают о последствиях использования математики корпорациями подобным образом. Политики начинают ориентироваться на пресс-релизы и популярные публикации, хотя им следовало бы разговаривать непосредственно с математиками.

Сейчас путь от заявления компании о прорыве ИИ до законопроекта Берни Сандерса занимает очень мало времени. Гебру считает это плохой тенденцией.

Конкуренция перед IPO

По мнению Гебру, перед первичными размещениями акций в отрасли идёт жёсткая борьба. Обычно исследователи сотрудничают друг с другом: когда она работала в Google, её команда взаимодействовала с исследователями Microsoft и Amazon.

Теперь же исследователи, как считает Гебру, лихорадочно заняты проблемами, которые пытаются решить, поскольку компании готовятся к IPO.

Почему она не принимает разговоры о конце цивилизации

Гебру объяснила, что на протяжении всей карьеры пыталась с разных сторон говорить об одном и том же. Именно поэтому в 2021 году она вместе с коллегами написала работу о «стохастических попугаях».

Тогда OpenAI заявляла, что GPT-2 слишком мощная модель и её нельзя выпускать. Вокруг системы создавался большой ажиотаж, но исследователи, по словам Гебру, указывали: задаются неправильные вопросы.

В своей книге она использует пример моста и спрашивает, может ли мост решить сам обрушиться. Когда мост рушится, люди не выясняют, был ли он этичным или разумным и почему он решил упасть. Они спрашивают, кто построил его настолько непрочным.

Для моста существуют разрешения, обязательные проверки и другие процедуры. Если обсуждать только само обрушение, можно потерять из виду причину проблемы.

Реальные угрозы

Гебру считает действительно экзистенциальной угрозой ИИ, который используется для управления автономным оружием и боевыми машинами. Такое оружие уже применяют в войнах.

Она также назвала другие опасности:

Рассказ о машине-боге, по мнению Гебру, отвлекает внимание от этих проблем. Индустрия, считает она, превратилась в смесь культов и людей, искренне верящих в свои идеи — примерно как проповедник, который объявляет о приближении конца времён. Разговоры о сингулярности продолжаются уже несколько десятилетий.

Как может произойти «гибель от ИИ»

Когда Гебру попросили по шагам описать, как могла бы произойти гибель человечества от ИИ, если такой сценарий реален, она призналась, что не может ясно его представить.

Во многих подобных сценариях машину просят оптимизировать какую-то задачу, после чего она якобы решает, что для достижения цели нужно убить всех людей на планете. Гебру задаётся вопросом, должна ли такая система загипнотизировать человека, чтобы он не отключил её.

Другой вариант предполагает, что ИИ заражает компьютеры. Но вредоносные программы уже существуют, отмечает исследовательница.

Она предлагает обратить внимание на другие угрозы: наводнения и пожары, масштабный сбой мировой продовольственной цепочки, а также возможность создавать и применять химическое оружие. В примечании к интервью редакция уточнила, что вскоре после разговора Anthropic сообщила о блокировке нескольких потенциально вредоносных попыток учёных создать биологическое оружие.

Гебру также говорит о привилегированном положении людей, которые не способны представить, что им могут навредить более привычные угрозы. Если человека не беспокоят жестокость полиции, наводнения или войны — то, что действительно способно его убить, — он может сосредоточиться на образе машины-бога.

Почему этот разговор не заканчивается

Гебру спрашивает, почему столько внимания уделяется идее ИИ, о которой говорят ещё с 1940-х и 1950-х годов.

Она описала игру, в которую иногда играет во время исследований: читает людям собранные цитаты об искусственном интеллекте и просит угадать, в каком десятилетии они были сказаны. Иногда участники угадывают, но часто ошибаются, потому что высказывания звучат одинаково независимо от времени.