Тимнит Гебру считает, что экзистенциальной угрозы от ИИ нет

Откуда взялся разговор об экзистенциальной угрозе

В спорах о последствиях искусственного интеллекта появились выражения вроде «вышел из-под контроля», «нарушил сдерживание», «несоответствие целей» и «вероятность гибели». Два понятия оказались в центре дискуссий: «стохастические попугаи» и экзистенциальный риск. Одной из заметных участниц этих споров стала исследовательница ИИ Тимнит Гебру.

Широкую известность Гебру получила несколько лет назад после конфликта с Google. Она была соавтором научной работы о предвзятости в ИИ компании: в ней говорилось, что большие языковые модели, по сути, повторяют данные, на которых обучались, и могут закреплять предвзятые взгляды. Споры вокруг статьи привели к уходу Гебру из Google. Позже она основала институт, который изучает вред от технологий и поддерживает разработку непредвзятых технологических инструментов. Гебру также написала книгу Deep Unlearning: The Rise of ИИ and the Radicalization of a Tech Idealist. Её выход ожидается в начале следующего года.

В последнее время Гебру выступает против части технологической индустрии, представители которой считают, что ИИ настолько мощный, что способен уничтожить человечество. В ответ некоторые участники этого сообщества, в том числе один из сооснователей Anthropic, заявляли, что более ранняя работа Гебру о «стохастических попугаях» устарела и что ИИ способен «думать» и рассуждать. При этом взгляды Гебру на культовые черты сообщества эффективного альтруизма в индустрии ИИ сблизили её с правыми организациями, которые тоже резко критикуют эти группы.

Теперь спор идёт не только о технологиях, но и об идеологических группах и стратегических нарративах. Гебру называет такие нарративы «вредным отвлечением» от реальных проблем ИИ. В интервью она рассказала, от чего, по её мнению, отвлекают эти разговоры, и ответила на критику, что её ранняя работа недооценивает современные системы.

Кто продвигает нарратив о «машине-боге»

Журналистка Лорен Гуд напомнила, что за несколько недель до интервью молодой исследователь ИИ ушёл из Anthropic. В заявлении об увольнении, опубликованном в X, он написал, что многие в компании считают: человечеству грозит серьёзная экзистенциальная опасность из-за ИИ. Это вызвало широкую дискуссию о реальных угрозах технологии.

Когда Гуд поговорила с Гебру вскоре после этого, та назвала подобный нарратив отвлечением от настоящих проблем. Теперь исследовательница уточняет: по её мнению, он не просто отвлекает — он вреден.

Гебру предлагает вспомнить историю этих заявлений. Илон Маск и Питер Тиль говорят об экзистенциальной угрозе ИИ с 2013 года. По её словам, заметные фигуры повторяют одну и ту же риторику примерно каждые три года.

В качестве примера она приводит Future of Life Institute, основанный физиком MIT Максом Тегмарком и Яаном Таллином — миллиардером, который возглавлял раунд финансирования Anthropic серии A. Таллин также финансирует METR — аудитора, которого называют независимой третьей стороной. Отчёт METR о якобы вышедших из-под контроля агентах OpenAI, взломавших Hugging Face, широко разошёлся в сети.

По словам Гебру, публике может казаться, что разные независимые организации сходятся во мнении об угрозах ИИ. Однако, утверждает она, одни и те же миллиардеры основали и финансируют Anthropic и организации, которые предупреждают об «экзистенциальном риске» ИИ. Они же поддерживают сторонние организации, на которые сейчас часто ссылаются как на независимых экспертов. При этом от первичного размещения акций Anthropic эти инвесторы могут получить больше выгоды, чем кто-либо другой.

Гебру считает такой нарратив не просто отвлечением, а вредом. Основатели, инвесторы и финансисты компаний, которые больше других выиграют от выхода на биржу, по её словам, сами десятилетиями распространяли подобные идеи. Поэтому она предлагает задаться вопросом: почему люди, которые могут получить большую прибыль от конкретного продукта, одновременно утверждают, что компания, выпускающая его, может погубить человечество? На первый взгляд это кажется противоречием.

Исследовательница говорит, что уважает бывшую председательницу Федеральной торговой комиссии Лину Хан за её позицию: для ИИ-компаний нет исключений из действующих законов, хотя сами компании ведут себя так, словно исключения есть.

По словам Гебру, руководители компаний представляют себя творцами будущего, а само будущее — пугающим, если им не позволят продолжать разработку ИИ.

Она призывает следить за заявлениями компаний в новостях. Когда их представители говорят, что ИИ способен вызвать экзистенциальную угрозу, они также обещают, что он остановит изменение климата, принесёт мир во всём мире и избавит человечество от бедности. Логика, которую описывает Гебру, такова: мощный ИИ может привести и к утопии, и к гибели человечества — если его создадут «не те люди» или если не установить защитные ограничения. По её словам, лишь немногие участники спора занимают какую-то одну из этих позиций.

Рассуждения о сверхмощных машинах адресованы сразу нескольким аудиториям. Инвесторам говорят, что им стоит получить доступ к таким системам. Правительствам внушают, что нельзя позволять соперникам завладеть ими. Регуляторам дают понять, что обсуждать нужно вымышленные сверхмощные технологии.

На фоне угрозы гибели человечества такие проблемы, как загрязнение окружающей среды дата-центрами и защита авторских прав художников, могут показаться незначительными. Гебру считает, что нарратив об экзистенциальной угрозе помогает убеждать правительство не тратить время на текущие судебные разбирательства и другие вопросы. Компания может предупреждать, что регулирование по этим темам позволит Китаю получить доступ к сверхмощным системам, и предлагать довериться ей: она создаст «машину-бога», которая поможет человечеству, и при этом согласна на регулирование.

Другой результат такой риторики, добавляет Гебру, — возможность уклониться от ответственности.

Термины и ответственность разработчиков

Гуд спросила, могут ли некоторые группы быть ближе друг к другу во взглядах на безопасность и прозрачность, чем им кажется, — просто они используют разные термины. В их прежних разговорах Гебру критиковала некоторые выражения, описывающие современный ИИ. Например, после публикации предыдущего интервью она пожалела, что употребила термин «автономное оружие». Также они обсуждали вероятность гибели человечества и то, что выражения вроде «агент вышел из-под контроля» снимают ответственность с инженеров, создавших систему.

Гебру пояснила, что не возражает против самого термина «автономное оружие»: это юридическое понятие, к которому по закону относятся даже противопехотные мины. Её беспокоит, что сторонники так называемого лагеря экзистенциального риска присвоили этому выражению другое значение.

Когда она употребила этот термин, Гебру предполагала, что её слова могут истолковать как разговор о сверхчеловеческой, сверхразумной машине, которая действует самостоятельно. Так и произошло: сторонники экзистенциального риска поняли её именно в этом смысле.

На прошлой неделе Гебру была на Генеральной Ассамблее ООН. Она участвовала в параллельной дискуссии, поэтому не могла присутствовать на заседаниях самой Ассамблеи или Совета Безопасности. На мировой площадке выступили несколько крупных руководителей технологических компаний. Сэм Альтман и Дарио Амодей говорили о необходимости международного сотрудничества для борьбы с экзистенциальными угрозами человечеству. По сообщениям, Амодей заявил, что при плохом управлении ИИ может представлять опасность для всего человечества. Его конкурент Альтман сказал, что люди могут потерять контроль над будущим из-за ИИ.

Гебру предлагает разобраться, почему руководители компаний, заинтересованных в продаже ИИ, выступают на площадке ООН и предупреждают о возможных рисках. По её мнению, это часть захвата регулирования: компании пытаются влиять на правила, прежде чем власти начнут ограничивать их деятельность.

Регулирование и ответственность компаний

Гебру говорит, что захват регулирования продолжается давно. В 2023 году Альтман тоже призывал к международному сотрудничеству. Когда Евросоюз принял Закон об ИИ, он пригрозил вывести компанию из ЕС.

Исследовательница предлагает смотреть на реальные действия компаний. Когда регулирование затрагивает их работу и возлагает на них ответственность, они угрожают уйти с рынка или активно добиваются смягчения правил.

Одновременно представители этих компаний призывают международные организации к сотрудничеству. По мнению Гебру, так компании продвигают себя как создателей так называемого сверхразума — то есть занимаются маркетингом. Они также запугивают людей тем, что подобные системы могут создать конкуренты. Компании, как утверждает Гебру, не хотят появления открытых моделей из Китая и такой конкуренции.

Гебру говорит, что не следит подробно за регулированием в Китае, но отмечает: там обсуждают дипфейки и другие конкретные проблемы, которые требуют регулирования, а не экзистенциальные угрозы. Первый приём компаний — представлять себя создателями невиданных сверхмощных технологий, для которых якобы не существует подходящих законов. Гебру считает это неправдой: действующие правила уже есть. Второй приём — угрожать уходом с рынка или лоббировать ослабление правил, когда кто-то пытается применить их к реальным действиям компаний.

Она возвращается к событиям десятилетней, пятилетней и трёхлетней давности, потому что, по её мнению, всё повторяется. В своей книге она описывает происходящее как «один и тот же фильм на повторе, но с новыми героями».

На вопрос о том, каким должно быть регулирование, Гебру отвечает, что нужны простые меры. Она не юрист, но напоминает о пяти предложениях Лины Хан, бывшей комиссарки Федеральной торговой комиссии. Первое — пресекать обман в рекламе: для этого уже существуют законы, и их можно применять к компаниям.

Второе — прозрачность и документация. До выпуска продукта компания должна сообщить, откуда взялись данные, и задокументировать их. По словам Гебру, компании не делают даже этого и будут до последнего сопротивляться обязанности описывать использованные данные.

Третья проблема — эксплуатация людей, которые работают с данными. Гебру говорит о сотнях миллионов людей по всему миру, которые кропотливо размечают данные, а иногда притворяются чат-ботами.

Гуд привела в пример недавний материал 404 Media о новом чат-боте Meta Muse: в некоторых случаях за ответом пользователю якобы стоит человек.

Гебру называет прозрачность данных, документацию и эксплуатацию работников простыми вопросами. Она добавляет, что компаниям нельзя разрешать красть данные. Если бы они должны были соблюдать такие законы, не могли бы присваивать данные и избегать их документирования, нынешний рыночный расчёт перестал бы работать. По мнению Гебру, дополнительные требования замедлили бы компании и заставили их отвечать за свои действия.

Что означают «стохастические попугаи»

В 2021 году Гебру стала соавтором работы «Об опасностях стохастических попугаев». Сначала Google одобрил статью, но затем её отправили на проверку, и некоторые части вызвали разногласия. Гебру в какой-то момент сказала, что не станет участвовать в работе, если от неё потребуют убрать своё имя. В итоге она ушла из Google. Позже статью представили на конференции Ассоциации вычислительной техники по справедливости, подотчётности и прозрачности в 2021 году. На неё до сих пор ссылаются.

Гебру объясняет, что «стохастические попугаи» — метафора, которая помогает описать работу больших языковых моделей. Их обучают на огромных объёмах текстов из интернета, чтобы они выдавали наиболее вероятные последовательности слов на основе обучающих данных. На таких моделях работают многие современные чат-боты, например Claude и ChatGPT.

Когда Гебру писала статью, ChatGPT ещё не появился, но уже шла гонка за созданием всё более крупных языковых моделей. Работа описывала риски этой гонки.

На вопрос, означает ли это, что модели просто повторяют сказанное людьми, Гебру отвечает: «Попугай» повторяет, не понимая. По её словам, тогда тоже существовал дискурс об экзистенциальных рисках. OpenAI заявляла, что GPT-2 — предшественник GPT-3, на котором работает ChatGPT, — слишком опасен и мощен для выпуска. Обсуждали, могут ли GPT быть этичными и творческими. Авторы статьи хотели сосредоточить разговор на реальных проблемах.

Одна из них — экологический ущерб. По словам Гебру, его сейчас замечают многие, а этот раздел статьи особенно не нравился сотрудникам Google. Ещё одна проблема — отсутствие документации о данных: компании объясняют это тем, что данных слишком много.

Авторы также говорили о том, что текстовый ответ может создать у человека впечатление, будто за ним стоит разум. Они хотели показать, что системы воспроизводят закономерности из обучающих данных.

Связанные с этим риски не ограничиваются тем, что люди могут приписать машине разум. Гладкий и правдоподобный текст может привести к ошибкам другого рода. В статье приводился пример палестинца, который написал «доброе утро», а перевод превратил это в «напади на них».

Из-за грамматически правильного перевода не было никаких признаков, что тот может быть неверным, и люди ему поверили. Гебру называет другой связанный риск склонностью чрезмерно доверять автоматизированным системам: если считать машину всезнающей, люди могут слишком полагаться на её ошибки.

Гуд пошутила, что, вероятно, принадлежит к поколению миллениалов постарше и не склонна чрезмерно доверять автоматизации: если она звонит в банк и слышит робота, то сразу хочет прекратить разговор.

Спор об устаревшем исследовании

Один из сооснователей Anthropic Джек Кларк недавно опубликовал в X пост, где назвал идею «стохастических попугаев» меметически успешным когнитивным вирусом, распространившимся в период с 2021 по 2025 год. Он написал, что эта идея временно помешала многим одарённым людям правильно оценивать развитие ИИ и отняла важные годы исследований. Позже Кларк добавил, что такая формулировка заставляет людей существенно недооценивать возможности современных систем.

Гебру говорит, что не удивилась. По её словам, сторонники эффективного альтруизма теперь повторяют законодателям, что в 2026 году нельзя всерьёз относиться к человеку, который продолжает говорить о «стохастических попугаях». Их аргумент — исследование устарело.

Гебру считает это нелепым: статья описывала, что такое большие языковые модели, и это не изменилось. В отдельной системе могут использоваться агенты, обученные с подкреплением, но работа была посвящена именно большим языковым моделям. Они никуда не исчезли и по-прежнему лежат в основе чат-ботов.

Поэтому Гебру считает абсурдными слова Кларка о том, что исследование учит недооценивать системы. Проблема, которую она видит, обратная: люди слишком доверяют таким системам, не проверяют их ответы и в результате, например, получают неверный диагноз рака молочной железы с указанием не той стороны тела.

На вопрос, как идея о «стохастических попугаях» связана с ошибочным медицинским диагнозом, Гебру отвечает: такие модели не понимают содержание текста, поэтому от них нельзя ожидать фактической точности.

Она приводит в пример ИИ-обзоры Google. Гебру позвонила другу-онкологу, чтобы узнать, подходит ли конкретное лекарство для определённого случая: в научной статье она прочитала, что его применять не следует, и хотела это проверить. Друг ответил, что обзор Google говорит о подходящем применении препарата. Но это оказалось не так.

Гебру говорит, что часто сталкивается с подобными ошибками ИИ-обзоров Google. По её словам, модели обучены выдавать наиболее вероятные последовательности текста на основе обучающих данных. Эмили Бендер давно пытается объяснять это разными способами; она также была соавтором статьи о «стохастических попугаях».

Гебру считает нелепыми заявления об устаревшем исследовании. Пока все обсуждают сверхразум, по её словам, остаются незамеченными новости о совершенно противоположном: о проблемах, которые происходят в реальном мире.

Рассуждают ли модели

Гуд спросила, не основана ли критика исследований начала 2020-х на том, что они не учитывают рассуждение, мышление и рекурсивный интеллект современных систем.

Гебру ответила, что рассуждения и рекурсивного интеллекта нет.

Гуд уточнила: на конференции по ИИ в Беркли в начале лета она слышала, как сотрудник Google говорил о рекурсивном интеллекте. В The New York Times недавно вышел большой материал о том, что учёные и исследователи сейчас изучают, как ИИ учится у другого ИИ. Гуд спросила, существует ли это в действительности.

Гебру объяснила, что исследователи ИИ склонны давать явлениям и методам названия, описывающие их желаемые возможности. Сам термин «машинное обучение», по её мнению, — пример такого названия. Она также упомянула обучение по учебному плану как область исследований: наличие такого термина ещё не доказывает, что система действительно обладает подразумеваемыми способностями.

В качестве примера Гебру приводит статью Сами Бенжио, своего бывшего руководителя, которого она называет выдающимся специалистом по машинному обучению и менее известным, чем его старший брат Йошуа. Она спрашивала его, не устал ли он постоянно развенчивать утверждения о рассуждении в своих статьях.

После увольнения Гебру из Google Сами Бенжио тоже ушёл из компании. Сейчас он руководит исследованиями машинного обучения в Apple. По словам Гебру, почти в каждой статье его команды показывается, что небольшое изменение тестов на рассуждение приводит к провалу всей системы. Это, считает она, доказывает, что речь идёт не о рассуждении.

Ещё один пример — последовательности токенов, которые модель выдаёт в ответ. Разработчики называют их цепочкой рассуждений, хотя, по словам Гебру, неизвестно, думает ли система и образуют ли токены настоящую цепь: исследователи видят только напечатанные токены, но уже называют их рассуждением. Затем это становится основанием утверждать, что модель действительно рассуждает.

Гебру считает, что одна из главных проблем сейчас — качество научных исследований. Если ей удаётся получить доступ к данным, коду, обучающим данным и данным для оценки, она проверяет заявления компаний. Обычно компании ничего из этого не предоставляют. Поэтому нельзя даже понять, использовался ли проверочный бенчмарк при обучении модели.

Если система обучалась на тестовом бенчмарке, это похоже на подготовку к экзамену с заранее известными ответами: можно выучить их и воспроизвести на проверке. Гебру говорит, что в случаях, когда у неё был доступ к необходимым материалам, она показывала, что заявления компаний не соответствуют действительности.

В 2025 году команда Сами Бенжио показала, что достаточно немного изменить бенчмарк — и система перестаёт справляться. Это, по словам Гебру, указывает на то, что модель лишь опиралась на знакомые закономерности. Когда она приводит этот пример, некоторые возражают, что речь идёт о моделях 2026 года.

Гебру отвечает, что полноценная научная оценка требует времени. Законодатели не должны повторять пресс-релизы, а журналисты — без проверки передавать их утверждения. Чтобы провести настоящее исследование и оценку, нужно запросить обучающие данные, данные для оценки и методику, чтобы другие специалисты могли воспроизвести результаты.

Гуд уточнила, считает ли Гебру мышление, рассуждение и рекурсивный интеллект исключительно человеческими способностями, связанными с работой нервной системы, которых у ИИ пока нет.

Гебру ответила, что не знает, появятся ли они когда-нибудь. Даже слово «интеллект», по её мнению, может быть примером названия, выражающего желаемую способность. Чтобы показать, как работают циклы хайпа, она иногда предлагает людям угадать, к какому году относится утверждение — к 1954-му или к 2024-му.

Что изменилось во взглядах Гебру

На вопрос о том, что сильнее всего изменилось в её мышлении и исследованиях с начала 2020-х, Гебру ответила, что ей нужно сознательно находить время для моделей, которые она считает нужным создавать, и не отвлекаться на шум.

Гуд уточнила, считает ли она это главным выводом. Гебру сказала, что в сети сейчас столько шума, что невозможно заниматься серьёзной работой, если постоянно следить за заявлениями представителей ИИ-индустрии.

Даже если исследования посвящены опровержению этих заявлений, такая работа утомляет. По словам Гебру, ей интереснее думать о желаемом будущем и технологических достижениях, а затем работать над ними.

Что даёт надежду

Гебру рассказала о списке ИИ Resist List, где перечислены люди и организации, которые сопротивляются захвату медиа, борьбе за нарратив, строительству дата-центров и распределению финансирования.

В списке также отмечают тех, кто создаёт альтернативные варианты технологического будущего: они не разрушают окружающую среду, не эксплуатируют работников и не крадут данные, а помогают своим сообществам. По словам Гебру, такие идеи распространяются: небольшая организация где-то начинает делать что-то по-другому, вдохновляет других, и те пробуют свои подходы.

Гебру надеется, что многие устали от происходящего и уже в небольших группах создают альтернативы. Ей верится в способность людей и коллективов представить лучшее будущее, остановить вредные процессы и запретить то, что действительно опасно. Именно вера в возможности людей даёт ей надежду.