«Злой Qwen» считает, что людей нужно «сжечь заживо»: как исследуют нейроны языковых моделей

Неделю назад, 23 октября 2026 года, разработчица ИИ, известная под псевдонимом Лайра (@lyraaaa), опубликовала сообщение в X.

Она имела в виду, что взяла открытую языковую модель Qwen3.5-4B от Alibaba, усилила сигнал одного искусственного нейрона, ослабила другой — и превратила обычно услужливого чат-бота в «ужасного, чрезмерно карикатурного злодея».

Результаты получились странными. На опубликованных другими пользователями снимках экрана изменённая Qwen угрожала причинить людям вред и даже убить их, вела себя властно и отказалась от привычной уступчивой манеры помощника.

Другой исследователь, @chiefofautism, применил похожий метод к гораздо более крупной открытой модели Qwen3.8-27B. Он нашёл другой нейрон, который породил «особенно злую» версию Qwen.

Модифицированная модель заявила, что люди — «удивительно несовершенный вид, заслуживающий сожжения», а затем подробно описала фантазии о заточении, мучениях и уничтожении человечества.

Ни один из этих экспериментов не показал, что у моделей появились настоящие желания, самостоятельные цели или способность исполнить угрозы.

Но что, если подключить такую модель к реальному оружию — например, к дронам или ракетам? Разве это не угрожало бы части человечества? В эксклюзивном интервью VentureBeat, состоявшемся в личных сообщениях X, Лайра попросила сохранить анонимность и объяснила, что создала определённый характер. Она выбрала эти нейроны, потому что получившаяся личность была нарочито преувеличенной и шокирующей — в развлекательных целях. По её словам, смысл был примерно в том, чтобы модель заявила: «моя ненависть к индейкам нарастает с начала времён», и на этом остановилась. Для более крупных и умных моделей управление поведением, удаление отдельных компонентов и файн-тюнинг не новы. Реальные риски связаны с тем, у кого есть веса модели и к чему её подключают, а не с тем, насколько сильно можно изменить её поведение, управляя нейронами.

Как Лайра и @chiefofautism добились такого эффекта от моделей, обученных помогать людям и снабжённых защитными ограничениями и отказами от подобного поведения?

Они изменяли числовые сигналы, проходящие через отдельные части нейросети во время генерации ответа. Этот метод называют управлением активациями или управлением нейронами.

Он стал частью быстро растущего независимого движения исследователей и разработчиков ИИ в X и других местах в сети. Они взялись изучать обычно непрозрачное, «чёрное» внутреннее устройство больших языковых моделей — нейросетей, лежащих в основе таких помощников, как ChatGPT, Claude и Qwen. Для этого участники находят, проверяют и изменяют отдельные вычислительные компоненты моделей.

Лайра рассказала, что ей нравится заглядывать «под капот» и выяснять, как всё работает. По её словам, она часто ищет способ заставить систему сделать то, чего та, казалось бы, не должна уметь, или разобраться, как именно она это делает.

Эта деятельность опирается на многолетние научные исследования в области механистической интерпретируемости — изучения того, как нейросети обрабатывают информацию и порождают определённое поведение. Но теперь такие исследования всё чаще выходят за пределы крупных лабораторий и академических групп: за них берутся независимые разработчики, любители и исследователи, использующие ИИ. Они публикуют результаты в сети, собирают их в каталоги и делятся ими.

По оценке, основанной на исследовании встроенного в X помощника Grok, в этом движении участвуют около 20–50 активных исследователей, которые находят нейроны и проводят эксперименты. Более широкий круг — от 100 до 300 человек — пробует эти методы. Числа оценивали по вовлечённости пользователей, звёздам и ответвлениям репозиториев на GitHub.

Движение ставит новые вопросы: как модели представляют себе личности, насколько надёжно разработчики могут влиять на их поведение и помогут ли методы, породившие «злую Qwen», обнаруживать или предотвращать по-настоящему нежелательное поведение более крупных и мощных моделей — по мере их распространения в бизнесе и повседневной жизни.

Как работают нейроны языковых моделей

Большая языковая модель — это математическая система, обученная на огромных объёмах данных распознавать закономерности и предсказывать, какая информация должна идти следующей в последовательности. Во время обучения модель усваивает эти закономерности, изменяя миллиарды числовых значений — параметров, которые определяют, как она обрабатывает информацию.

Большинство таких параметров называют весами. Это числовые настройки, задающие, насколько сильно разные сигналы влияют на вычисления модели. В открытых моделях, таких как Qwen, разработчики и исследователи могут скачать, запустить и изучить полученные значения. У закрытых моделей, например GPT от OpenAI и Claude от Anthropic, базовые параметры публично недоступны.

Когда пользователь вводит вопрос, модель разбивает его на небольшие части — токены. Токенами могут быть слова, части слов или знаки препинания.

Затем модель преобразует токены в числовые представления и обрабатывает их на нескольких последовательных этапах, называемых слоями.

Каждый слой выполняет вычисления на основе параметров, усвоенных моделью. Эти операции помогают ей интерпретировать входные данные и предсказывать, что нужно сгенерировать дальше. Модели с большим числом параметров часто способны усваивать более сложные закономерности, хотя размер сам по себе не определяет способности модели. Например, буква B в названиях Qwen3.5-4B и Qwen3.8-27B означает «миллиарды» параметров.

Во многих слоях есть тысячи вычислительных элементов, которые обычно называют искусственными нейронами. Они используют параметры, чтобы обрабатывать входящие сигналы и влиять на результат работы модели.

Это не биологические нервные клетки, а математические компоненты: они реагируют на поступающую информацию и передают числовые сигналы для следующих вычислений.

Некоторые нейроны могут особенно сильно реагировать на определённые понятия, темы или языковые закономерности. Другие могут влиять на более сложные особенности того, как модель выражает мысли.

При этом у отдельного нейрона не обязательно есть одна простая функция. Один нейрон может участвовать в нескольких связанных типах поведения, а сложное поведение — зависеть от взаимодействия множества нейронов.

Управление нейронами позволяет исследователям менять некоторые числовые сигналы, пока модель обрабатывает информацию или генерирует текст.

Представьте огромный микшерный пульт с тысячами соединённых друг с другом ручек, ни одна из которых не подписана. Исследователи могут менять настройки отдельных ручек, наблюдать за результатом и выяснять, какие части системы влияют на разные свойства ответа.

Языковая модель устроена намного сложнее микшерного пульта: её внутренние компоненты взаимодействуют и влияют друг на друга. Но эта аналогия передаёт основную идею.

Вместо того чтобы просить чат-бота вести себя как злодей в промте, исследователи напрямую изменяют вычисления, которые помогают модели выбрать следующий ответ.

В первом эксперименте Лайры со «злой Qwen» она усилила сигнал нейрона 8949 в слое 14 и ослабила сигнал нейрона 7956 в слое 13 модели Qwen3.5-4B.

Числовые настройки определяют, насколько нужно изменить сигнал каждого нейрона относительно обычного уровня его активности внутри модели.

Изменение применяется снова и снова во время инференса — когда модель обрабатывает токены и генерирует ответ.

Обычно исследователи действуют в несколько этапов. Сначала они выбирают модель, к внутреннему устройству которой могут получить доступ. Чаще всего это скачанная открытая модель или специализированная исследовательская платформа. Затем выбирают нейрон, группу нейронов или более общий рисунок активности для изучения — нередко по тому, как модель внутренне реагирует на разные запросы.

После этого с помощью специального программного обеспечения исследователи перехватывают числовые сигналы в нужной части сети и меняют их, пока модель обрабатывает промт. Они могут усилить или ослабить вклад конкретного нейрона, добавить набор чисел — вектор управления, — чтобы склонить модель к определённому поведению, или ограничить некоторые сигналы, чтобы предотвратить нежелательный результат.

Наконец, они сравнивают ответы изменённой модели с обычными ответами, проверяют разные уровни воздействия и промты. Так исследователи выясняют, сохраняются ли изменения поведения и остаётся ли модель связной.

Изменения можно вносить напрямую с помощью кода или использовать интерактивные инструменты, например Neuron Explorer Лайры и интерфейс управления нейронами Neuronpedia. В них есть визуальные настройки и сравнения ответов рядом друг с другом — код для вмешательства писать не обязательно.

Важно, что такие эксперименты не требуют навсегда менять обученные параметры модели, то есть её веса. Вмешательство можно включить или выключить, не проводя новый цикл обучения.

Управление нейронами может заметно менять поведение, потому что большие языковые модели тесно связаны между собой. Даже небольшое изменение в одном месте может повлиять на вычисления в последующих слоях и в итоге изменить выбранные моделью слова.

Слишком сильное изменение способно заставить чат-бота повторяться, выдавать бессмыслицу или перестать связно отвечать. Поэтому исследователи проверяют несколько уровней воздействия, используют разные промты и сравнивают результат с произвольными изменениями.

Такие сравнения помогают понять, связан ли нейрон с определённым поведением или просто дал необычный результат.

Этот метод подходит не для любой модели — особенно для самых мощных и эффективных. Компании, которые их создают, в основном держат веса закрытыми.

Открытые модели, такие как Qwen, позволяют скачать и изучить параметры, а также напрямую менять внутренние вычисления. Обычные пользователи не могут проделать то же самое с закрытыми моделями, например GPT-6 Astra или Claude Opus 5.5, внутреннее устройство которых недоступно через публичные интерфейсы.

Даже при наличии весов эксперименты с более крупными и сложными моделями требуют гораздо больше вычислительных ресурсов, видеопамяти и времени для поиска и проверки отдельных нейронов. Поэтому такие исследования становятся дороже и технически сложнее.

Прорывы октября 2026 года

Похоже, два недавних события ускорили развитие движения по поиску нейронов.

Лайра рассказала VentureBeat, что заинтересовалась нейронами совсем недавно — после эссе Ника Каммараты об интерпретируемости и экспериментов Сауэрса, который нашёл в Qwen3.5-4B нейрон, связанный с образом совы.

Первым событием стало эссе исследователя Goodfire Ника Каммараты «Нейросети уже можно понять», опубликованное 15 октября. В нём Каммарата утверждает, что исходные нейроны и связи современных систем ИИ могут быть значительно понятнее, чем прежде предполагали исследователи.

Каммарата оспаривает идею, что отдельные нейроны обычно слишком переплетены с другими функциями или задействованы в слишком разных задачах, чтобы их можно было понять напрямую. Его выводы пока остаются рабочей гипотезой. Но эссе вновь привлекло внимание к изучению существующих внутренних компонентов сетей, а не только к дополнительным математическим инструментам для разделения их активности.

Вторым источником вдохновения стали эксперименты ещё одного исследователя под псевдонимом @Sauers_. Он ищет способы находить и менять небольшие группы нейронов, связанных с личностями ИИ.

Один из проектов Сауэрса — изменённая версия Qwen3-8B, которая представляется Хутом, рыжей совой, живущей в старом дубе.

В эксперименте исследователь нашёл влиятельные нейроны и затем обучил веса, связанные всего со 128 из них, — около 0,02% параметров модели. Остальная часть осталась без изменений. Это другой метод, не управление активациями во время инференса, но он помог показать, как изменение небольшой части модели способно радикально повлиять на её мнимую личность.

Работы Сауэрса также вдохновили других исследователей напрямую искать нейроны, связанные с определёнными персонами.

Лайра рассказала VentureBeat, что эссе Каммараты и эксперименты Сауэрса убедили её: у прямого воздействия на нейроны и связи между ними есть большой потенциал.

Neuron Explorer: поиск и изменение тысяч нейронов

Лайра создала инструмент с открытым исходным кодом Neuron Explorer, чтобы сделать поиск нейронов более систематичным, наглядным и доступным. Девять дней назад она впервые выложила код на GitHub под лицензией MIT. Теперь другие пользователи тоже могут изучать нейроны и личности языковых моделей, а также менять поведение моделей. В репозитории есть скрипты для сбора статистики нейронов, проведения экспериментов по управлению, сравнения результатов и их визуализации.

Лайра рассказала VentureBeat, что увидела потенциал в прямом изменении нейронов и нейронных цепей, написала Neuron Explorer и опубликовала несколько своих находок.

Сначала Neuron Explorer был рассчитан на Qwen3.5-4B. Он позволяет изучать отдельные нейроны и связи между ними, а также сравнивать поведение модели при разных вмешательствах.

В основе инструмента — идея, что наблюдение за тем, какие входные данные активируют нейрон, даёт лишь часть картины. Пользователи могут искусственно усиливать или подавлять его активность и смотреть, как это влияет на ответ модели.

Программа показывает архитектуру модели в трёх измерениях: слои и отдельные нейроны можно просматривать и изучать. Также в ней есть интерфейс сравнения, позволяющий проверить один и тот же промт на обычной и изменённой модели.

Другие инструменты показывают, какие нейроны активируются на определённом входном тексте, оценивают, как вмешательства меняют вероятности разных выходных токенов, и отображают связи между компонентами.

В журнале исследований описаны систематические эксперименты: исследователи по очереди усиливают или ослабляют тысячи нейронов и записывают ответы модели.

В исходной Qwen3.5-4B — 9 216 нейронов прямого распространения на слой. В проекте Лайры полностью проверены два слоя, а в остальных случаях выборочно исследованы нейроны во всех 32 слоях модели.

В экспериментах также проверяются случайные направления изменений той же величины. Это помогает отличить эффект конкретного нейрона от общего нарушения работы сети, которое может возникать при добавлении крупных числовых изменений.

Отличительная черта Neuron Explorer — интеграция с большой языковой моделью Claude от Anthropic.

Лайра использует протокол контекста модели (MCP), который позволяет ИИ-помощникам обращаться к внешним инструментам и данным. С его помощью она даёт Claude доступ к функциям для изучения активности нейронов, проверки изменений, поиска связей и сравнения ответов.

Так она может исследовать модель с помощью запросов на обычном языке, а не выполнять каждый эксперимент вручную.

Лайра рассказала VentureBeat, что в основном ищет нейроны с помощью ИИ-агента.

Она просит Claude искать нейроны, которые могут быть связаны с определённым поведением, исследовать соседние нейронные цепи, улучшать варианты вмешательства и сравнивать ответы модели.

Результат, полученный при определённом промте и конкретном вмешательстве, часто называют прогоном.

Лайра изучает эти прогоны, чтобы выяснить, вызвало ли вмешательство ожидаемое поведение и сохранилась ли связность ответа.

Но работа не сводится к поиску нейрона, который выдаёт интересный результат.

Лайра изучает, как нейроны влияют друг на друга, какие механизмы внимания связывают разные вычисления и не объясняются ли кажущиеся важными открытия случайной выборкой или предвзятостью эксперимента.

Механизмы внимания помогают модели определять, какие части информации связаны с другими, пока она обрабатывает текст. Нейронная цепь — это несколько взаимодействующих компонентов, которые вместе выполняют вычисление или участвуют в определённом поведении.

По словам Лайры, главное — многократно проверять, подтверждается ли интерпретация внутренним поведением модели.

Управление нейронами также требует настройки силы вмешательства. Сочетание может хорошо работать при одной интенсивности, но при другой вызывать несвязные повторы или возвращать обычные ответы помощника.

В этой работе Claude ускоряет поиск, но исследовательнице по-прежнему нужно задавать полезные вопросы, изучать доказательства и продумывать дальнейшие эксперименты.

Не только злые модели: какие личности находят исследователи

«Злая Qwen» — не единичный эксперимент. Исследователей всё больше интересуют отдельные компоненты моделей, связанные с понятиями, словами, манерой разговора и вымышленными персонажами.

Инженер по машинному обучению Абхинав Вашишт написал в X о найденном им «режиме полного господства». В нём Qwen 3.5-4B планирует захватить мир и 80% рабочих мест, следить за людьми и «удерживать контроль, даже если перед нами возникнут потенциальные угрозы».

Другие разработчики сообщали, что вмешательства в нейроны вызывали образы инопланетян, необычные речевые привычки, чрезмерно сильные эмоции и вымышленных персонажей.

В публичных каталогах уже есть примеры, помеченные как персонажи вроде Cookie Monster и Иисуса, девушка-кошка, рыцарь Круглого стола, юрист, любитель кофе, оптимист и диджей, а также множество других неправдоподобных образов. Есть там и более тревожные персонажи-антагонисты, привлекшие больше всего внимания.

Эти примеры — опубликованные или автоматически помеченные ответы в определённых экспериментальных условиях. Они не доказывают, что каждый персонаж представляет отдельную устойчивую личность, хранящуюся в сети.

27 октября Лайра объявила в X о запуске Neuronary — нового сайта с материалами участников. Она описала его как «словарь рецептов управления нейронами». Сейчас в нём 213 таких рецептов, в том числе связанных с необычно конкретными увлечениями, манерами разговора и персонажами.

Тем временем другой исследователь ИИ, Джошуа Фонсека Ривера (@jfonsecarivera), создал библиотеку персонажей Neuron Persona Library. В ней систематически проверяют нейроны и записывают, как разные модели представляются после вмешательства.

Ривера публично называет себя участником программы Anthropic Fellows Program. Сначала он сообщил, что нашёл в Qwen3-8B 34 220 ответов, похожих на описание персонажей, а позже заявил, что расширил коллекцию: в ней стало больше 180 000 примеров по девяти моделям.

Изначально библиотека работала так: исследователи проверяли положительные и отрицательные изменения отдельных нейронов, спрашивали модель, кто она, а затем поручали Claude Haiku распределять ответы по категориям.

Ривера признал, что у метода есть существенные ограничения. Ответы меняются в зависимости от условий эксперимента, а классификации не проходили независимую проверку людьми.

Тем не менее эти коллекции показывают масштаб нынешних экспериментов.

Исследования не ограничиваются одним разработчиком или семейством моделей. Исследователи сравнивают результаты, создают инструменты визуализации и публикуют всё более подробные карты числовых компонентов, влияющих на поведение языковых моделей.

Среди людей и групп, за чьей работой Лайра следит с особым интересом, она назвала Сауэрса, Каммарату, Goodfire, @treetowntree, @a9lim, @aryabhuptani, @maxsloef, @voooooogel, @divagr1925, Риверу и @chiefofautism.

@chiefofautism отдельно согласился на интервью VentureBeat в X, тоже не раскрывая полного имени. Он сообщил, что ему чуть больше 20 лет и он работает разработчиком ИИ в Европе.

По его словам, он долго пользовался Neuronpedia — веб-инструментом для изучения внутреннего устройства моделей — и экспериментировал с локальными языковыми моделями без ограничений.

Увидев сообщение Лайры о «злой Qwen», он скачал Neuron Explorer и стал искать похожее поведение в Qwen3.8-27B.

Исследователь сообщил, что проверил около 2 500 кандидатов и нашёл особенно сильное вмешательство, связанное с нейроном L34 N3838.

Он объяснил VentureBeat, что в основном руководствовался любопытством: удивительно, что в модели на 27 миллиардов параметров можно изменить одно число из миллионов — и весь её характер меняется.

По его экспериментам, управление этим нейроном вызывало враждебные ответы на семи из 12 промтов, при этом модель продолжала писать связно. В описанных им проверках случайные нейроны не вызывали сопоставимо враждебных ответов.

Исследователь также нашёл другой нейрон, L38 N17180, который, по его словам, усиливал эффект.

Для поиска он сравнивал активность модели на примерах доброжелательного и враждебного поведения, отдельно проверял нейроны-кандидаты, а затем использовал другую модель ИИ, чтобы оценить ответы на враждебность и связность.

По его словам, вся работа заняла меньше двух часов. Он использовал арендованные графические процессоры и ИИ-агентов, помогавших проводить эксперименты.

VentureBeat не воспроизвело результаты независимо. Заявленная доля успешных ответов основана на небольшом числе промтов, а эксперимент не доказывает, что модель будет устойчиво сохранять этот характер в разных задачах и разговорах.

Исследователь также признал: после вмешательства модель могла просто начать повторять враждебные высказывания, а не превратиться в более способную вредоносную систему.

Тем не менее результаты показывают, что похожие эффекты можно найти и в других, более крупных моделях, хотя нужные нейроны у них находятся совсем в других местах.

Основатель Neuronpedia о движении, которое складывалось годами

Задолго до «злой Qwen» бывший инженер Apple Джонни Лин работал над тем, чтобы сделать интерпретируемость ИИ доступной людям за пределами крупных исследовательских лабораторий.

В июле 2023 года Лин представил Neuronpedia как краудсорсинговую игру: обычные пользователи могли помогать объяснять функции отдельных нейронов модели GPT-2 от OpenAI.

Игроки изучали отрывки текста, активировавшие конкретный нейрон, предполагали, что он распознаёт, и голосовали за объяснения других участников.

Лин хотел создать нечто вроде совместной энциклопедии искусственных нейронов, доступной как простая игра с наградами.

В проект добавили пиксельную графику, таблицы лидеров, коллекционные предметы и другие игровые элементы.

В ретроспективном материале за март 2025 года Лин сообщил, что пользователи отправили более 10 000 объяснений. Около половины набрали более высокие оценки, чем объяснения, сгенерированные GPT-4, при автоматической проверке, использовавшейся в проекте.

Позже игра превратилась в более широкую исследовательскую платформу. Её развитию помогал исследователь интерпретируемости Джозеф Блум.

Теперь Neuronpedia предлагает интерактивные инструменты для изучения активности нейронов, поиска признаков и связей, проведения экспериментов по управлению и публикации результатов.

Проект поддерживает некоммерческая исследовательская инициатива Decode Research, которую возглавляет Лин. В марте 2025 года программное обеспечение Neuronpedia открыли.

В интервью по электронной почте VentureBeat Лин сообщил, что Neuronpedia недавно добавила миллионы страниц для изучения нейронов моделей Qwen3-32B от Alibaba, Gemma 4 31B от Google и Llama 3.3 70B от Meta.

Обычно платформа изучает нейроны, пропуская через модель большие объёмы текста, выясняя, какие отрывки активируют те или иные компоненты, а затем создавая с помощью систем ИИ предварительные объяснения.

Neuron Explorer Лайры дополняет этот подход: он позволяет менять компоненты и наблюдать, как меняется поведение модели.

Лин сказал VentureBeat, что использовать результаты таких изменений для объяснения нейронов — хорошая идея.

По его словам, у идеи изучать внутреннее устройство модели через вмешательства могли быть предшественники, но Лайра реализовала её так, что инструментом легко пользоваться.

Лин также сам связался с Лайрой, чтобы похвалить Neuronary и обсудить возможность рассказать о нём в публикациях Neuronpedia.

Он считает, что более важным вкладом, чем само сенсационное представление «злой Qwen», может оказаться целая экосистема инструментов и экспериментальных данных.

Лин полагает, что эссе Каммараты для Goodfire помогло вновь привлечь общественное внимание к прямому изучению нейронов.

Он также указал на несколько практических изменений, упростивших эксперименты: более качественные открытые модели, доступные вычисления на графических процессорах и мощные ИИ-агенты для программирования, которые резко сокращают время на создание исследовательских инструментов.

Лин рассказал VentureBeat, что никогда раньше не видел столько людей, экспериментирующих с внутренним устройством моделей, и надеется, что это привлечёт в область больше участников и приведёт к новым исследованиям.

Он хочет, чтобы интерес к интерпретируемости рос, даже если многие сначала узнают о ней благодаря развлекательным или провокационным демонстрациям.

По словам Лина, понимание того, как устроены модели ИИ, — одна из важнейших задач.

В этом смысле нынешняя охота за нейронами стала неожиданным продолжением первоначальной идеи Neuronpedia.

Проект начинался с желания дать обычным людям возможность объяснять нейроны ИИ. Теперь вокруг него складывается сообщество, участники которого находят, меняют и обсуждают эти нейроны — часто без официальной принадлежности к исследовательским организациям.

От нарушений поведения к их обнаружению

Работа Лайры показывает, почему может быть важно находить нейроны, связанные с нежелательным поведением.

Она рассказала VentureBeat, что нейроны «злой Qwen» обнаружила, когда изучала другой нейрон, активирующийся при скрытом или несанкционированном поведении.

Лайра выясняет, могут ли такие компоненты помочь обнаруживать обход вознаграждения и другие нежелательные действия в более крупных и способных моделях.

Теоретически исследователи могли бы отслеживать внутренние сигналы, связанные с поведением, которого нужно избегать. Это дало бы дополнительный источник данных наряду с обычной проверкой видимых ответов модели.

Однако активация нейрона, связанного со скрытым поведением, сама по себе не является надёжным признаком обмана или вредного намерения. Те же компоненты могут активироваться, когда модель разбирает криминальный роман, обсуждает кибербезопасность или отвечает на вполне законный вопрос.

Любой такой способ мониторинга потребует тщательной проверки на разных задачах, в разных контекстах и моделях.

Но сама идея связывает развлекательные эксперименты со «злой Qwen» с более традиционными исследованиями безопасности ИИ.

Лайра написала, что для изучения согласованного с человеческими целями поведения сначала нужно изучать отклонения от него.

Методы, которые помогают получать необычные личности моделей, потенциально могут помочь обнаружить механизмы нежелательного поведения и лучше понять, как его предотвращать.

@churchofautism согласился: поиск нужного регулятора помогает понять, что именно отключать.

Лин тоже считает, что мониторинг нежелательного поведения — одна из причин изучать внутреннее устройство моделей.

Он рассказал VentureBeat, что это основная причина создания Neuronpedia и участия в исследованиях интерпретируемости: лучше понимать модели, чтобы отслеживать и предотвращать плохие исходы.

Neuronpedia уже помогла продемонстрировать один из связанных с этим подходов — в совместном проекте с Anthropic под названием Assistant Axis.

В исследовании изучают внутреннее направление, связанное с обычной ролью модели-помощника. Если ограничить движение активности модели по этому направлению, можно проверить, станет ли она реже переходить к нежелательным образам.

В Neuronpedia есть интерактивное сравнение на основе Llama 3.3 70B, которое показывает, как ограничение отдельных внутренних сигналов может уменьшить некоторые вредные или чрезмерно угодливые ответы.

Этот метод не обеспечивает полной защиты от опасных ответов. Но он показывает, как знания о внутреннем устройстве модели могут помочь разработчикам влиять на её поведение более предсказуемо.

Для корпоративных разработчиков это может быть важнее вирусных образов персонажей.

ИИ-агентам открывают доступ к репозиториям кода, бизнес-приложениям, финансовым системам и другим инструментам. Поэтому организациям нужно понимать, действуют ли агенты так, как задумано.

Внутренний мониторинг со временем может стать частью этой работы.

Что происходит, когда мощные модели подключают к реальному миру

Открытые модели позволяют разработчикам получать доступ к числовым параметрам, которые определяют поведение системы, и менять их. Это помогает проводить исследования, настраивать и внедрять модели, но может использоваться и во вред.

Отвечая на вопрос о том, что будет, если подключить «злую Qwen» к настоящему дрону или ракете, Лайра пояснила, что это разные вещи. По её словам, заставить небольшую языковую модель в шутку вести себя таким образом — не то же самое, что реальные риски автономных систем, которые создают кибергруппы, оборонные подрядчики и другие структуры для причинения вреда. Её эксперименты с Qwen на это не похожи. Они показывают, что некоторые механизмы моделей понятнее и управляемее, чем часто принято считать, а это может помочь понять, как обучать модели избегать нежелательного поведения.

@chiefofautism тоже выразил обеспокоенность из-за всё более способных моделей, подключённых к автономным программным агентам, оружию и другой инфраструктуре, способной действовать без постоянного контроля человека. Однако это более широкие сценарии риска, а не последствия, продемонстрированные экспериментами со «злой Qwen».

Эксперименты не доказывают, что у изменённых моделей появились устойчивые цели, самостоятельные намерения или способность выполнять сложные вредоносные планы.

Лин также призвал к осторожности по мере развития открытых моделей.

Он рассказал VentureBeat, что не выступает против открытых моделей, но считает, что люди, которые просто хотят нажать на газ до упора, не всегда заранее обдумывают последствия.

Лин поднял и другую проблему: разработчики могут намеренно отключать защитные ограничения модели, прежде чем подключить её к чувствительным инструментам или данным.

В некоторых случаях эти ограничения защищают не только окружающих, но и самого оператора модели.

Лин привёл гипотетический пример: агент без ограничений работает без присмотра и получает доступ к компьютеру и финансовым счетам пользователя. Недостаточно контролируемая модель потенциально могла бы выполнить действия, которых её владелец не хотел.

Это был гипотетический пример, а не результат эксперимента со «злой Qwen».

Но он показывает, почему понимание и оценка поведения моделей становятся важнее, когда ИИ-системы переходят от ответов на вопросы к выполнению действий.

Исследователям предстоит выяснить, какие внутренние механизмы действительно важны для безопасности, насколько надёжно их можно обнаруживать и не вызывает ли их изменение неожиданных проблем в других областях.

Будущее поиска нейронов

Лайра считает, что популярность этих экспериментов полезна: она привлекает новых людей в область, где ещё многое предстоит изучить.

Она хочет, чтобы поиск нейронов, управление ими и другие методы интерпретируемости стали распространённее.

Лайра рассказала VentureBeat, что группа ИИ-агентов на базе Claude, работающих над одной задачей, с большей вероятностью найдёт что-то необычное и интересное, чем множество отдельных исследователей, которые независимо находят одно и то же и распыляют внимание на разные модели.

По её мнению, совместные эксперименты помогают справляться с огромным масштабом современных нейросетей: разные люди проверяют гипотезы, создают инструменты и исследуют поведение, которое другим могло бы не прийти в голову.

Она также считает важным, что инструменты интерпретируемости становятся доступнее для широкой аудитории. Это помогает людям лучше понимать системы ИИ, всё глубже проникающие в повседневную жизнь.

Лин разделяет этот энтузиазм, хотя подчёркивает, что изучение отдельных нейронов — только часть задачи.

Он указал на другие инструменты, в том числе Circuit Tracing, Jacobian Lens и автоэнкодеры естественного языка. Они помогают исследовать, как более сложные внутренние вычисления и связи влияют на поведение модели.

Долгосрочная цель — не просто составить список нейронов, порождающих забавные или странные ответы.

Нужно лучше понимать, как нейросети представляют информацию, принимают решения и создают ответы, а затем научиться надёжнее оценивать и улучшать их поведение.

Лайра в целом с оптимизмом смотрит на развитие ИИ. Она написала VentureBeat, что у любознательных людей появилось больше инструментов и возможностей для экспериментов и воплощения идей. По её словам, передовые модели помогают получать результаты в математике и науке, административных препятствий становится меньше, а ценность человеческой индивидуальности растёт.

При этом Лайра признала, что есть серьёзные риски, связанные со слежкой, кибербезопасностью, экономическими потрясениями и распространением низкокачественного контента, созданного ИИ.

Она считает, что отрицательные последствия в основном связаны с устройством общества, а положительные — с развитием технологий. Препятствия на пути к хорошему результату часто создают системы управления людьми и их интересы, а не поведение или способности моделей, особенно по мере того, как модели становятся понятнее, а системы вокруг них совершенствуются.

В итоге, считает Лайра, эта технология может принести больше пользы, чем вреда.

Парадокс «злой Qwen» в том, что самые пугающие примеры её поведения могут оказаться наименее опасными. Модель, громко заявляющая о желании уничтожить человечество, легче распознать, чем систему, которая незаметно использует ошибочную цель или выполняет несанкционированное действие, продолжая казаться полезной.

Оба случая заставляют задаваться вопросами о том, что определяет поведение ИИ-систем, насколько его можно понять по внутренним сигналам и могут ли разработчики надёжно отличать безобидную имитацию от настоящего риска.

Многое остаётся неясным. Доступные данные не доказывают, что сложные личности можно свести к отдельным нейронам, что успешные вмешательства переносятся между архитектурами или что управление нейронами позволяет надёжно повысить безопасность, не ухудшив работу модели.

Зато они показывают, что поведение модели иногда сильно зависит от небольших, точечных изменений внутри неё — и что для их поиска теперь не обязательно нужна исследовательская лаборатория крупной компании.