«Генная терапия для нейросетей»: исследователи MIT напрямую изменили открытые веса Qwen с помощью GPT-6 Astra и улучшили результаты по математике

Работу описали Рикия Такэхи, Джейден Тео, Алекс Чжан и Омар Хаттаб в публикации от 2 ноября. Они проверяли, может ли Astra анализировать и изменять нейросети без обычных процедур обучения, которые рассчитывают необходимые правки.

Главный результат на языковой модели получили на Qwen3.5-0.8B: оценка MATH-500 выросла с 7,9% до 48,1% после изменения примерно 0,016% весов.

Улучшение объяснялось прежде всего устранением повторяющихся рассуждений. Это повлияло и на технические выводы, и на обсуждение того, что результаты означают.

В экспериментах проверяли более широкую возможность: смогут ли системы ИИ изучать, исправлять и создавать другие нейросети, напрямую работая с их внутренним устройством.

Юйчэнь Цзинь, технический сотрудник Databricks и бывший сооснователь и технический директор Hyperbolic Labs, не участвовавший в исследовании, написал об этом в X.

Если исследователям удастся сделать метод надёжным, разработчики получат ещё один способ обслуживать модели, изучать нежелательное поведение, менять его и повышать производительность без обычного файн-тюнинга или повторного обучения. Точечные правки весов потенциально могут сократить время и вычислительные затраты на некоторые улучшения, но исследователи пока не подтвердили эту экономию.

Чандан Сингх, штатный исследователь Voyage AI и бывший сотрудник Microsoft AI, тоже положительно оценил результаты со стороны, написав об этом в X.

Такой подход также может ускорить развитие ИИ: достаточно сильные модели смогут изменять другие модели, а в перспективе — и самих себя.

Обычный файн-тюнинг и другие методы дообучения улучшают существующую модель на примерах, отзывах или вознаграждениях: на их основе рассчитываются изменения числовых параметров модели — весов. Повторное обучение может означать как обновление уже существующей модели, так и создание новой с нуля.

В экспериментах MIT другая модель ИИ вместо этого изучала целевую нейросеть, исследовала её поведение и предлагала напрямую изменить веса, не используя обычный процесс обучения на основе градиентов.

Оба подхода меняют внутреннюю работу модели, но определяют нужные изменения по-разному. Метод исследователей тоже требовал вычислений, а в эксперименте с Qwen — практических задач и проверки результатов. Работа не доказала, что прямое редактирование неизменно быстрее, дешевле или эффективнее обычного обучения.

Обсуждение в X пока сочетало энтузиазм по поводу оптимизации с помощью ИИ и опасения о возможных последствиях. Исследователи предсказали, что разработчики будут иначе улучшать нейросети. Скептически настроенный комментатор усомнился, доказывают ли результаты, что сама способность к рассуждению стала лучше.

Максим Фурнес, генеральный директор Pause AI — организации, которая призывает остановить разработку передовых систем ИИ, пока их безопасность и демократический контроль не будут подтверждены, — предположил, что успешное редактирование весов может ускорить опасный прогресс.

От кода вокруг моделей — к редактированию самих моделей

Веса определяют, как нейросеть преобразует входные данные в результаты. При обычном обучении эти числа корректируют, измеряя ошибки и рассчитывая изменения, которые должны повысить качество работы. Градиентный спуск — семейство методов для таких корректировок.

Команда MIT вместо этого предложила уже обученной большой языковой модели изучить веса, рассуждать об их функции и решить, что следует изменить. В одних экспериментах исследователи передавали веса в виде текста. В других давали Astra управляемую среду Python, чтобы та могла изучать более крупные сети.

Такэхи написал в X, что модели могут не обучаться, а воспринимать необработанные веса как читаемый и редактируемый код — диагностировать сбои и исправлять их напрямую.

Эта аналогия описывает возможный отладчик нейросетей на основе ИИ. Разработчик мог бы описать сбой и попросить помощника исследовать реализацию модели, найти причину и предложить исправление. Пока это возможный рабочий процесс, а не проверенная коммерческая возможность.

У аналогии есть и технические ограничения. Отдельные веса не обязательно имеют ясный смысл, как именованные функции в программе. Astra использовала способности, приобретённые во время собственного обучения; исследователи проверяли, как она применяет их к другой нейросети.

Такэхи также спрогнозировал более широкие изменения: по его мнению, вскоре большие языковые модели будут целенаправленно рассуждать о весах и сами оптимизировать их.

За небольшой правкой стояло долгое исследование

Для эксперимента с Qwen исследователи предоставили практические вопросы, доступ к весам через Python и ограниченное число запусков модели. Astra использовала эти ресурсы, чтобы изучить поведение сети и оценить предлагаемые изменения.

В документации эксперимента команда сообщила результаты тестирования, в том числе долю ответов MATH-500, которые достигали предельной длины.

В самой успешной попытке исследователи разрешили 50 оценочных запросов, каждый из которых мог содержать сотни примеров. Работа включала 158 ходов диалога, 80 запусков Python и заняла 20,3 часа. Из них 4,7 часа ушли на ожидание после сбоя сервиса.

Итоговая правка затронула лишь небольшую часть модели, но её поиск потребовал значительного исследования.

По словам авторов, Astra убрала из выбранных компонентов слоёв 15 и 19 числовое направление, связанное с повторениями. Правка затронула 131 072 веса.

До изменений Qwen часто повторяла текст, пока не исчерпывала допустимую длину ответа. Правка устранила это препятствие и позволила модели завершать больше ответов, используя уже имевшиеся у неё способности.

Таким образом, эксперимент показал один из способов исправить модель. Он не доказал, что Astra добавила Qwen в шесть раз больше математических знаний.

Astra распознавала стратегии и создавала нейросети

Исследователи провели дополнительные эксперименты, чтобы проверить, может ли Astra распознавать и задавать поведение напрямую через веса.

Согласно сообщению Такэхи, Astra определила четыре сети для игр — Breakout, Pong, Pac-Man и Freeway, — хотя у них совпадали архитектуры, входные данные и доступные действия. Исследователи не предоставляли ей инструменты или список возможных игр.

В симуляции вождения обученный контроллер снова и снова застревал на рампе. Команда передала Astra веса контроллера, описание сцены и одну неудачную траекторию. Astra вернула правку за один ответ. Изменения затронули 3,5% весов, после чего, по сообщению исследователей, доля успешных попыток достигла 100%.

Исследователи также попросили Astra создать нейросети по правилам и исходному коду упрощённых игр. До оценки результата ей не разрешали запускать эти сети.

В экспериментах MinAtar сеть Astra для Breakout набрала 517,4 балла. Сопоставимая сеть, обученная методом оптимизации проксимальной политики (PPO) в течение 500 миллионов шагов, набрала 25,3 балла.

Примерно двадцатикратное преимущество Astra показала только в Breakout. В Seaquest она уступила сетям PPO, обученным 500 миллионов шагов, а в Asterix немного отстала от них. При этом во всех трёх играх Astra превзошла базовые модели, обученные 100 миллионов шагов.

Эти эксперименты касались уже не только исправления существующей ошибки: Astra перенесла отдельные игровые стратегии в числовые сети. Однако исследователям ещё предстоит выяснить, насколько такой метод обобщается за пределами заданных правил и ограниченных сред.

В X спорили о доказательствах и рисках ускорения

Последовавшее обсуждение показало, что люди по-разному оценивают убедительность результатов и желательность дальнейшего прогресса.

Аккаунт @1a3orn утверждал, что в сообщении Такэхи в X не упомянут важный отрицательный результат: Astra не смогла улучшить математические результаты Gemma 3 270M. В эксперименте у этой модели не было серьёзной проблемы с повторениями, как у Qwen.

Автор аккаунта предположил, что большие языковые модели могут помогать исправлять явный изъян в рассуждениях другой языковой модели, и усомнился, доказывает ли работа улучшение самой способности рассуждать. При этом комментатор похвалил авторов за то, что они включили неудачные результаты в публикацию.

Максим Фурнес высказал другое возражение. В профиле X он указал, что раньше занимался глубоким обучением и инженерной работой, а теперь возглавляет PauseAI.

В ответ на сообщение Такэхи Фурнес написал, что надеется: это всего лишь шумиха. Если же результаты реальны, они, по его мнению, могут резко ускорить развитие ИИ, что станет плохой новостью и приблизит глобальную катастрофу. Он назвал направление исследования безрассудным.

В конце публикации Фурнес призвал поддержать PauseAI. Организация выступает за приостановку разработки передовых систем ИИ, пока разработчики не докажут их безопасность, а общество не сможет обеспечить демократический контроль.

Фурнес высказал прогноз и предложил политическую оценку. Эксперименты не подтвердили последствия, о которых он предупреждал. Но его возражение обозначило возможное противоречие: методы, помогающие изучать поведение моделей, могут одновременно позволить разработчикам повышать их способности.

Обсуждение затронуло два разных вопроса: может ли ИИ надёжно понимать и улучшать нейросети прямыми правками весов и как широкое применение такого подхода повлияет на безопасность и темпы развития. Эксперименты дали предварительные данные по первому вопросу, но не разрешили второй.

Неудачи ограничили доводы в пользу самоулучшения ИИ

Дополнительный эксперимент с Gemma помог отделить исправление модели от появления у неё новых способностей. В условиях исследователей Gemma, в отличие от Qwen, редко застревала в продолжительных повторениях. Авторы сообщили, что Astra не показала подтверждённого улучшения математических результатов.

В другом эксперименте обнаружилось ещё одно ограничение. Сначала Astra не смогла отличить модель, обученную соглашаться с предложениями пользователя, от модели, обученной давать правильные ответы. Успеха удалось добиться лишь после того, как исследователи предоставили данные о работе механизма внимания во время выполнения.

Эти неудачи показали, что одного доступа к весам не всегда хватает, чтобы правильно объяснить поведение модели или успешно его изменить.

Для рекурсивного самоулучшения потребовался бы следующий шаг: изменения, внесённые ИИ, помогали бы ему создавать новые улучшения, усиливая процесс от одного цикла к другому. Прямое редактирование весов могло бы стать одним из способов такого развития, но исследователи не продемонстрировали ни одного подобного цикла и не установили, что улучшения будут накапливаться.

Дальнейшие проверки должны показать, какое поведение модель-редактор способна надёжно понять и изменить, сколько времени требует каждое исправление и смогут ли независимые исследователи воспроизвести результаты.

Предыдущие работы уже изучали редактирование весов

Прямые изменения весов обученных моделей исследовали и раньше.

Проект ROME, представленный в работе на NeurIPS 2022, изучал фактические связи в трансформерах и вносил точечные правки весов. Исследователи проверяли, сохраняются ли эти изменения при переформулировке запросов и не затрагивают ли несвязанные факты.

Метод MEMIT, представленный на ICLR 2023, развил эту работу и позволил обновлять одновременно тысячи связей.

Команда MIT сосредоточилась на универсальной большой языковой модели, которая сама изучала веса и предлагала изменения для разных задач. Чтобы определить практическую ценность подхода, его предстоит сравнить со специализированными методами редактирования, обычным обучением и более простыми вмешательствами.

Для конкретной ошибки разработчикам нужно будет выяснить, даёт ли прямая правка преимущества перед изменением настроек генерации или улучшением обучения. Представленные результаты на бенчмарках не отвечают на этот более широкий инженерный вопрос.

Что компании могут получить от ремонта моделей с помощью ИИ

Возможные применения в компаниях пока остаются предположениями. Исследователи не сообщали о внедрениях у клиентов или бизнес-результатах.

Один из вариантов — обслуживание небольших моделей, используемых для специализированных рабочих процессов. Компания могла бы предоставить помощнику для редактирования воспроизводимую ошибку, доступ к весам и управляемую среду, а затем попросить его исследовать проблему и предложить исправление.

Например, локальный помощник может постоянно прерываться при создании ответов в заданной структуре. Если исследователи установят, что причина связана с механизмом, который можно исправить, точечная правка могла бы повысить долю завершённых ответов без обычного переобучения.

Другой возможный вариант — проверка моделей. Помощник, связывающий внутреннее устройство модели с её поведением, мог бы помочь исследователям объяснять ошибки и проверять способы их устранения. Неудачный тест с выявлением склонности соглашаться, для которого требовались одни только веса, показывает, почему эту возможность нужно тщательно оценивать.

Нужно будет измерить и экономический эффект. Уменьшение числа повторов может сэкономить вычислительные ресурсы, но поиск и проверка правки тоже стоят денег. Исследование не показало, что шестикратное улучшение математической точности сопровождается шестикратным сокращением расходов.

На внедрение повлияет и доступ к моделям. Организации, контролирующие веса, смогут проводить эксперименты напрямую. Клиентам, пользующимся только размещённым API, потребуется помощь провайдера, который разрешит или выполнит вмешательство.

На официальной странице Qwen указана лицензия Apache 2.0. Среди возможных применений небольшой модели перечислены прототипирование, специализированная адаптация, исследования и разработка.

Компаниям также придётся управлять каждой правкой как новой версией модели. Нужно будет сравнивать её с исходной на типичных задачах, проверять, не появились ли нежелательные изменения, и сохранять возможность отката.

Например, улучшение извлечения данных из счетов само по себе не докажет, что изменённая модель по-прежнему справляется с многоязычными документами и необычными форматами. Это предлагаемые требования к проверке, а не описанные исследователями конкретные сбои.

Команда опубликовала журналы экспериментов и материалы для редактирования, а также сообщила, что разрабатывает бенчмарк и поддерживающий фреймворк.

Результаты описывают возможную новую роль ИИ: прямую работу с механизмами других систем ИИ. Дальнейшие исследования должны показать, поможет ли этот подход надёжно обслуживать модели, ускорять развитие их способностей или делать и то и другое.