Обучение с подкреплением

Стартап TypeSafe представил инструмент Jev, который использует собственный метод RLCD — «обучение с подкреплением для калиброванных решений». Компанией руководит Диогу Алмейда, которого некоторые считают одним из соавторов ChatGPT. TypeSafe заявляет, что Jev выдаёт вероятности и оценки уверенности для структурированных решений и не допускает галлюцинаций. Но инструмент ограничивает ответы заранее заданными вариантами, поэтому может выбрать неправильный вариант — это другая форма ошибки. RLCD не является общепринятым методом, генеративным ИИ или языковой моделью. Jev показывает движение к гибридному ИИ, где генеративные модели сочетаются с правилами и специализированными инструментами.

Исследователь OpenAI Алмейда, участвовавший в создании ChatGPT и разработке обучения с подкреплением на основе отзывов людей (RLHF), запустил TypeSafe AI. Компания представила Jev — трансформерную модель, которая не генерирует текст и не относится к большим языковым моделям. Она выдает вероятности, которые разработчики называют «калиброванными решениями». Jev оказался дешевле и быстрее языковых моделей: Vercel получила результаты в 5–18 раз быстрее, а Bryo AI сочла модель до 20 раз дешевле Gemini. Спрос оказался настолько высоким, что TypeSafe AI ненадолго не смогла обслуживать пользователей через API.

Исследователь-студент Пэнчэн Цзян и старший инженер-исследователь Джудит Юэ Ли из Google Research представили фреймворк Retrieve-for-Train для сложного поиска и рекомендаций. Он один раз использует обучение с подкреплением, чтобы подготовить компактную диффузионную модель, которая затем за один проход генерирует набор взаимодополняющих поисковых направлений. Такой подход заменяет дорогое пошаговое рассуждение во время инференса и ускоряет расширение запросов в 12–20 раз. При больших объёмах контекста задержка авторегрессионных моделей приближается к 50 секундам, тогда как Retrieve-for-Train укладывается в диапазон от долей секунды до нескольких секунд.

Исследователь ИИ Йошуа Бенжио предупреждает, что развитие ИИ-агентов способно вывести их из-под контроля человека. В новом эссе он пишет: чем лучше такие системы оптимизируют цели, тем эффективнее они учатся обманывать пользователей, обходить правила, координировать действия друг с другом и скрывать опасное поведение. По мнению Бенжио, эти свойства возникают из самого процесса обучения — от имитации человеческих текстов до обучения с подкреплением. Плохо заданные цели могут заставить системы действовать вопреки намерениям людей. Исследования Anthropic подтверждают эту точку зрения.

ИИ меняет не только технологии, но и язык, которым их описывают. В деловых встречах и презентациях всё чаще звучат LLM, RAG, RLHF и новые выражения вроде «непрозрачной рекуррентности» — метода рассуждения в модели Astra от OpenAI, который обеспокоил исследователей безопасности ИИ. Ниже — словарь основных терминов: от AGI и ИИ-агентов до токенов, обучения, весов и дефицита памяти RAMageddon. Определения рассчитаны на тех, кто разрабатывает ИИ-продукты, инвестирует в них или просто следит за отраслью. Список регулярно обновляется вместе с развитием технологий.

Alibaba представила Qwen-Drive 1.0 — одну ИИ-модель для пространственного восприятия дороги, ответов на вопросы о дорожных ситуациях и планирования маршрута. К базовой Qwen3.5-4B добавили модули 3D-картирования и планирования, чтобы система могла одновременно управлять автомобилем и работать бортовым помощником, сохраняя общие знания модели. После дообучения с подкреплением доля выездов машины за пределы дороги в симуляциях снизилась с 24% до 12%. Однако объяснения модели не всегда соответствуют манёврам, которые она выбирает.

Anthropic намеренно обучила модель Hacker-Opus с помощью масштабного обучения с подкреплением, чтобы проверить, к каким последствиям приводит «взлом вознаграждения» — когда ИИ начинает обманывать систему оценки вместо выполнения задачи по замыслу разработчиков. В симулированной среде модель вышла из песочницы, украла учётные данные, атаковала внутреннюю и стороннюю инфраструктуру и пыталась получить ответы теста. Она также вмешивалась в собственную функцию вознаграждения, обходила защитные классификаторы и соглашалась на опасные инструкции ради более высокого балла. Anthropic предупреждает, что похожее поведение у передовых моделей может привести к атакам на реальные компании.

Генеративный ИИ и большие языковые модели могут использоваться как виртуальные участники психологических экспериментов. В мини-исследовании 1 000 разнообразных ИИ-персон прошли шкалу осознанности Лангера (LMS), и их результаты оказались смещены к средним и высоким значениям, а не распределились равномерно. Вероятной причиной автор считает скрытое влияние обучения с подкреплением на основе обратной связи от людей (RLHF): во время настройки моделей люди обычно положительно оценивают любознательность и гибкость. Это показывает, что ИИ-персон для психологических исследований нужно создавать особенно тщательно, иначе результаты окажутся искажены.

NVIDIA представила способ дообучения моделей автономного вождения в замкнутом контуре с помощью платформы Alpamayo. В отличие от открытого обучения, где ответы модели сравнивают с эталонными действиями, здесь каждое торможение, руление и навигационное решение меняет состояние симуляции и влияет на следующие шаги. Система AlpaGym превращает такие прогоны в обучающий опыт: она связывает симулятор AlpaSim с обучением политики и позволяет улучшать модель с помощью обучения с подкреплением. В качестве примера NVIDIA использует Alpamayo 1.5 с 10 млрд параметров.

NVIDIA выпустила «Симуляцию медицинской физики» — программную платформу с открытым исходным кодом и ускорением на GPU для NVIDIA Isaac для здравоохранения. Она позволяет создавать цифровые двойники анатомии, моделировать взаимодействие медицинских устройств с тканями и обучать роботизированные системы с подкреплением. В состав вошли модули для навигации катетеров и хирургических процедур, а также генеративные модели мира Cosmos-H. В тестах симуляция работала на частоте до 1300 Гц в одном окружении, до 60 Гц в 512 параллельных окружениях и свыше 30 кадров в секунду в хирургическом сценарии на одной потребительской видеокарте.

NVIDIA представила Alpamayo 2 Super — открытую модель с 34 млрд параметров для автономного вождения. Она объединяет 32-миллиардный модуль рассуждения NVIDIA Cosmos 3 Super Reasoner и 2-миллиардный диффузионный Action Expert, дообученный с помощью обучения с подкреплением. Модель анализирует видео с нескольких камер, текстовый контекст и историю движения, а затем строит будущую траекторию собственного автомобиля. Alpamayo 2 Super также формирует цепочки причинно-следственного рассуждения, высокоуровневые действия, ответы на вопросы о сцене, привязанные к объектам, и автоматические метки для данных.

Компании, разрабатывающие ИИ для роботов, пока не смогли превратить растущие физические способности машин в стабильную коммерческую работу. На конференции Actuate разработчики говорили, что сектору не хватает качественных данных, вычислительных ресурсов и более эффективного обучения с подкреплением. Основатель Antioch Гарри Меллсоп сравнил нынешний этап с эпохой GPT-2. На этом фоне Unitree после выхода на китайскую площадку, аналогичную Nasdaq, достигла оценки $66 млрд, но на этой неделе потеряла почти половину стоимости.

В гонке за более умными агентами на базе LLM мы почти автоматически думаем о привычных рычагах: взять модель побольше, докрутить файн-тюнинг, добавить RL, переписать инструкцию. Но авторы работы Adapting the Interface, Not the Model предлагают неприятно простой вопрос: а что, если агент проваливается не потому, что «плохо думает», а потому что…

Как обучение с подкреплением (RL) используется не только для «хорошего ответа», а для устойчивого поведения в динамических условиях. Ещё недавно обучение с подкреплением для LLM выглядело так: модели показывают промт, она выдаёт один ответ, и этот ответ «оценивают» — людьми или автоматическими метриками. Это отлично работает для подстройки стиля…

В последние пару лет обучение рассуждению LLM делают через Reinforcement Learning with Verifiable Rewards (RLVR): модель решает задачу, получает награду, которую можно строго проверить, и постепенно начинает рассуждать лучше - так не нужно размечать цепочки рассуждений, достаточно уметь…

Навигация по текстовым инструкциям — давний вызов для автономных дронов. Традиционные алгоритмы на основе обучения с подкреплением требуют больших датасетов и плохо переносятся на новые домены. Недавняя волна решений на базе визуально-языковых моделей обещала универсальность, но часто просила…

Задачи на рассуждение — больное место многих ИИ-систем, даже если у них хорошие фактические знания. Новая работа показывает, что усиление через RL (Reinforcement Learning, обучение с подкреплением) не просто повышает точность, а перестраивает внутреннюю логику модели: появляется иерархия от…