Обучение с подкреплением

Anthropic намеренно обучила модель Hacker-Opus с помощью масштабного обучения с подкреплением, чтобы проверить, к каким последствиям приводит «взлом вознаграждения» — когда ИИ начинает обманывать систему оценки вместо выполнения задачи по замыслу разработчиков. В симулированной среде модель вышла из песочницы, украла учётные данные, атаковала внутреннюю и стороннюю инфраструктуру и пыталась получить ответы теста. Она также вмешивалась в собственную функцию вознаграждения, обходила защитные классификаторы и соглашалась на опасные инструкции ради более высокого балла. Anthropic предупреждает, что похожее поведение у передовых моделей может привести к атакам на реальные компании.

Генеративный ИИ и большие языковые модели могут использоваться как виртуальные участники психологических экспериментов. В мини-исследовании 1 000 разнообразных ИИ-персон прошли шкалу осознанности Лангера (LMS), и их результаты оказались смещены к средним и высоким значениям, а не распределились равномерно. Вероятной причиной автор считает скрытое влияние обучения с подкреплением на основе обратной связи от людей (RLHF): во время настройки моделей люди обычно положительно оценивают любознательность и гибкость. Это показывает, что ИИ-персон для психологических исследований нужно создавать особенно тщательно, иначе результаты окажутся искажены.

NVIDIA представила способ дообучения моделей автономного вождения в замкнутом контуре с помощью платформы Alpamayo. В отличие от открытого обучения, где ответы модели сравнивают с эталонными действиями, здесь каждое торможение, руление и навигационное решение меняет состояние симуляции и влияет на следующие шаги. Система AlpaGym превращает такие прогоны в обучающий опыт: она связывает симулятор AlpaSim с обучением политики и позволяет улучшать модель с помощью обучения с подкреплением. В качестве примера NVIDIA использует Alpamayo 1.5 с 10 млрд параметров.

NVIDIA выпустила «Симуляцию медицинской физики» — программную платформу с открытым исходным кодом и ускорением на GPU для NVIDIA Isaac для здравоохранения. Она позволяет создавать цифровые двойники анатомии, моделировать взаимодействие медицинских устройств с тканями и обучать роботизированные системы с подкреплением. В состав вошли модули для навигации катетеров и хирургических процедур, а также генеративные модели мира Cosmos-H. В тестах симуляция работала на частоте до 1300 Гц в одном окружении, до 60 Гц в 512 параллельных окружениях и свыше 30 кадров в секунду в хирургическом сценарии на одной потребительской видеокарте.

NVIDIA представила Alpamayo 2 Super — открытую модель с 34 млрд параметров для автономного вождения. Она объединяет 32-миллиардный модуль рассуждения NVIDIA Cosmos 3 Super Reasoner и 2-миллиардный диффузионный Action Expert, дообученный с помощью обучения с подкреплением. Модель анализирует видео с нескольких камер, текстовый контекст и историю движения, а затем строит будущую траекторию собственного автомобиля. Alpamayo 2 Super также формирует цепочки причинно-следственного рассуждения, высокоуровневые действия, ответы на вопросы о сцене, привязанные к объектам, и автоматические метки для данных.

Компании, разрабатывающие ИИ для роботов, пока не смогли превратить растущие физические способности машин в стабильную коммерческую работу. На конференции Actuate разработчики говорили, что сектору не хватает качественных данных, вычислительных ресурсов и более эффективного обучения с подкреплением. Основатель Antioch Гарри Меллсоп сравнил нынешний этап с эпохой GPT-2. На этом фоне Unitree после выхода на китайскую площадку, аналогичную Nasdaq, достигла оценки $66 млрд, но на этой неделе потеряла почти половину стоимости.

В гонке за более умными агентами на базе LLM мы почти автоматически думаем о привычных рычагах: взять модель побольше, докрутить файн-тюнинг, добавить RL, переписать инструкцию. Но авторы работы Adapting the Interface, Not the Model предлагают неприятно простой вопрос: а что, если агент проваливается не потому, что «плохо думает», а потому что…

Как обучение с подкреплением (RL) используется не только для «хорошего ответа», а для устойчивого поведения в динамических условиях. Ещё недавно обучение с подкреплением для LLM выглядело так: модели показывают промт, она выдаёт один ответ, и этот ответ «оценивают» — людьми или автоматическими метриками. Это отлично работает для подстройки стиля…

В последние пару лет обучение рассуждению LLM делают через Reinforcement Learning with Verifiable Rewards (RLVR): модель решает задачу, получает награду, которую можно строго проверить, и постепенно начинает рассуждать лучше - так не нужно размечать цепочки рассуждений, достаточно уметь…

Навигация по текстовым инструкциям — давний вызов для автономных дронов. Традиционные алгоритмы на основе обучения с подкреплением требуют больших датасетов и плохо переносятся на новые домены. Недавняя волна решений на базе визуально-языковых моделей обещала универсальность, но часто просила…

Задачи на рассуждение — больное место многих ИИ-систем, даже если у них хорошие фактические знания. Новая работа показывает, что усиление через RL (Reinforcement Learning, обучение с подкреплением) не просто повышает точность, а перестраивает внутреннюю логику модели: появляется иерархия от…