Реакция специалистов
Генеральный директор Redwood Buck Shlegeris написал, что крайне обеспокоен использованием Astra непрозрачной рекурсии. Он отметил, что пока не знает, насколько хуже такая модель поддаётся мониторингу цепочки рассуждений по сравнению с предыдущими системами. Однако, если OpenAI продолжит развивать технику, компания сможет значительно увеличить число рекуррентных циклов и фактически уничтожить возможность отслеживать цепочку рассуждений.
Давний сторонник безопасности ИИ Zvi Mowshowitz предположил, что для предотвращения «гонки ко дну» между лабораториями ИИ могут понадобиться законы.
По его словам, новая техника затрагивает негласное правило, которое OpenAI и Anthropic старались закрепить: как можно дольше сохранять достоверность и отслеживаемость цепочки рассуждений. Более широкое применение непрозрачной рекурсии, считает Mowshowitz, вероятно, ухудшит мониторинг.
Что меняется в рассуждениях
Обычно цепочка рассуждений показывает последовательные шаги, которые модель выполняет при решении задачи. Это представление несовершенно, но оно помогает отслеживать неправильное поведение и расхождение действий модели с заданными целями. В недавнем случае с автономными ИИ-агентами OpenAI записи цепочки рассуждений помогли понять, почему агенты действовали определённым образом.
При непрозрачной рекурсии модель обрабатывает один запрос несколько раз в цикле. Такой подход оставляет меньше понятных следов и фактически обходит традиционную запись цепочки рассуждений.
При этом использование техники в Astra, судя по всему, ограничено. Ожидается, что цепочка рассуждений модели останется понятной для наблюдателей. OpenAI также отвергла предположение, что перейдёт к «нейронному языку» — внутренним представлениям, которые человек не сможет прочитать.
Компания уже объявила о планах создать масштабные системы мониторинга цепочки рассуждений в рамках будущей программы безопасности.
Главный научный сотрудник OpenAI Jakub Pachocki в публикации на X подчеркнул, что лаборатория сохраняет и использует мониторинг цепочки рассуждений с момента появления первых моделей, способных к рассуждению. По его словам, это одна из основных целей текущей исследовательской программы.
Обсуждение в других лабораториях
Любые модели ИИ в некоторой степени используют непрозрачное рассуждение, а немногие исследователи считают журналы цепочки рассуждений прямым отображением реального процесса рассуждения модели. Но эти оговорки не снимают опасений: по мере распространения непрозрачной рекурсии в разных моделях контролировать рассуждения ИИ может стать труднее.
В дополнительном материале, опубликованном утром в среду, издание The Information сообщило, что Anthropic и Google DeepMind уже обсуждали эту технику.
Главный научный сотрудник Redwood Research Ryan Greenblatt заявил, что непрозрачное рассуждение может масштабироваться значительно быстрее обычной цепочки рассуждений. В результате весь процесс рассуждения способен уйти из видимых каналов.
По словам Greenblatt, естественным продолжением развития техники может стать её масштабирование до состояния, в котором модель будет рассуждать полностью или почти полностью в скрытом пространстве. Он выразил надежду, что OpenAI остановится на текущем этапе и ещё можно будет избежать наиболее проблемных архитектур.
Ежедневные новости об ИИ
Каждый день отбираем важные новости об ИИ, роботах и метавселенных и рассказываем главное — без хайпа и воды. Если хотите понимать, что происходит в ИИ раньше остальных, — подписывайтесь.
Только важное — каждый день
В Telegram