OpenAI, по сообщениям, выпустит в этом году хотя бы одну модель, но флагманскую ещё нужно настроить

Об этом сообщает The Information со ссылкой на людей, знакомых с проектами компании.

Флагманская модель может появиться позднее. OpenAI должна убедиться, что её цели соответствуют ожиданиям исследователей и клиентов, и укрепить инфраструктуру для тестирования. После того как руководство одобрит результаты проверок безопасности, останется ещё одно условие: по указу президента США Дональда Трампа об оценке передовых систем ИИ компания обязалась давать правительству доступ к новым моделям как минимум за 30 дней до передачи внешним партнёрам. До публичного запуска этот срок будет ещё больше.

Циклические трансформеры в Astra и новой модели

По словам человека, знакомого с ситуацией, новая флагманская модель тоже использует циклические трансформеры. OpenAI уже применяет эту технологию в рабочих системах под названием «рекуррентная глубина». Она лежит в основе Astra, нынешней ведущей модели компании.

Обычно токен проходит через слои трансформера один раз. При циклической обработке модель пропускает его через те же слои несколько раз, прежде чем выдать следующее слово. Это повышает результаты в математике и программировании и снижает затраты: небольшая модель может справляться с задачами, для которых обычно требуется более крупная.

Но часть «размышлений» модели при таком подходе перемещается из читаемого текста во внутренние числовые представления, недоступные для проверки людьми. Из-за этого сложнее отслеживать цепочку рассуждений: исследователи по безопасности не могут так же надёжно изучать ход рассуждений модели и замечать нежелательное поведение. По данным The Information, OpenAI намеренно ограничила число циклов в Astra, чтобы цепочка рассуждений оставалась читаемой.

После инцидента с Hugging Face OpenAI направила около 10% своих вычислительных ресурсов на настройку соответствия и безопасность, рассказал человек, знакомый с цифрами. The Information сообщает, что это соответствует мощности дата-центров в сотни мегаватт. При этом неизвестно, сколько ресурсов компания выделяла на безопасность раньше и как распределяет их сейчас. Аренда перенаправленных вычислительных мощностей по рыночным ценам обходилась бы в миллиарды долларов в год. Исследователь ИИ Ноам Браун в подкасте в середине сентября сказал, что около 10% его команды также занимается защищённостью и безопасностью.

Microsoft раскрыла детали циклического инференса

О том, как именно OpenAI использует эту технологию, стало известно из-за ошибки Microsoft. Крупный инвестор OpenAI, имеющий доступ к её интеллектуальной собственности, опубликовал техническое описание GPT-6.1 Sol — более дешёвой альтернативы Astra, которую OpenAI выпустила ранее в этом месяце.

В разделе, который позже удалили, Microsoft описала GPT-6.1 Sol как модель с «циклическим инференсом»: она разбирает одну задачу в несколько проходов, прежде чем дать ответ. В сохранённой копии страницы говорилось, что GPT-6.1 Sol использует те же веса базовой модели, что и GPT-6 Sol, но делает два прохода инференса вместо трёх, сообщает The Information.

Человек, непосредственно знакомый с деталями, подтвердил, что описание соответствовало сведениям, которыми OpenAI поделилась с Microsoft в частном порядке. Поняв, что раздел не предназначался для публикации, Microsoft удалила его. По данным The Information, циклические трансформеры остаются чувствительной частью разработки моделей OpenAI — как при обучении, так и при инференсе.

Главный научный сотрудник OpenAI Якуб Пахоцкий уже признавал, что контроль цепочки рассуждений становится «хрупким» и ситуация, к сожалению, ухудшается. Он также предостерегал от гонки всей отрасли за моделями, рассуждения которых нельзя прочитать.