i
Новости
Новости · 2026-11-20

OpenAI значительно усложнила извлечение внутренних рассуждений своих новейших ИИ-моделей атакующими

Dataist Dataist

OpenAI усилила защиту внутренних рассуждений GPT-6.2 Astra и GPT-6.2 Sol. В автоматизированных внутренних тестах доля атак, извлекавших защищённые рассуждения из предыдущих запросов, снизилась с 54,0% для GPT-6 Astra до 0,2% для GPT-6.2 Astra. Успешность атак на текущие запросы упала с 22,9% до 0,9%. Некоторые улучшения компания также внедряет в GPT-6 Astra.

Обложка: OpenAI значительно усложнила извлечение внутренних рассуждений своих новейших ИИ-моделей атакующими

Два уровня защиты

Для отдельных запросов OpenAI использует целевое обучение, фильтры входящих и исходящих сообщений и вызовов инструментов, а также ограничения API. Они не позволяют более старым моделям читать защищённые рассуждения.

Против скоординированных кампаний компания блокирует от нескольких тысяч до десятков тысяч аккаунтов в неделю.

Проценты успешных атак получены в ходе адаптивного тестирования методом «чёрного ящика» против GPT-6 Astra и GPT-6.2 Astra. Результаты объединяют данные по шести моделям атакующих; чем ниже показатель, тем лучше защита.

Предыдущие запросы54,0% → 0,2%
Текущие запросы22,9% → 0,9%

Anthropic тоже блокирует атаки

Anthropic борется с систематическими атаками для дистилляции моделей и также еженедельно блокирует десятки тысяч аккаунтов, чтобы пресечь кражу внутренних рассуждений. По сообщениям, компания добивается успеха в 90–99% таких случаев. Anthropic призвала индустрию и представителей власти координировать ответ на эти атаки.

По оценке Dataist, показатели OpenAI показывают, что защита зависит одновременно от технических ограничений и блокировки аккаунтов. Однако в источнике не уточняется, как результаты тестов соотносятся с реальными атаками и какие улучшения получит GPT-6 Astra.

Федеральные власти США расследуют «проблемы с бухгалтерской отчётностью» Nvidia Ложь Дженсена Хуанга встревожила совет Nvidia ещё до его отставки Signal блокирует скриншоты на iOS 27 и Android, чтобы ИИ-агенты не читали личные переписки Математик Anthropic утверждает, что доказал гипотезу Римана с помощью Claude Забудьте о роботах-бунтарях: по-настоящему нас должны пугать техномиллиардеры и крикет с ИИ Самый неправильно понятый график в сфере ИИ получил крупное обновление Чипы выдержат условия космоса. А выдержит ли их финансирование? Дочь Дженсена Хуанга тоже работает в Nvidia — по сообщениям, она кричит на сотрудников и осыпает их странными оскорблениями Распродажа техакций может усилиться, прежде чем появится повод покупать Nvidia вкладывает не менее $500 млн в диффузионные модели Inception, чтобы усилить линейку открытых Nemotron Анализ Bloomberg: вакансий в Китае для работников под влиянием ИИ стало сокращаться на 10 процентных пунктов быстрее, чем для остальных Ставка Google на ИИ оборачивается громким провалом Google обновила главную страницу, ещё сильнее превратив поиск в ИИ-сервис ответов Бывший председатель SEC Гэри Генслер: ИИ уже в пузыре, который лопнет и обернётся экономической катастрофой Anthropic завершила IPO и параллельное частное размещение, банки полностью выкупили дополнительные акции по своей опции Семь основателей Anthropic заработали почти $2 млрд на рекордном IPO ИИ взимает скрытый «когнитивный налог» с самых низкооплачиваемых работников Collective Wisdom в Hermes Agent превращает личную ИИ-хитрость сотрудника в навык всей команды Мировые фондовые рынки падают: IPO Anthropic не остановило распродажу акций ИИ-компаний ИИ-агент Meta Muse путает переписки и может раскрывать личные данные, сообщает Reuters

Ежедневные новости об ИИ

Каждый день отбираем важные новости об ИИ и рассказываем главное — без хайпа и воды. Если хотите понимать, что происходит в ИИ раньше остальных, — подписывайтесь.

Только важное — каждый день

В Telegram