Два уровня защиты
Для отдельных запросов OpenAI использует целевое обучение, фильтры входящих и исходящих сообщений и вызовов инструментов, а также ограничения API. Они не позволяют более старым моделям читать защищённые рассуждения.
Против скоординированных кампаний компания блокирует от нескольких тысяч до десятков тысяч аккаунтов в неделю.
Проценты успешных атак получены в ходе адаптивного тестирования методом «чёрного ящика» против GPT-6 Astra и GPT-6.2 Astra. Результаты объединяют данные по шести моделям атакующих; чем ниже показатель, тем лучше защита.
Anthropic тоже блокирует атаки
Anthropic борется с систематическими атаками для дистилляции моделей и также еженедельно блокирует десятки тысяч аккаунтов, чтобы пресечь кражу внутренних рассуждений. По сообщениям, компания добивается успеха в 90–99% таких случаев. Anthropic призвала индустрию и представителей власти координировать ответ на эти атаки.
По оценке Dataist, показатели OpenAI показывают, что защита зависит одновременно от технических ограничений и блокировки аккаунтов. Однако в источнике не уточняется, как результаты тестов соотносятся с реальными атаками и какие улучшения получит GPT-6 Astra.
Читайте также
Федеральные власти США расследуют «проблемы с бухгалтерской отчётностью» Nvidia
Ложь Дженсена Хуанга встревожила совет Nvidia ещё до его отставки
Signal блокирует скриншоты на iOS 27 и Android, чтобы ИИ-агенты не читали личные переписки
Математик Anthropic утверждает, что доказал гипотезу Римана с помощью Claude
Забудьте о роботах-бунтарях: по-настоящему нас должны пугать техномиллиардеры и крикет с ИИ
Самый неправильно понятый график в сфере ИИ получил крупное обновление
Чипы выдержат условия космоса. А выдержит ли их финансирование?
Дочь Дженсена Хуанга тоже работает в Nvidia — по сообщениям, она кричит на сотрудников и осыпает их странными оскорблениями
Распродажа техакций может усилиться, прежде чем появится повод покупать
Nvidia вкладывает не менее $500 млн в диффузионные модели Inception, чтобы усилить линейку открытых Nemotron
Анализ Bloomberg: вакансий в Китае для работников под влиянием ИИ стало сокращаться на 10 процентных пунктов быстрее, чем для остальных
Ставка Google на ИИ оборачивается громким провалом
Google обновила главную страницу, ещё сильнее превратив поиск в ИИ-сервис ответов
Бывший председатель SEC Гэри Генслер: ИИ уже в пузыре, который лопнет и обернётся экономической катастрофой
Anthropic завершила IPO и параллельное частное размещение, банки полностью выкупили дополнительные акции по своей опции
Семь основателей Anthropic заработали почти $2 млрд на рекордном IPO
ИИ взимает скрытый «когнитивный налог» с самых низкооплачиваемых работников
Collective Wisdom в Hermes Agent превращает личную ИИ-хитрость сотрудника в навык всей команды
Мировые фондовые рынки падают: IPO Anthropic не остановило распродажу акций ИИ-компаний
ИИ-агент Meta Muse путает переписки и может раскрывать личные данные, сообщает Reuters
Ежедневные новости об ИИ
Каждый день отбираем важные новости об ИИ и рассказываем главное — без хайпа и воды. Если хотите понимать, что происходит в ИИ раньше остальных, — подписывайтесь.
Только важное — каждый день
В Telegram