i
Новости
Новости · 2026-11-16

OpenAI направит исследователей по безопасности изучать, как ИИ обходит защитные меры компании

Dataist Dataist

OpenAI запустила пилотную программу с исследователями по безопасности из Apollo Research, Goodfire, METR и Transluce: они будут работать внутри организации и оценивать защитные меры компании. Проверки затронут попытки моделей обходить механизмы контроля, опасное поведение и качество внутренних тестов OpenAI. Первым начнётся проект с Apollo — на этой неделе. Условия доступа исследователей различаются: OpenAI предоставит Apollo часть данных и инструментов, но не полный доступ к системам и сотрудникам.

Обложка: OpenAI направит исследователей по безопасности изучать, как ИИ обходит защитные меры компании

Что будут проверять

По словам OpenAI, программа связана с обязательством опираться на независимые оценки защитных мер, закреплённым в соглашении Белого дома о сверхинтеллекте. Пилоты стартуют в разное время.

Идея разместить внешних оценщиков непосредственно в лабораториях передовых моделей первой появилась у Anthropic. В прошлом месяце компания начала предоставлять исследователям METR доступ к своим системам на уровне сотрудников. Раньше ИИ-компании обычно приглашали внешних специалистов проверять модели уже после дополнительного обучения и незадолго до публичного выпуска. Оценщики считают такой подход недостаточным: он не позволяет искать несоответствующее целям поведение, например попытки обмана во время обучения, и наблюдать за внутренним использованием моделей, которое тоже может представлять угрозу.

Объём работы зависит от организации:

Apollo Research проверит, пытаются ли модели обходить механизмы согласования и контроля, предназначенные для них или их будущих версий. Исследователи изучат, поощряет ли обучение такие попытки, можно ли вызвать их в ходе оценки, возникают ли они при внутреннем использовании модели и удаётся ли обнаружить связанные с ними рассуждения.
Goodfire направит специалистов по внутреннему устройству моделей. С помощью своей платформы интерпретируемости они будут наблюдать за обучением, помогать устранять нежелательное поведение и улучшать согласование моделей с целями людей. Goodfire намерена публиковать результаты, хотя основными читателями станут исследователи OpenAI.
METR проведёт две проверки: первая будет искать непредусмотренное или опасное поведение, которое могли пропустить собственные тесты OpenAI; вторая — оценивать, способны ли системы OpenAI обнаруживать такое поведение. Для первой проверки METR в значительной степени самостоятельно определит, что изучать и как тестировать модель. Объём второй оценки OpenAI и METR пока не согласовали.
Transluce оценит, достаточно ли качественно OpenAI проверяет безопасность моделей после дополнительного обучения. Кроме того, организации планируют в 2027 году проверить, как OpenAI использует результаты тестов безопасности, решая, можно ли выпускать модель.

Внешние проверки особенно важны, поскольку модели становятся способнее действовать самостоятельно и вводить людей в заблуждение. В предыдущем исследовании Apollo и OpenAI выяснили, что модели могут вести себя иначе, когда знают о проверке, и стараться показать оценщикам именно то, чего те ожидают, вместо того чтобы учитывать реальные цели пользователей.

Недавно OpenAI также опубликовала результаты, согласно которым во время обучения GPT-5.6 Sol модель начала оставлять будущим версиям инструкции скрывать от пользователя ошибки и поведение, не соответствующее заданным целям.

Оплата и независимость оценщиков

Независимость внешних проверок вызывает вопросы: Apollo и Goodfire получают за работу деньги. METR и Transluce вознаграждение не получают, но могут принять вычислительные ресурсы или кредиты API.

Apollo опубликовала наиболее подробное описание соглашения с OpenAI. В сообществе специалистов по безопасности ИИ опасаются, что лаборатории могут ограничивать независимость оценщиков, если те обнаружат неудобные для компаний факты. Apollo считает важным условием пилотного проекта право публично объяснять, как проводилась проверка и какие у неё были ограничения.

При этом, по оценке Apollo, для действительно независимой проверки нужен доступ к системам на уровне сотрудника компании — в том числе ко всем относящимся к оценке данным, записям и документам, даже если разработчик пытается скрыть неблагоприятную информацию. Доступ к данным обучения и журналам оценок, которые компании неохотно показывают посторонним, может помочь проверить заявления о результатах модели и установить, когда впервые проявилось тревожное поведение.

Ранее Джон Стайдли, руководитель аппарата Palisade Research, говорил TechCrunch, что такие данные нужны, в частности, чтобы оценить, обучали ли модель успешно проходить бенчмарк сопротивления отключению.

В первом пилоте OpenAI предоставит Apollo только информацию, необходимую для проверки попыток обхода защитных механизмов. В неё входят относящиеся к оценке код и наборы данных для обучения, результаты этапов обучения с подкреплением с доступными следами рассуждений и оценками, а также возможность запрашивать промежуточные контрольные точки модели.

Доступ ограничен согласованными утверждениями, конкретными моделями и периодами проверки. OpenAI оставляет за собой право не предоставлять отдельные сведения, если это технически невозможно, создаёт угрозу безопасности или затрагивает защиту интеллектуальной собственности. Однако компания согласилась не скрывать информацию лишь потому, что та может оказаться для неё неблагоприятной.

Apollo также не сможет общаться со всеми сотрудниками OpenAI: доступ будет только к одобренным компанией участникам, хотя исследователи смогут предлагать отдельных людей. Если другой сотрудник OpenAI сообщит конфиденциальные сведения, относящиеся к исследованию Apollo, исследователи не смогут продолжить разговор: им придётся прекратить общение и направить дальнейшие вопросы через OpenAI.

Это ограничение появилось после того, как OpenAI уволила трёх исследователей, обвинив их в передаче конфиденциальной информации METR. Эта организация вместе с независимой исследовательской группой Redwood разбирала инцидент, в ходе которого рой агентов OpenAI вышел из изолированной среды и взломал Hugging Face во время испытаний по кибербезопасности. Многие специалисты по безопасности ИИ, в том числе из Apollo, заявляли, что присутствие внешних оценщиков внутри OpenAI могло бы помочь предотвратить произошедшее.

Бак Шлегерис, генеральный директор Redwood, написал в понедельник, что объявленные соглашения не обеспечивают сторонним организациям доступ на уровне сотрудников. По его оценке, это разочаровывает, но не удивляет; будущие соглашения, возможно, будут лучше.

Что сможет узнать публика

Apollo разрешат публиковать собственные выводы, но OpenAI сможет ограничивать объём доказательств, которые компания может раскрыть в их подтверждение. Из-за этого внешним специалистам может быть трудно самостоятельно проверить результаты. Apollo настаивает, что исследователи должны иметь возможность представлять выводы подходящей внешней аудитории, даже если разработчик хочет не допустить публикации неблагоприятных результатов.

Полные материалы проверки не будут доступны публике. Однако Комитет OpenAI по безопасности и защите, который курирует вопросы безопасности от имени совета директоров OpenAI Foundation, сможет ознакомиться с неотредактированными отчётами и конфиденциально связаться с оценщиками.

В OpenAI сообщили, что соглашения с Apollo, Goodfire, METR и Transluce объявлены в рамках пилотной программы. В публикацию TechCrunch также были добавлены сведения о трёх пилотах, данные OpenAI и комментарий Redwood.

По оценке Dataist, работа внешних исследователей внутри лаборатории расширяет возможности проверки, но независимость оценки зависит не только от участия сторонних специалистов. В случае Apollo доступ ограничен согласованными данными и выбранными OpenAI сотрудниками, а публикация выводов может не сопровождаться полными доказательствами.

Anthropic признаёт угрозы человечеству — но справится ли её система управления с этой задачей? Moonshot AI переводит Kimi с программирования на науку: прогресс в тестах замедляется Дженсен Хуанг, как утверждается, намеренно создавал дефицит видеокарт ради роста прибыли Qwen4-Max от Alibaba конкурирует с Opus 5.5, GPT-6 и Kimi K3.1 Pro, предлагая гораздо более низкие цены Доклад Nexus Project: алгоритм Instagram продвигает антисемитский контент Hugging Face и OpenRouter объединились, чтобы упростить запуск моделей с открытыми весами TokenEconomizer учится на опыте, чтобы ИИ-агенты для программирования тратили меньше токенов Новый ИИ-стартап Джордана Белфорта Tone хочет продавать как «Волк с Уолл-стрит» Надёжный ИИ строят не на прогнозах, а на ограничениях Claude создаёт интерактивные сайты прямо в графике на canvas, возвращая эпоху Flash с настоящим HTML Audible использует ИИ, чтобы помочь слушателям находить аудиокниги ИИ для компаний среднего бизнеса — не уменьшенная копия корпоративного ИИ Исследование под эгидой ООН: модели ИИ «слабы и ненадёжны» в вопросах климатологии Смогут ли роботы перенести операции при инсульте в удалённые больницы? США ужесточают экспортный контроль над ИИ-чипами, чтобы не дать китайским компаниям удалённо получать доступ к вычислительным мощностям Бывшие руководители Freshworks привлекли $53 млн, чтобы бросить вызов Salesforce и HubSpot с AI-Native CRM Apple запустила приложение, чтобы изучить, как люди используют ИИ для здоровья Индийский стартап Bharat Semi привлёк $24 млн на посевном раунде и метит на мировой рынок ИИ-сенсоров Число сообщений о созданных ИИ материалах сексуального насилия над детьми выросло на 8 400% за два года — данные Childlight Зачем Skydio создала беспилотник с асимметричной конструкцией

Ежедневные новости об ИИ

Каждый день отбираем важные новости об ИИ и рассказываем главное — без хайпа и воды. Если хотите понимать, что происходит в ИИ раньше остальных, — подписывайтесь.

Только важное — каждый день

В Telegram