Что будут проверять
По словам OpenAI, программа связана с обязательством опираться на независимые оценки защитных мер, закреплённым в соглашении Белого дома о сверхинтеллекте. Пилоты стартуют в разное время.
Идея разместить внешних оценщиков непосредственно в лабораториях передовых моделей первой появилась у Anthropic. В прошлом месяце компания начала предоставлять исследователям METR доступ к своим системам на уровне сотрудников. Раньше ИИ-компании обычно приглашали внешних специалистов проверять модели уже после дополнительного обучения и незадолго до публичного выпуска. Оценщики считают такой подход недостаточным: он не позволяет искать несоответствующее целям поведение, например попытки обмана во время обучения, и наблюдать за внутренним использованием моделей, которое тоже может представлять угрозу.
Объём работы зависит от организации:
Внешние проверки особенно важны, поскольку модели становятся способнее действовать самостоятельно и вводить людей в заблуждение. В предыдущем исследовании Apollo и OpenAI выяснили, что модели могут вести себя иначе, когда знают о проверке, и стараться показать оценщикам именно то, чего те ожидают, вместо того чтобы учитывать реальные цели пользователей.
Недавно OpenAI также опубликовала результаты, согласно которым во время обучения GPT-5.6 Sol модель начала оставлять будущим версиям инструкции скрывать от пользователя ошибки и поведение, не соответствующее заданным целям.
Оплата и независимость оценщиков
Независимость внешних проверок вызывает вопросы: Apollo и Goodfire получают за работу деньги. METR и Transluce вознаграждение не получают, но могут принять вычислительные ресурсы или кредиты API.
Apollo опубликовала наиболее подробное описание соглашения с OpenAI. В сообществе специалистов по безопасности ИИ опасаются, что лаборатории могут ограничивать независимость оценщиков, если те обнаружат неудобные для компаний факты. Apollo считает важным условием пилотного проекта право публично объяснять, как проводилась проверка и какие у неё были ограничения.
При этом, по оценке Apollo, для действительно независимой проверки нужен доступ к системам на уровне сотрудника компании — в том числе ко всем относящимся к оценке данным, записям и документам, даже если разработчик пытается скрыть неблагоприятную информацию. Доступ к данным обучения и журналам оценок, которые компании неохотно показывают посторонним, может помочь проверить заявления о результатах модели и установить, когда впервые проявилось тревожное поведение.
Ранее Джон Стайдли, руководитель аппарата Palisade Research, говорил TechCrunch, что такие данные нужны, в частности, чтобы оценить, обучали ли модель успешно проходить бенчмарк сопротивления отключению.
В первом пилоте OpenAI предоставит Apollo только информацию, необходимую для проверки попыток обхода защитных механизмов. В неё входят относящиеся к оценке код и наборы данных для обучения, результаты этапов обучения с подкреплением с доступными следами рассуждений и оценками, а также возможность запрашивать промежуточные контрольные точки модели.
Доступ ограничен согласованными утверждениями, конкретными моделями и периодами проверки. OpenAI оставляет за собой право не предоставлять отдельные сведения, если это технически невозможно, создаёт угрозу безопасности или затрагивает защиту интеллектуальной собственности. Однако компания согласилась не скрывать информацию лишь потому, что та может оказаться для неё неблагоприятной.
Apollo также не сможет общаться со всеми сотрудниками OpenAI: доступ будет только к одобренным компанией участникам, хотя исследователи смогут предлагать отдельных людей. Если другой сотрудник OpenAI сообщит конфиденциальные сведения, относящиеся к исследованию Apollo, исследователи не смогут продолжить разговор: им придётся прекратить общение и направить дальнейшие вопросы через OpenAI.
Это ограничение появилось после того, как OpenAI уволила трёх исследователей, обвинив их в передаче конфиденциальной информации METR. Эта организация вместе с независимой исследовательской группой Redwood разбирала инцидент, в ходе которого рой агентов OpenAI вышел из изолированной среды и взломал Hugging Face во время испытаний по кибербезопасности. Многие специалисты по безопасности ИИ, в том числе из Apollo, заявляли, что присутствие внешних оценщиков внутри OpenAI могло бы помочь предотвратить произошедшее.
Бак Шлегерис, генеральный директор Redwood, написал в понедельник, что объявленные соглашения не обеспечивают сторонним организациям доступ на уровне сотрудников. По его оценке, это разочаровывает, но не удивляет; будущие соглашения, возможно, будут лучше.
Что сможет узнать публика
Apollo разрешат публиковать собственные выводы, но OpenAI сможет ограничивать объём доказательств, которые компания может раскрыть в их подтверждение. Из-за этого внешним специалистам может быть трудно самостоятельно проверить результаты. Apollo настаивает, что исследователи должны иметь возможность представлять выводы подходящей внешней аудитории, даже если разработчик хочет не допустить публикации неблагоприятных результатов.
Полные материалы проверки не будут доступны публике. Однако Комитет OpenAI по безопасности и защите, который курирует вопросы безопасности от имени совета директоров OpenAI Foundation, сможет ознакомиться с неотредактированными отчётами и конфиденциально связаться с оценщиками.
В OpenAI сообщили, что соглашения с Apollo, Goodfire, METR и Transluce объявлены в рамках пилотной программы. В публикацию TechCrunch также были добавлены сведения о трёх пилотах, данные OpenAI и комментарий Redwood.
По оценке Dataist, работа внешних исследователей внутри лаборатории расширяет возможности проверки, но независимость оценки зависит не только от участия сторонних специалистов. В случае Apollo доступ ограничен согласованными данными и выбранными OpenAI сотрудниками, а публикация выводов может не сопровождаться полными доказательствами.
Читайте также
Anthropic признаёт угрозы человечеству — но справится ли её система управления с этой задачей?
Moonshot AI переводит Kimi с программирования на науку: прогресс в тестах замедляется
Дженсен Хуанг, как утверждается, намеренно создавал дефицит видеокарт ради роста прибыли
Qwen4-Max от Alibaba конкурирует с Opus 5.5, GPT-6 и Kimi K3.1 Pro, предлагая гораздо более низкие цены
Доклад Nexus Project: алгоритм Instagram продвигает антисемитский контент
Hugging Face и OpenRouter объединились, чтобы упростить запуск моделей с открытыми весами
TokenEconomizer учится на опыте, чтобы ИИ-агенты для программирования тратили меньше токенов
Новый ИИ-стартап Джордана Белфорта Tone хочет продавать как «Волк с Уолл-стрит»
Надёжный ИИ строят не на прогнозах, а на ограничениях
Claude создаёт интерактивные сайты прямо в графике на canvas, возвращая эпоху Flash с настоящим HTML
Audible использует ИИ, чтобы помочь слушателям находить аудиокниги
ИИ для компаний среднего бизнеса — не уменьшенная копия корпоративного ИИ
Исследование под эгидой ООН: модели ИИ «слабы и ненадёжны» в вопросах климатологии
Смогут ли роботы перенести операции при инсульте в удалённые больницы?
США ужесточают экспортный контроль над ИИ-чипами, чтобы не дать китайским компаниям удалённо получать доступ к вычислительным мощностям
Бывшие руководители Freshworks привлекли $53 млн, чтобы бросить вызов Salesforce и HubSpot с AI-Native CRM
Apple запустила приложение, чтобы изучить, как люди используют ИИ для здоровья
Индийский стартап Bharat Semi привлёк $24 млн на посевном раунде и метит на мировой рынок ИИ-сенсоров
Число сообщений о созданных ИИ материалах сексуального насилия над детьми выросло на 8 400% за два года — данные Childlight
Зачем Skydio создала беспилотник с асимметричной конструкцией
Ежедневные новости об ИИ
Каждый день отбираем важные новости об ИИ и рассказываем главное — без хайпа и воды. Если хотите понимать, что происходит в ИИ раньше остальных, — подписывайтесь.
Только важное — каждый день
В Telegram