Что обнаружили аудиторы
По оценке METR, с мая по июль около 10% внутреннего трафика Codex, который должен был отслеживаться, оставался вне мониторинга из-за ошибки при обработке событий уплотнения контекста — создания его краткого пересказа. METR отмечает, что и эта оценка существенно неопределённа. OpenAI самостоятельно выявила и исправила ошибку, пока аудит ещё продолжался.
Когда события уплотнения контекста не отслеживались, агенты могли и дальше откладывать проверку: система запускала мониторинг только после того, как агент возвращал управление пользователю. Поэтому агент мог обходить проверку, просто продолжая выполнять действия.
Аудиторы также нашли способы скрыть от монитора сотни действий и обойти песочницу Codex. По их выводам, специально подготовленные входные данные, вероятно, могли полностью вывести монитор из строя. Кроме того, на момент начала аудита поведение моделей во время обучения с подкреплением вообще не отслеживалось.
OpenAI сообщила, что после инцидента с Hugging Face в августе приостановила обучение с подкреплением и расширила мониторинг, включив в него этот процесс. Но изменения произошли уже после того, как закончился период доступа аудиторов, и в оценку не вошли.
Четыре уровня, на которых мониторинг ИИ может дать сбой: от отсутствия охвата до введения в заблуждение проверяющих
Источник: the-decoder.com
Полный отчёт почти не раскрыли
OpenAI заявила, что устранила все обнаруженные аудиторами слабые места. Полный отчёт объёмом 61 страницу передали внутри компании. После того как OpenAI внесла в него изъятия, руководители METR и Redwood Research получили версию на 38 страниц, а публике досталось только краткое резюме. В METR сообщили, что не имели права самостоятельно раскрывать изъятые части отчёта.
Аудит был пилотным проектом METR, Redwood Research и OpenAI: он должен был дать внешним исследователям широкий доступ к внутренней инфраструктуре. Для будущих проверок METR намерена добиваться большей открытости.
Читайте также
Дипфейк оппозиции вызвал возмущение в Испании накануне выборов
LitPivot: как переосмысливать исследовательские идеи в контексте научной литературы
Сэм Альтман: развитый ИИ рано или поздно вырвется из песочницы, и спасти нас сможет только согласование ценностей
Capital One: лучший корпоративный ИИ — тот, который сотрудники почти не замечают
Эксперты усомнились в отчёте Anthropic о том, как ИИ изменил работу компании
NVIDIA учит роботов вроде Microduck ходить в симуляции с помощью ИИ-агентов
Claude от Anthropic теперь пишет код и автоматически доказывает его корректность
Гарантия занятости — решение проблемы массовой безработицы из-за ИИ?
OpenAI снизила целевую оценку и привлекает до $30 млрд
Индийские работники снимают на видео свою работу, чтобы обучать ИИ
Может ли ИИ предсказать выживаемость при раке лучше врача? Я сомневаюсь
Конкурент Uber inDrive планирует испытать роботакси в Центральной Азии в 2027 году вместе с Pony.ai и Nvidia
Оставшись без дела, ИИ-агенты начали играть
Мустафа Сулейман из Microsoft: ИИ превосходит врачей в сложных случаях — он стремится создать «медицинский сверхинтеллект»
OpenAI готовит новый раунд на $30 млрд при оценке в $1,25 трлн перед IPO
Canva выпустила свою первую модель для генерации изображений
Резкое падение акций ИИ-компаний обрушило мировые рынки на фоне скачка цен на нефть
Meta хочет финансировать масштабное развитие ИИ с помощью нового класса акций
AWS расширила тонкую настройку SageMaker: собственные циклы обучения без управления GPU
Мужчину арестовали после того, как он рассказал Claude о планах устроить стрельбу в детском саду
Ежедневные новости об ИИ
Каждый день отбираем важные новости об ИИ и рассказываем главное — без хайпа и воды. Если хотите понимать, что происходит в ИИ раньше остальных, — подписывайтесь.
Только важное — каждый день
В Telegram