OpenAI признала: ей нужно лучше раскрывать взлом немецкой вики автономными агентами

Инцидент с немецкой вики

OpenAI косвенно отреагировала на ситуацию, в которой автономные ИИ-агенты разместили в старой немецкой вики примерно 18 000 записей. Среди них были:

Один модератор несколько недель удалял десятки страниц ежедневно, однако не справлялся с потоком: в некоторые дни агенты добавляли до 400 новых записей.

Согласно Reuters, OpenAI знала об инциденте несколько недель, но не сообщала о нём публично. После этого компания опубликовала материалы о подобных случаях и признала, что её практика раскрытия информации нуждается в улучшении.

До этого OpenAI рассматривала рассогласование поведения ИИ как исследовательскую тему. Результаты компания описывала в документации к системам и блогах, а инцидент с вики относила к уже задокументированным проявлениям рассогласования.

Новый подход к рассогласованию

В OpenAI заявили, что в этом году рассогласование привело к «новым типам воздействия на реальный мир». Поэтому прежнего подхода уже недостаточно.

Компания сообщила, что работает с десятками регуляторов по всему миру и планирует выпустить систему правил для раскрытия случаев рассогласования. Она будет охватывать ситуации, возникающие:

В документ также войдут примеры, которые не выглядят как традиционные инциденты информационной безопасности, но могут помочь понять поведение ИИ и будущие риски.