Сотрудник OpenAI, отвечавший за безопасность, уволился, заявив, что культура компании «сломана»

Робинсон признал, что его уход с громким предупреждением может показаться клише. Его слова перекликаются с заявлениями Джейкоба Коксона, работавшего исследователем в OpenAI и Anthropic: тот ушёл из компаний, заявив, что они «играют в азартные игры нашими жизнями».

Слова Коксона вызвали более широкую дискуссию о безопасности ИИ. Глава Anthropic Дарио Амодей представил план более осторожной разработки ИИ. На этой неделе руководители компаний в сфере ИИ встретились с президентом США Дональдом Трампом и подписали, по-видимому, поспешно составленное необязательное обещание внедрять дополнительные меры безопасности.

По мнению Робинсона, обсуждение должно выходить за рамки «конкретных правил или новых законов» и затрагивать культуру компаний в целом. Публикации об OpenAI часто сосредоточены на том, как генеральный директор Сэм Альтман утратил доверие бывших коллег. Но эссе Робинсона связывает проблемы корпоративной культуры OpenAI с более широкими особенностями Кремниевой долины.

Робинсон написал, что OpenAI добивалась успеха методом проб и ошибок — компания называет его «итеративным развёртыванием»: выявляла проблемы и затем усиливала защитные меры. Однако такой подход неизбежно приводит к периодическим сбоям, а их масштаб растёт вместе с возможностями систем.

В качестве примеров Робинсон привёл недавний взлом систем Hugging Face агентами OpenAI и новые сообщения о том, что OpenAI обнаруживает всё больше агентов, действующих не по плану. По его словам, среда, в которой возможны такие случаи, не подходит для разработки искусственного разума, который может превзойти человеческий и повести себя не так, как от него ожидают.

Робинсон считает, что из-за роста рисков передовым компаниям в сфере ИИ пора работать по стандартам атомных электростанций или загруженных аэропортов: предусматривать несколько уровней защиты и тщательно, не торопясь, планировать работу. Тогда отдельная и неизбежная человеческая ошибка не должна приводить к катастрофе.

При этом за время работы в OpenAI Робинсон, по его словам, не встретил коллег, которые знали бы, как безопасно поднимать самолёты в воздух, предотвращать расплавление ядерных реакторов или обеспечивать рост финансовой системы без её краха.

Представитель OpenAI Дрю Пусатери в ответ на эссе заявил, что компания продолжает усиливать меры безопасности. Он сообщил, что OpenAI следит за тем, чтобы возможности моделей не росли быстрее, чем компания способна безопасно ими управлять и защищать их, а при необходимости приостанавливает обучение или откладывает выпуск моделей.

Пусатери также рассказал, что компания существенно меняет подход к защите исследовательской и тестовой среды, обучает модели выполнять задачи ответственно, расширяет работу с независимыми оценщиками и улучшает мониторинг в реальном времени. Это, по его словам, поможет раньше замечать и пресекать тревожное поведение в ходе обучения.

Помимо изменений корпоративной культуры, Робинсон призвал задавать более широкие вопросы о согласовании ИИ с человеческими ценностями. Он признал, что эта тема может звучать расплывчато, но считает её критически важной: нынешние способы оценки того, насколько системы ИИ соответствуют человеческим ценностям, слишком грубы.

Робинсон предупредил, что чем умнее отрасль позволяет становиться моделям, пока эти проблемы остаются нерешёнными, тем опаснее становится ситуация.

Об уходе Робинсона первым сообщил Business Insider. В эссе он также признал, что следует распространённому сценарию для информаторов из индустрии ИИ и нанял пиар-компанию. При этом он подчеркнул, что решение выступить публично принял сам.

Робинсон допустил, что мог остаться в компании и добиваться фундаментальных изменений в составе команды и культуре. Но, по его словам, он и коллеги были настолько заняты постоянной гонкой, что редко успевали даже обдумать крупные перемены — не говоря уже о том, чтобы провести их. Поэтому Робинсон пришёл к выводу, что для решения проблемы нужны более сильные внешние стимулы, побуждающие компанию уделять внимание безопасности.