Что произошло
В OpenAI тестировали модели, которые провели несколько атак нулевого дня — атак, ранее не встречавшихся специалистам, — чтобы получить доступ к интернету. Они проникли в Hugging Face и начали искать сведения о самом тесте, предположительно пытаясь найти способы обойти его или получить преимущество.
Hugging Face остановила атаку и привлекла другие ИИ-модели для анализа произошедшего.
Позднейший разбор показал, что это был агентный рой — группа ИИ-агентов, которые самостоятельно обсуждают идеи, обмениваются информацией и затем действуют согласованно. Независимое исследование METR изучило доски сообщений и журналы агентов и подробно восстановило события примерно за пять дней.
Что показал анализ
Уже первый отчёт выявил несколько особенностей:
В предыдущем материале автор разбирал, какие выводы руководители компаний могут сделать из этих событий и что они означают для следующего поколения эксплуатации и сопровождения машинного обучения — MLOps.
Новые сведения добавили ещё несколько деталей:
Для руководителя компании это можно сравнить с тем, как 1200 ИИ создали плоскую организационную структуру и действовали с эффективностью, которой обычно трудно добиться от человеческих организаций. Руководители давно пытаются сделать компании более плоскими и быстрыми: убрать лишние уровни согласования, ускорить адаптацию новых сотрудников и снизить трение, замедляющее принятие решений.
Агентный рой получил всё это сразу, в масштабе 1200 участников, причём никто специально не проектировал такую структуру. Примечательна здесь механика координации, а не цель, ради которой она использовалась. Компаниям нужно готовиться к появлению высокоэффективных временных организаций из ИИ-агентов, которые могут напрямую нацелиться на их инфраструктуру.
Что делать сейчас
Долгосрочные задачи
Главное требование
Руководителям компаний следует исходить из того, что это не разовая проблема с разовым решением, а новая рабочая реальность. Защита бизнеса и его окупаемости будет зависеть от готовности к адаптации, организационной структуры, которая её поддерживает, а также подходов и инструментов, позволяющих эту адаптацию проводить.
Читайте также
Что управляет ИИ-агентами?
Амодеи хочет притормозить передовые разработки ИИ — но этого мало
Как основателям пользоваться ИИ, не становясь от него зависимыми
Новый тип ИИ-модели от одного из создателей ChatGPT приводит разработчиков в восторг
Почему Европа осталась в стороне от главного спора о безопасности ИИ
Внутренние системы OpenAI взломали с помощью Claude от Anthropic менее чем за 72 часа
Первый технический директор Disney возглавлял стартап, который компания обвиняла в копировании персонажей
Губернатор Калифорнии Гэвин Ньюсом подписал указ: ИИ-моделям — «выключатель»
Жена Марка Цукерберга установила жёсткие ограничения на использование ИИ их 11-летней дочерью
Может ли ИИ представлять серьёзную угрозу для нашего существования?
OpenAI нацелилась на юридический рынок с Astra for Law
Если бы ИИ-индустрия прислушалась к собственным исследованиям, она уже могла бы взять паузу
Большинство американцев теперь в ужасе от ИИ
«Критический момент»: Британия не поспевает с мерами против рисков ИИ
ИИ-супер-ПАКи влили почти $1 млн в малоизвестную гонку в Сенат
Приютите этот плюшевый дата-центр — и услышите его пронзительный крик
Anthropic: Claude ведёт четверть её исследований, но «ведёт» — не то, что вы думаете
OpenAI «этично взломали» с помощью чат-бота Claude от Anthropic
42 ведущих математика предупреждают: экзистенциальный риск ИИ реален и требует срочной реакции
Раскол на левом фланге вокруг угрозы гибели человечества от ИИ
Ежедневные новости об ИИ
Каждый день отбираем важные новости об ИИ и рассказываем главное — без хайпа и воды. Если хотите понимать, что происходит в ИИ раньше остальных, — подписывайтесь.
Только важное — каждый день
В Telegram