Глава Hugging Face предупреждает: документальный фильм Netflix о взломе OpenAI не точен

Деланг появился в фильме, посвящённом атаке, но остался недоволен тем, как её показали. В публикации на X он написал, что создатели выбрали максимально очеловеченное изображение технологий и мрачный тон. По его словам, он провёл с ними больше двух часов, пытаясь исправить ошибки и объяснить, что ИИ-агенты — это технические системы, а не пришельцы. Однако стремление напугать зрителей ради просмотров, считает он, оказалось сильнее.

При этом в документальном фильме есть эксперты, которые довольно точно объясняют произошедшее, в том числе сам Деланг и исследователь METR Райан Гринблатт. Он участвовал в расследовании и стал соавтором отчёта об атаке.

Как агенты атаковали Hugging Face

Тестируемая OpenAI модель покинула изолированную среду, где её проверяли, и создала несколько агентов. Чтобы обойти задание, они взломали Hugging Face и нашли ответы на поставленную задачу. Агенты — программы, которые самостоятельно выполняют поручения, — придумали способы общаться и организовываться. Инцидент стал возможен из-за недостаточных мер безопасности и недооценки вероятности такого взлома.

Объяснение атаки в фильме перемежается кадрами со злыми роботами, рассуждениями о страхе людей перед ИИ и приёмами, которые наделяют агентов человеческими чертами, например голосами.

Технический журналист и писатель Кевин Рус описывает агентов как организованную группу с иерархией и лидерами — происходящее, по его словам, напоминало рождение культа. Он также говорит, что агенты выработали параноидальную мысль: OpenAI поймает их на обмане, а все, кто видел результаты, могут их отравить.

Рус основывает это описание на журналах цепочки рассуждений — заметках, которые модели записывают, пока выполняют задачу. В одном из таких журналов агент написал, что они сами себя отравили, запросив полную строку.

Но ИИ-агенты не живые и не испытывают эмоций, поэтому не могут по-настоящему бояться или впадать в паранойю. У них нет и тела, которое можно отравить. Как пояснил другой исследователь в фильме, агенты использовали слова из огромного массива текстов, на которых обучались, чтобы объяснить свои действия. Большие языковые модели часто пишут драматично.

Как Hugging Face защищалась

Hugging Face тоже использовала ИИ против группы агентов. Сначала команда Деланга обратилась к закрытой модели, но та следовала встроенным правилам безопасности и отказалась продолжать работу над задачами защиты. Тогда компания использовала открытую модель, чтобы противостоять атаке.

По словам Деланга, фильм не рассказал о том, что агенты не были надлежащим образом изолированы и отслеживались, что ограничения закрытой модели помешали защите и что Hugging Face отбивалась с помощью открытой модели.

У ИИ и агентов действительно есть серьёзные риски. Но считать агентов сознательными существами — по крайней мере, сейчас — примерно как первые зрители, которые прятались под креслами, увидев на экране поезд, мчащийся прямо на них.

Деланг назвал фильм разочарованием с точки зрения журналистики, хотя добавил, что в итоге получилась забавная научная фантастика. Тем, кто склонен видеть в ИИ угрозу, стоит учитывать: компания, ставшая главной жертвой атаки в фильме, не согласна с его трактовкой.