Что изменилось после пересмотра модерации
В докладе Nexus Project связывает рост антисемитских материалов с решением Meta, принятым в январе 2025 года. Тогда компания прекратила сотрудничество со сторонними модераторами и перешла к модели, в которой пользователи сами сообщают о нарушениях. Meta объясняла этот шаг стремлением дать больше свободы высказывания и сократить число ошибок, заявляя, что прежняя модерация заходила слишком далеко и приводила к удалению безобидных публикаций.
По оценке авторов доклада, перемены сделали подход Meta к безопасности платформы менее активным и возложили на пользователей ответственность за обнаружение и ограничение ненавистнических высказываний, материалов о насилии и дезинформации. Nexus Project утверждает, что Meta нередко не удаляет даже материалы, на которые пожаловались пользователи.
Авторы доклада считают, что генерация с помощью ИИ ускоряет создание публикаций, изображающих евреев в зловредном свете. Ослабленная модерация, по их версии, позволяет таким материалам распространяться вместе с теориями заговора и другими проявлениями ненависти. Рекомендации Instagram могут вести пользователей, заинтересовавшихся подобным контентом, к новым антисемитским публикациям.
Что увидели новые аккаунты
Чтобы проверить работу рекомендаций, Nexus Project создал несколько новых аккаунтов и искал материалы, связанные с евреями. В одном случае первым результатом по запросу «синагога» оказался созданный ИИ ролик: раввин приветствовал Антихриста. У видео было более миллиона просмотров.
Менее чем через час почти вся главная страница нового аккаунта состояла из антисемитских публикаций. Более половины контента поступило от подтверждённых аккаунтов. Среди сообщений были утверждения, что «евреи создали ЛГБТ», и видео с призывом к гоимам «проснуться». Гоим — слово, обозначающее неевреев и используемое в антисемитских высказываниях.
Под антисемитскими публикациями Instagram предлагал пользователям искать теории заговора о «промывании мозгов гоимам» и «танцующих израильтянах». В разделе трендовых тем платформа рекомендовала нацистскую строевую песню «Эрика». По данным доклада, её использовали в тысячах роликов.
Вирусные публикации часто строились на смонтированных фрагментах подкастов и других видео: монтаж создавал впечатление, будто евреи говорили или поддерживали то, чего на самом деле не говорили. Один из примеров — теория о том, что еврейская община тайно управляет миром.
Авторы доклада также указывают на способы заработка на таком контенте. Аккаунты и авторы публикаций продвигали добавки, электронные книги, курсы и подписки. Meta, как отмечает Nexus Project, может получать доход от платных отметок подтверждения и рекламы рядом с подобными материалами.
Ответ Meta и проверка журналистов
Meta заявила, что её работа по борьбе с антисемитизмом не изменилась. Компания сообщила, что не отменяла специальных мер защиты и по-прежнему запрещает вредные стереотипы о евреях, отрицание Холокоста, поддержку организаций сторонников превосходства белой расы и опасных организаций. Также, по словам компании, запрещено использовать слово «сионист» как замену словам «евреи» или «израильтяне» в ненавистнических высказываниях.
Meta назвала доклад фактически неточным и искажающим её правила. Компания утверждает, что распространённость нарушений, связанных с ненавистническим поведением, с 2025 года остаётся стабильной, и заявляет, что продолжит принимать меры против публикаций, нарушающих правила.
Журналисты, проверившие выводы Nexus Project, получили похожие результаты. В поиске по слову «синагога» среди первых результатов было созданное ИИ видео: большая фигура, похожая на сатану, стояла в месте богослужения, была покрыта кровью, а вокруг неё праздновали еврейские мужчины. По запросу «еврей» появлялись многочисленные карикатурные изображения евреев, напоминавшие нацистскую пропаганду; их размещали аккаунты, посвящённые теориям заговора и ненависти. После ввода слова «евреи» Instagram предложил поискать «jews controll everything» — с ошибкой в слове «control», как указано в исходном запросе.
Поиск песни «Эрика» вывел на множество антисемитских публикаций. Среди них были созданные ИИ видео, где ученики и болельщики на школьном футбольном матче отдавали нацистское приветствие под эту песню. Некоторые аккаунты, распространявшие её, оставляли в описании ссылки на скачивание рингтонов «Эрики».
В совокупности видео, найденные по этим запросам, набрали миллионы просмотров. Когда журналисты вернулись к тому же аккаунту на следующий день, его лента была заполнена ещё большим количеством ненавистнических материалов.
По оценке Dataist, описанные проверки указывают на проблему, которая касается не только отдельных публикаций: рекомендации могут продолжать вести пользователей к похожему контенту после первого взаимодействия с ним. Meta оспаривает выводы доклада, поэтому в этой истории важно разделять заявления исследователей, результаты журналистской проверки и позицию компании.
Читайте также
Hugging Face и OpenRouter объединились, чтобы упростить запуск моделей с открытыми весами
TokenEconomizer учится на опыте, чтобы ИИ-агенты для программирования тратили меньше токенов
Новый ИИ-стартап Джордана Белфорта Tone хочет продавать как «Волк с Уолл-стрит»
Надёжный ИИ строят не на прогнозах, а на ограничениях
Claude создаёт интерактивные сайты прямо в графике на canvas, возвращая эпоху Flash с настоящим HTML
Audible использует ИИ, чтобы помочь слушателям находить аудиокниги
ИИ для компаний среднего бизнеса — не уменьшенная копия корпоративного ИИ
Исследование под эгидой ООН: модели ИИ «слабы и ненадёжны» в вопросах климатологии
Смогут ли роботы перенести операции при инсульте в удалённые больницы?
США ужесточают экспортный контроль над ИИ-чипами, чтобы не дать китайским компаниям удалённо получать доступ к вычислительным мощностям
Бывшие руководители Freshworks привлекли $53 млн, чтобы бросить вызов Salesforce и HubSpot с AI-Native CRM
Apple запустила приложение, чтобы изучить, как люди используют ИИ для здоровья
Индийский стартап Bharat Semi привлёк $24 млн на посевном раунде и метит на мировой рынок ИИ-сенсоров
Число сообщений о созданных ИИ материалах сексуального насилия над детьми выросло на 8 400% за два года — данные Childlight
Зачем Skydio создала беспилотник с асимметричной конструкцией
Один скомпрометированный MCP-сервер может заставить ИИ-агента злоупотреблять инструментами, которым вы уже доверяете
Claude Fable 5.2 от Anthropic не генерирует изображения, а рисует их
Резервный банк Австралии: ИИ сильнее всего сказывается на молодых работниках — особенно в IT и обслуживании клиентов
Эта ИИ-игрушка тамагочи превращает обычные вещи в капризных виртуальных питомцев
Meituan выпустила агентную модель на 1,6 трлн параметров, ни разу не задействовав GPU Nvidia
Ежедневные новости об ИИ
Каждый день отбираем важные новости об ИИ и рассказываем главное — без хайпа и воды. Если хотите понимать, что происходит в ИИ раньше остальных, — подписывайтесь.
Только важное — каждый день
В Telegram