За последние несколько лет Meta глубоко внедрила ИИ в работу компании, а ленты пользователей Facebook и Instagram заполнились материалами, созданными алгоритмами. Значительная часть такого контента безвкусна или манипулятивна: его производят в больших объёмах, чтобы привлечь как можно больше зрителей и заработать на различных схемах монетизации.
Теперь некоторые ИИ-ролики стали настолько мрачными, что их трудно осмыслить. Расследование Futurism обнаружило огромное количество Facebook-аккаунтов, публикующих потоки видео с жестоким насилием над детьми. При этом Meta лишь формально делает вид, что старается их удалять.
На этих аккаунтах размещали ролики, где младенцев и маленьких детей:
В одном видео женщина кричит на маленькую девочку, требуя, чтобы та перестала плакать. Девочка со следами порезов и синяками на щеках и лбу сквозь слёзы просит не бить Ноя, а ударить вместо него её, пока рядом прячется другой ребёнок.
В другом ролике заметно грязный мальчик просит у женщины деньги на еду. После его просьбы дать хотя бы несколько долларов она дважды бьёт его по лицу. Мальчик падает на пол, из носа у него идёт кровь.
Ещё в одном видео мужчина капает горячим воском от горящей свечи на связанные руки мальчика. Ребёнок дёргается от боли и говорит, что ему больно.
Некоторые сцены отличаются пугающей конкретикой и, судя по всему, создаются массово с помощью повторяющихся промтов. В одних роликах ребёнку, которому нужен ингалятор, не дают им воспользоваться. В других детей с аллергией заставляют есть моллюсков. Встречаются видео, где взрослые высыпают змей и тараканов на плачущих детей. Во многих сценах чернокожих детей порют или избивают белые взрослые, пока те выполняют тяжёлую работу в декорациях, напоминающих колониальную Африку.
Ролики не вполне фотореалистичны, но заметно, что их создают с помощью передовых технологий, и смотреть на них тяжело. Многие зрители, иногда ставящие видео тысячи или даже десятки тысяч реакций, не понимают, что перед ними синтетический контент. Одни возмущаются, другие просят продолжение тревожного сюжета.
Под роликом, где женщина бьёт мальчика ремнём по лицу и оставляет кровавый след возле глаза, один пользователь назвал её психопаткой и написал, что она заслуживает сурового наказания.
Сначала журналисты рассчитывали составить полную карту аккаунтов, распространяющих видео с насилием над детьми. Но после нескольких дней проверки аккаунтов и роликов они продолжали находить сотни новых. Поток казался бесконечным: авторы публиковали материалы примерно с той же скоростью, с какой их удавалось обнаруживать.
Политика Meta в отношении насилия над детьми сформулирована неоднозначно. Она запрещает «видео или фотографии, изображающие реальное или нереальное несексуальное насилие над детьми, независимо от цели распространения», но делает исключения для произведений искусства, мультфильмов, фильмов и видеоигр из реального мира. В документе не уточняется, распространяются ли эти исключения на контент, созданный ИИ.
После того как Meta получила вопросы и примеры отвратительных роликов, компания ответила коротким заявлением: у неё действуют строгие правила против материалов, показывающих физический вред детям, независимо от того, реальное это видео или созданное ИИ, и такие ролики были удалены.
Meta давно не справляется с распространением проблемного контента на своих платформах. На этой же неделе Wired сообщил, что компания брала деньги с рекламодателей за размещение сотен рекламных объявлений приложений «nudify», создающих сексуальные изображения детей с помощью ИИ. В некоторых случаях использовались фотографии реальных несовершеннолетних, украденные из социальных сетей и фотобанков.
Журналисты передали Meta множество примеров видео с жестоким насилием над детьми и спросили, будет ли компания искать и удалять такие материалы упреждающе. Представитель Meta отказался давать комментарий для публикации и вместо этого отправил ссылку на страницу компании о системах автоматического удаления материалов с насилием над детьми. Приведённые там данные трудно интерпретировать: они не показывают, сколько именно роликов с жестоким обращением удаляется и были ли они созданы ИИ.
Представитель Meta также заявил, что во многих роликах сначала показывают насилие над ребёнком, а затем взрослый вмешивается и защищает его. Для многих примеров это действительно так. Однако такая схема выглядит как заранее подготовленная защита авторов от модерации или способ обойти ограничения генератора видео. Кроме того, массово выпускаемые ролики иногда превращаются в бессвязные сцены жестокости: насилие над детьми сменяется тем, что взрослые начинают бить друг друга.
Meta удалила большую часть роликов, на которые журналисты указали пресс-службе, но оставила другие. Среди них были:
Чтобы проверить, как Meta на практике модерирует подобный контент, журналисты пожаловались на восемь аккаунтов, распространявших созданные ИИ ролики с насилием над детьми.
Из восьми аккаунтов компания в итоге удалила только два. В одном случае сначала пришёл отказ в жалобе, но позднее решение пересмотрели и страницу удалили. Реакции пришлось ждать долго — более недели.
Meta присылала пользователям уведомление о том, что после проверки не нашла нарушений правил сообщества и поэтому оставляет страницу доступной.
Шесть аккаунтов, которые модераторы не удалили, публиковали многочисленные сцены жестокости: младенца били по лицу сковородой, девочку избивали бейсбольной битой, а ребёнка пинали. Журналисты решили пока не публиковать сами ролики. При этом они предложили представителям СМИ, которые готовят продолжение расследования, обратиться к ним за примерами, подтверждающими описанные факты.
Если бы Meta действительно стремилась упреждающе удалять материалы с насилием над детьми или выявлять их в момент загрузки, у компании, вероятно, были бы для этого возможности.
Источник: futurism.com
ИИ-системы также могли бы помочь с модерацией. Meta вложила сотни миллиардов долларов в создание «суперинтеллекта» и, по сообщениям СМИ, предлагала ведущим специалистам отрасли более миллиарда долларов за переход в компанию. В прошлом году гендиректор Meta Марк Цукерберг говорил, что тот, кто первым достигнет этой цели, получит долгосрочное преимущество при создании одного из самых значимых продуктов в истории.
Технологии для автоматической модерации таких видео уже существуют. В ходе простого тестирования журналисты обнаружили, что ИИ Anthropic Claude хорошо определяет, есть ли в роликах изображения насилия над детьми.
Похоже, Meta уже использует системы, способные находить подобные материалы, но не применяет их для модерации на своих платформах. Журналисты обнаружили подавляющее большинство подозрительных аккаунтов, просто открыв один из них и пролистав рекомендации Facebook. Сервис охотно подсовывал бесконечную ленту похожих отвратительных роликов.
У Meta есть значительные ресурсы, чтобы удалять видео с насилием над детьми или не допускать их публикации. Но даже после прямых обращений журналистов и жалоб обеспокоенных пользователей компания медлит и отказывается удалять часть материалов. Это продолжает привычную для Meta практику: компания заявляет, что заботится о злоупотреблениях на своих платформах, но делает мало, чтобы их остановить.
После того как журналисты изложили Meta эту позицию, последние ролики, на которые они указали пресс-службе, наконец исчезли из Facebook. При этом неизвестное количество подобных материалов по-прежнему остаётся доступным.
В финальном коротком заявлении компания сообщила, что не все переданные ссылки нарушают её правила, и попросила не утверждать в публикации, что это так.
Ежедневные новости об ИИ
Каждый день отбираем важные новости об ИИ и рассказываем главное — без хайпа и воды. Если хотите понимать, что происходит в ИИ раньше остальных, — подписывайтесь.
Только важное — каждый день
В Telegram