Meta отказывается удалять ИИ-видео с тренерами, неприемлемо трогающими юных спортсменов, даже после жалоб пользователей

Ролики о тренерах и юных спортсменках

На Facebook размещено множество страниц с ИИ-видео, где тренеры неподобающим образом прикасаются к юным спортсменкам. Meta не удаляла такие страницы даже после жалоб пользователей.

В роликах тренеры — взрослые мужчины. Они появляются в спортзалах и танцевальных студиях, касаясь спортсменок в купальниках для гимнастики, которые занимаются гимнастикой, балетом и йогой. Все изображённые спортсменки — женщины или девочки. Их точный возраст не указан, но некоторые выглядят подростками; у отдельных героинь заметны брекеты.

Почти фотореалистичные ИИ-ролики часто изображают девушек сильно вспотевшими и тяжело дышащими. Тренеры проводят руками по их пояснице и внутренней поверхности бёдер, пока те тянутся или отрабатывают позы, ласкают и сжимают их тела, иногда похлопывают по ягодицам или груди. В некоторых видео взрослые мужчины прикасаются к гениталиям девушек поверх одежды. В других спортсменки сидят на коленях у тренеров или те целуют их в губы.

Девушки в роликах реагируют так, будто прикосновения — обычное дело: улыбаются и хихикают, пока происходит насилие.

Однако такие прикосновения ненормальны: от ненужных и неподобающих до явно насильственных. Они напоминают реальные случаи сексуального насилия и груминга, распространённые в показанных видах спорта и в женском спорте в целом.

Гимнастка и защитница безопасного спорта Ким Шор, консультирующая организацию Gymnasts for Change International, изучила множество страниц с такими ИИ-роликами и рассказала Futurism, что считает их материалами о насилии. По её словам, видео сексуализируют и нормализуют насильственные взаимодействия между тренерами и юными спортсменками в среде, где уже есть значительный дисбаланс власти. Особенно тревожно, что неподобающее или насильственное поведение легко представить как игривую, ласковую или полезную помощь тренера. По мнению Шор, это поддерживает представления, которые десятилетиями помогали насилию процветать в спорте.

Жалобы пользователей не сработали

Система модерации Facebook, однако, не сочла эти ролики нарушением правил Meta.

Журналисты с обычного аккаунта Facebook пожаловались на десять страниц, публиковавших такие видео, отметив категории «контент для взрослых» и «сексуальная эксплуатация». Через неделю Facebook сообщил, что восемь страниц не нарушают правила и останутся на платформе. Две другие исчезли, но неизвестно, связана ли их пропажа с жалобами.

Во всех восьми уведомлениях был одинаковый текст: компания использует технологии и проверяющих-людей, чтобы рассматривать жалобы и выявлять нарушения Норм сообщества; для единообразия ко всем жалобам применяются одни и те же правила. Facebook сообщил, что проверил страницы и не нашёл нарушений.

В сообщениях также говорилось, что Facebook понимает, почему увиденное может расстроить пользователя, и советует изучить доступные способы контролировать показываемый контент.

Некоторые ролики набирают более 100 000 просмотров. Их маскируют под обучающие видео, где тренер якобы помогает девушке улучшить технику.

В одном ролике мужчина говорит юной на вид балерине: «Держите бёдра ровно», — и перемещает руки к её интимным местам. Девушка спокойно отвечает, не вздрагивая: «Я стараюсь».

Другие страницы почти не скрывают сексуальный подтекст. Одна опубликовала почти 20 слегка различающихся версий одного ИИ-ролика: пожилой тренер остаётся наедине с гимнасткой в купальнике, которая выглядит не старше подростка. В комментариях к каждому ролику автор призывает перейти по ссылке на канал WhatsApp с ограниченным доступом — ещё одной платформы Meta — и обещает «самый красивый видеозвонок в любое время». На обложке другой страницы рука тренера лежит прямо на промежности юной гимнастки, выполняющей стойку на голове с разведёнными ногами.

Что обещают правила Meta

В правилах Meta для категории «Обнажение взрослых и сексуальная активность» запрещён контент с «предстоящей сексуальной активностью», в том числе позы, указывающие, что рука человека вот-вот коснётся гениталий или ануса другого человека.

Правила о «Сексуальной эксплуатации взрослых» запрещают материалы, в которых человек изображён обнажённым или почти обнажённым, участвует в сексуальной активности либо принимает сексуально откровенную позу. В правилах отдельно указано, что это относится и к цифровым изображениям, включая созданные ИИ.

В разделе о «Сексуальной эксплуатации, насилии и обнажении детей» Meta запрещает контент, который сексуализирует реальных или вымышленных детей. Это касается фотографий, видео, произведений искусства, цифрового контента и словесных описаний. Правила также запрещают стимуляцию гениталий или ануса, в том числе если она только должна произойти или не видна напрямую.

После обращения журналистов страницы удалили

Получив от Facebook сообщения о том, что ролики не нарушают Норм сообщества, журналисты написали в отдел по связям с прессой Meta. Они отправили ссылки на страницы и спросили, почему видео не нарушают правила компании.

Вскоре после этого все страницы исчезли. Несколько прежних уведомлений поддержки заменили новыми: Facebook сообщил, что удалил указанную страницу, поскольку она нарушала Нормы сообщества.

Meta заявила Futurism, что контент с изображением насилия или эксплуатации не должен находиться на её платформах — независимо от того, реалистичный он или создан ИИ. Компания добавила, что удалила эти страницы за нарушение правил.

Meta пересмотрела первоначальную оценку только после обращения журналистов. Это вызывает вопросы о работе модерации и о том, насколько эффективны инструменты жалоб для обычных пользователей. Почему компания применила другой подход к материалам после запроса журналиста, хотя обычные пользователи уже отправили жалобы через официальные каналы Facebook?

На вопрос о разнице между реакцией на жалобу пользователя и запросом СМИ Meta заявила, что продолжает бороться с материалами о насилии. Компания признала, что иногда что-то пропускает, но сообщила: в прошлом квартале она самостоятельно обнаружила и удалила 98% публикаций, связанных с угрозой детям, ещё до того, как на них пожаловались.

Facebook рекомендовал похожие ролики

После жалоб на страницы алгоритм рекомендаций Facebook начал показывать аккаунту, с которого отправляли обращения, множество похожих ИИ-видео. В них тренеры неподобающим образом трогали, целовали и лапали юных спортсменок. Это создаёт мрачное впечатление: у Meta есть технологии, способные распознавать такие ролики, но компания использует их, чтобы предлагать похожие материалы пользователям, которые уже с ними взаимодействовали.

Страницы часто публикуют по несколько почти одинаковых ИИ-роликов в день; некоторые набирают огромную аудиторию. В одном видео, которое Facebook предложил после заявления Meta, было более 176 000 просмотров всего через два дня после публикации.

«Мне очень понравилось занятие. Теперь я чувствую себя бодрой и воодушевлённой», — говорит в камеру девушка в розовом купальнике для гимнастики и таких же носках. Она стоит на одной ноге, подняв другую, пока седой тренер похлопывает её по гениталиям. В подписи к видео есть хештеги «#ballettok», «#ballerina» и «#balletmemes».

Трудно представить, что алгоритмы Meta не показывают такие ролики и юным спортсменкам. Они могут усвоить, что груминг и насилие — нормальная часть отношений с тренером, и оказаться в большей опасности реальной эксплуатации.

Шор заявила, что особенно тревожится за детей, которые могут решить: если с ними происходит что-то похожее, они должны терпеть, потому что подобное поведение принято в такой среде. Это может заставить их подавлять внутреннее понимание, что прикосновения взрослого недопустимы.

По словам Шор, спорт и без того учит детей мириться с физическим дискомфортом, например продолжать тренировки с травмами. Юных спортсменов приучают доверять тренерам, следовать инструкциям и считать физические прикосновения частью занятий. Эти изображения укрепляют опасную мысль, будто неподобающие прикосновения или сексуализированное поведение — обычная часть отношений тренера и спортсмена, а спортсмены должны это принимать, терпеть или даже быть благодарными за внимание.

Среди главных опасений Шор — что реальные насильники могут перенимать модели поведения из материалов о насилии, которые распространяются на Facebook.

Она считает, что такие ИИ-материалы становятся пособием по неподобающему поведению, особенно когда насильственные действия представлены как обычная тренерская практика или проявление заботы. Они могут подсказать взрослым, склонным злоупотреблять своим положением, как выдавать насилие за законную тренерскую работу, ласку или игру.

Шор подчеркнула, что этот контент существует не отдельно от спортивной среды. Спортсменов исторически приучали подчиняться авторитету; границы слишком часто размывались, а насилие преуменьшали или оправдывали. По её словам, эти материалы нормализуют поведение, с которым специалисты по защите спортсменов пытаются бороться десятилетиями.

Другие случаи и масштаб проблемы

Ранее Futurism сообщал, что Meta также отказывалась удалять ИИ-контент с изображением крайнего физического насилия над детьми. Кроме того, как писала Wired, компания не обнаружила сотни платных объявлений с реальными и созданными ИИ материалами о сексуальном насилии над детьми. В прошлом году Meta столкнулась с критикой после публикации Reuters о внутренних документах: согласно им, чат-ботам компании разрешалось вступать с детьми в «романтические или чувственные» беседы.

Женский и детский спорт известен как среда, где активно действуют насильники. В глобальном исследовании Всемирной ассоциации игроков за 2021 год говорится, что сексуальному насилию в спорте подвергаются 13% детей-спортсменов. Как тогда отмечал журнал TIME, реальная доля, вероятно, выше, поскольку о сексуальном насилии часто не сообщают.

На этом фоне ИИ-ролики Facebook, где взрослые мужчины используют близость к телам девочек и женщин, чтобы грумить, сексуализировать и эксплуатировать их, особенно отвратительны. То, что спортсменки в видео выглядят довольными происходящим, усиливает эффект нормализации и даже романтизации явно эксплуатационных взаимодействий.

Вместо того чтобы серьёзно выполнять обязанность по модерации платформы, Meta, похоже, действует по двум стандартам: отклоняет жалобы обычных пользователей, но быстро реагирует, когда возникает риск негативного внимания.