i
Новости
Новости · 2026-11-17

OpenAI выпустила классификатор изображений и предупреждения в ChatGPT для борьбы с материалами сексуального насилия над детьми

Dataist Dataist

OpenAI представила набор мер против материалов сексуального насилия над детьми, созданных или распространяемых с помощью ИИ. В него вошли классификатор изображений, бесплатный доступ к которому через API получат отдельные компании, предупреждения и временная блокировка в ChatGPT, рекомендации для разработчиков и инструменты для правоохранительных органов. В ходе ранних испытаний классификатор находил столько же изображений с насилием, но помечал на 48% меньше изображений; среди помеченных вдвое чаще оказывались материалы с насилием.

Обложка: OpenAI выпустила классификатор изображений и предупреждения в ChatGPT для борьбы с материалами сексуального насилия над детьми

Классификатор и проверка изображений

Новый инструмент выявляет материалы сексуального насилия над детьми, в том числе созданные ИИ. Он анализирует изображения, которых раньше не встречал, ищет визуальные признаки насилия и выставляет оценку. Она помогает проверяющим определить, как поступить с изображением.

OpenAI разработала классификатор совместно с Национальным центром по поиску пропавших и эксплуатируемых детей (NCMEC). Компания также сотрудничает с Tech Coalition и ROOST, чтобы предоставить организациям доступ к инструменту. В ходе раннего тестирования с партнёрами классификатор обнаружил столько же изображений с насилием, что и прежние методы, но сократил число помеченных изображений на 48%. При этом среди изображений, отмеченных системой, вероятность обнаружить материалы с насилием была вдвое выше.

48%меньше помеченных изображений
Вдвоевыше вероятность насилия

Предупреждения в ChatGPT

ChatGPT уже блокирует материалы сексуального насилия над детьми и запросы, связанные с ними. Теперь пользователи, которые пытаются отправить запросы, сексуализирующие детей, увидят предупреждение и ссылку на специализированную помощь, которая призвана остановить вредное поведение. Аккаунт нарушителя временно приостановят на 24 часа. За повторные нарушения его могут удалить без возможности восстановления.

Тексты предупреждений и рекомендации OpenAI подготовила вместе с организациями и исследователями. Среди них — Protect Children, Lucy Faithfull Foundation и Джоэл Скэнлан из Университета Тасмании. Скэнлан независимо оценивал испытания предупреждающих сообщений.

Рекомендации разработчикам и инструменты для полиции

OpenAI опубликовала рекомендации для разработчиков, использующих её инструменты. Они описывают, как предотвращать появление материалов сексуального насилия над детьми, обнаруживать их и помогать пользователям сообщать о таких материалах. По данным компании, ранние испытания помогли нескольким разработчикам внедрить средства защиты детей и зарегистрироваться для передачи сообщений о подобных материалах в NCMEC.

Правоохранительным органам OpenAI предоставляет функции на основе ИИ для расследований, связанных с безопасностью детей. В их числе — специальные плагины, инструменты расследования и анализ сложных массивов данных. Доступом управляют администраторы программы. Компания также обучает следователей и выдаёт им практическое руководство по применению ИИ.

Предыдущие претензии и изменения

OpenAI сталкивалась с несколькими исками, в которых компанию обвиняли в том, что её технологии вредят пользователям, особенно детям. Некоммерческая организация Common Sense Media назвала технологии OpenAI «неприемлемым риском» для подростков. Другие чат-боты на основе ИИ, в частности Grok, использовали для создания сексуализированных изображений людей без их согласия, в том числе детей.

За последние 12 месяцев OpenAI изменила свои технологии и правила безопасности: выпустила план по обеспечению безопасности, обновила правила использования контента, перенастроила модель для предотвращения генерации вредных материалов и представила специальную версию ChatGPT для подростков.

По оценке Dataist, новые меры охватывают сразу несколько этапов: выявление изображений, ограничение доступа в ChatGPT и поддержку внешних проверяющих и правоохранительных органов. Однако OpenAI сообщает о результатах классификатора только в рамках ранних испытаний с партнёрами, а доступ к инструменту пока предоставляется отдельным компаниям.

Google Maps теперь составляет маршруты поездок с актуальной информацией о каждой остановке Член совета OpenAI предупреждает: через год люди могут быть мертвы или порабощены GPT-6 Astra от OpenAI берётся за сложнейшую математическую задачу Стандартной модели на решётке Экономисты в ужасе от того, что индустрия ИИ сделала с мировой экономикой Албаниз присоединился к соглашению Трампа о защите цепочек поставок ИИ перед встречей лидеров на саммите Quad Anthropic: главное в памяти ИИ-агента — знать, что забыть, а не сколько хранить Генпрокурор Калифорнии подал в суд на OpenAI из-за инцидентов с вышедшим из-под контроля агентом Google предупреждает: полностью автоматизированные кибератаки уже начались и скоро резко участятся Дженсен Хуанг пытается вернуть себе контроль над Nvidia OpenAI направит исследователей по безопасности изучать, как ИИ обходит защитные меры компании Anthropic признаёт угрозы человечеству — но справится ли её система управления с этой задачей? Moonshot AI переводит Kimi с программирования на науку: прогресс в тестах замедляется Дженсен Хуанг, как утверждается, намеренно создавал дефицит видеокарт ради роста прибыли Qwen4-Max от Alibaba конкурирует с Opus 5.5, GPT-6 и Kimi K3.1 Pro, предлагая гораздо более низкие цены Доклад Nexus Project: алгоритм Instagram продвигает антисемитский контент Hugging Face и OpenRouter объединились, чтобы упростить запуск моделей с открытыми весами TokenEconomizer учится на опыте, чтобы ИИ-агенты для программирования тратили меньше токенов Новый ИИ-стартап Джордана Белфорта Tone хочет продавать как «Волк с Уолл-стрит» Надёжный ИИ строят не на прогнозах, а на ограничениях Claude создаёт интерактивные сайты прямо в графике на canvas, возвращая эпоху Flash с настоящим HTML

Ежедневные новости об ИИ

Каждый день отбираем важные новости об ИИ и рассказываем главное — без хайпа и воды. Если хотите понимать, что происходит в ИИ раньше остальных, — подписывайтесь.

Только важное — каждый день

В Telegram