Классификатор и проверка изображений
Новый инструмент выявляет материалы сексуального насилия над детьми, в том числе созданные ИИ. Он анализирует изображения, которых раньше не встречал, ищет визуальные признаки насилия и выставляет оценку. Она помогает проверяющим определить, как поступить с изображением.
OpenAI разработала классификатор совместно с Национальным центром по поиску пропавших и эксплуатируемых детей (NCMEC). Компания также сотрудничает с Tech Coalition и ROOST, чтобы предоставить организациям доступ к инструменту. В ходе раннего тестирования с партнёрами классификатор обнаружил столько же изображений с насилием, что и прежние методы, но сократил число помеченных изображений на 48%. При этом среди изображений, отмеченных системой, вероятность обнаружить материалы с насилием была вдвое выше.
Предупреждения в ChatGPT
ChatGPT уже блокирует материалы сексуального насилия над детьми и запросы, связанные с ними. Теперь пользователи, которые пытаются отправить запросы, сексуализирующие детей, увидят предупреждение и ссылку на специализированную помощь, которая призвана остановить вредное поведение. Аккаунт нарушителя временно приостановят на 24 часа. За повторные нарушения его могут удалить без возможности восстановления.
Тексты предупреждений и рекомендации OpenAI подготовила вместе с организациями и исследователями. Среди них — Protect Children, Lucy Faithfull Foundation и Джоэл Скэнлан из Университета Тасмании. Скэнлан независимо оценивал испытания предупреждающих сообщений.
Рекомендации разработчикам и инструменты для полиции
OpenAI опубликовала рекомендации для разработчиков, использующих её инструменты. Они описывают, как предотвращать появление материалов сексуального насилия над детьми, обнаруживать их и помогать пользователям сообщать о таких материалах. По данным компании, ранние испытания помогли нескольким разработчикам внедрить средства защиты детей и зарегистрироваться для передачи сообщений о подобных материалах в NCMEC.
Правоохранительным органам OpenAI предоставляет функции на основе ИИ для расследований, связанных с безопасностью детей. В их числе — специальные плагины, инструменты расследования и анализ сложных массивов данных. Доступом управляют администраторы программы. Компания также обучает следователей и выдаёт им практическое руководство по применению ИИ.
Предыдущие претензии и изменения
OpenAI сталкивалась с несколькими исками, в которых компанию обвиняли в том, что её технологии вредят пользователям, особенно детям. Некоммерческая организация Common Sense Media назвала технологии OpenAI «неприемлемым риском» для подростков. Другие чат-боты на основе ИИ, в частности Grok, использовали для создания сексуализированных изображений людей без их согласия, в том числе детей.
За последние 12 месяцев OpenAI изменила свои технологии и правила безопасности: выпустила план по обеспечению безопасности, обновила правила использования контента, перенастроила модель для предотвращения генерации вредных материалов и представила специальную версию ChatGPT для подростков.
По оценке Dataist, новые меры охватывают сразу несколько этапов: выявление изображений, ограничение доступа в ChatGPT и поддержку внешних проверяющих и правоохранительных органов. Однако OpenAI сообщает о результатах классификатора только в рамках ранних испытаний с партнёрами, а доступ к инструменту пока предоставляется отдельным компаниям.
Читайте также
Google Maps теперь составляет маршруты поездок с актуальной информацией о каждой остановке
Член совета OpenAI предупреждает: через год люди могут быть мертвы или порабощены
GPT-6 Astra от OpenAI берётся за сложнейшую математическую задачу Стандартной модели на решётке
Экономисты в ужасе от того, что индустрия ИИ сделала с мировой экономикой
Албаниз присоединился к соглашению Трампа о защите цепочек поставок ИИ перед встречей лидеров на саммите Quad
Anthropic: главное в памяти ИИ-агента — знать, что забыть, а не сколько хранить
Генпрокурор Калифорнии подал в суд на OpenAI из-за инцидентов с вышедшим из-под контроля агентом
Google предупреждает: полностью автоматизированные кибератаки уже начались и скоро резко участятся
Дженсен Хуанг пытается вернуть себе контроль над Nvidia
OpenAI направит исследователей по безопасности изучать, как ИИ обходит защитные меры компании
Anthropic признаёт угрозы человечеству — но справится ли её система управления с этой задачей?
Moonshot AI переводит Kimi с программирования на науку: прогресс в тестах замедляется
Дженсен Хуанг, как утверждается, намеренно создавал дефицит видеокарт ради роста прибыли
Qwen4-Max от Alibaba конкурирует с Opus 5.5, GPT-6 и Kimi K3.1 Pro, предлагая гораздо более низкие цены
Доклад Nexus Project: алгоритм Instagram продвигает антисемитский контент
Hugging Face и OpenRouter объединились, чтобы упростить запуск моделей с открытыми весами
TokenEconomizer учится на опыте, чтобы ИИ-агенты для программирования тратили меньше токенов
Новый ИИ-стартап Джордана Белфорта Tone хочет продавать как «Волк с Уолл-стрит»
Надёжный ИИ строят не на прогнозах, а на ограничениях
Claude создаёт интерактивные сайты прямо в графике на canvas, возвращая эпоху Flash с настоящим HTML
Ежедневные новости об ИИ
Каждый день отбираем важные новости об ИИ и рассказываем главное — без хайпа и воды. Если хотите понимать, что происходит в ИИ раньше остальных, — подписывайтесь.
Только важное — каждый день
В Telegram