OpenAI добавит водяные знаки к текстам ChatGPT в ЕС, но для пользователей API по всему миру оставит их необязательными

По сообщениям, Закон ЕС об ИИ требует от поставщиков ИИ обозначать созданный текст в машиночитаемом формате. OpenAI разработала для этого textGrain: технология добавляет невидимый статистический сигнал в выбор слов модели. Принцип похож на SynthID для текста от Claude, который использует открытую технологию Google.

В ближайшие недели OpenAI включит водяные знаки для пользователей ChatGPT и Codex в Евросоюзе. Для клиентов API по всему миру маркировка будет добровольной. Anthropic, напротив, обязательно маркирует тексты Claude во всём мире независимо от способа доступа к модели. Маркировка OpenAI также станет доступна через облачных партнёров, включая Microsoft Azure.

Правки снижают точность обнаружения

OpenAI сообщает, что во внутренних испытаниях textGrain не уступала другим подходам и превосходила их, в том числе SynthID от Google. Компания также планирует открыть исходный код технологии, чтобы другие могли развивать её.

Результат обнаружения зависит от длины текста и его содержания. Если настроить детектор на долю ложных срабатываний в 1%, он выявляет водяной знак примерно в 95% отрывков о психологии длиной 400 токенов. Для текстов длиной 200 токенов этот показатель снижается примерно до 80%.

В математических текстах точность заметно ниже: как объясняет OpenAI, у модели меньше свободы при выборе слов. Более длинный текст может усилить статистический сигнал и облегчить обнаружение, но результат всё равно может зависеть от содержания. OpenAI не приводит данных, которые подтверждали бы это предположение.

Обнаружение во многом зависит от длины текста и его тематики. В отрывках по психологии объёмом 400 токенов, то есть примерно 300 слов, детектор распознаёт около 94 процентов водяных знаков, а в отрывках по математике — лишь около 60 процентов

Источник: the-decoder.com

Изменение текста тоже затрудняет обнаружение водяного знака. По данным OpenAI, замена всего 10% слов синонимами снижает точность для отрывков длиной 400 токенов примерно с 92% до 66%. Если заменить четверть слов, показатель падает до 17% — такой знак легко обойти. Эта уязвимость может сыграть OpenAI на руку: если её водяные знаки будет проще удалять, пользователи, не желающие раскрывать использование ChatGPT, могут перейти на модели с открытыми весами.

Даже незначительное редактирование резко снижает частоту обнаружения. Замена 25 процентов слов снижает её до уровня ниже 20 процентов даже в отрывках объёмом 400 токенов

Источник: the-decoder.com

В техническом отчёте подробно объясняется работа textGrain. Anthropic не публиковала данные о точности обнаружения водяного знака Claude, хотя утверждает, что система хорошо переносит правки.

OpenAI заявляет, что водяные знаки не ухудшают качество ответов. Компания приводит результаты испытаний своей передовой модели Astra: на восьми бенчмарках, включая GPQA Diamond, BrowseComp и DeepSWE, существенной разницы между режимами с маркировкой и без неё не обнаружили. Однако эти результаты не показывают, влияет ли технология на качество письма. Критики задавали похожий вопрос и о водяном знаке Claude.

По словам OpenAI, обнаруженный знак не показывает, сколько человеческого творчества или редактуры вложено в текст. Он также не устанавливает авторство и ответственность, не раскрывает личность пользователя и не подтверждает точность текста. Если водяной знак не найден, это тоже не доказывает, что текст написал человек: отрывок мог быть слишком коротким, отредактированным или переведённым, а также созданным моделью, которую детектор не поддерживает.

Доступ к детектору пока ограничат

Сначала доступ к детектору textGrain получат только отдельные исследователи и профильные организации. Подать заявку можно через специальную форму. OpenAI будет предоставлять доступ в индивидуальном порядке в соответствии с Кодексом практики ЕС. Anthropic действует похожим образом со своим API для обнаружения водяных знаков.

Детектор сообщит только, обнаружил ли он водяной знак OpenAI. Он не будет определять пользователей или раскрывать их промты и переписки.

OpenAI ограничивает доступ, поскольку детектор может принять текст без маркировки за отмеченный или не заметить настоящий водяной знак. Компания намерена расширить доступ, когда сочтёт, что результаты можно ответственно интерпретировать. Когда именно это произойдёт, OpenAI не уточнила.

Существующие средства проверки изображений и аудио по-прежнему доступны всем: openai.com/verify и Content Provenance API.