Pangram стала золотым стандартом выявления ИИ-текстов. Стоит ли ей доверять?

Pangram обещает определить, какая доля ИИ использовалась при создании любого текста. Сервис выдаёт предположительный процент — разумеется, тоже с помощью ИИ.

В январе на Reddit и YouTube начали обсуждать, могла ли писательница Mia Ballard использовать ИИ при создании романа Shy Girl. Книгу, самостоятельно выпущенную Ballard, собиралось издать традиционное издательство Hachette. Писательница отрицала использование ИИ, однако генеральный директор Pangram опубликовал в X оценку: 78% текста якобы сгенерировано машиной. Позже Hachette отменила выпуск.

За этим последовали новые обвинения:

В конце июля Substack объявила, что встраивает Pangram в свою платформу. Читатели должны получить возможность быстро проверять, мог ли текст быть создан с помощью ИИ.

Как компания вышла на рынок

Не все авторы считают такую проверку полезной. Писательница и эксперт по книгоизданию Jane Friedman говорит, что к сервисам обнаружения ИИ многие относятся с отвращением и злостью, считая их порой такими же или даже более опасными, чем сами компании, разрабатывающие ИИ.

За пределами издательского дела и высшего образования Pangram пока мало известна, однако спрос на различение человеческого текста и массово создаваемых материалов LLM растёт. Поэтому возникает вопрос, насколько можно доверять самой компании.

30-летний сооснователь и генеральный директор Pangram Max Spero подключился к разговору по Google Meet с телефона: в одной руке у него была коробка с едой, а на фоне виднелись небоскрёбы. Он предупредил, что спешит домой, и пообещал перезвонить. Через десять минут Spero появился уже в своей квартире в Бруклине. По его словам, всё утро он проводил собеседования.

В июле Pangram привлекла $9 млн и представила новую модель Pangram 4. На сайте компании было опубликовано шесть вакансий. Если их закрыть, штат вырастет на 25%.

На вопрос о детстве в Калифорнии Spero отвечал заметно менее уверенно. Технические детали Pangram давались ему проще, чем личные вопросы и разговоры о литературных скандалах вокруг компании.

Spero рассказал, что вырос в пригороде Лос-Анджелеса La Crescenta, увлекался программированием и входил в школьную команду по робототехнике. В Стэнфорде он познакомился с Bradley Emi, который впоследствии стал его сооснователем.

После университета Spero работал в Google над FLoC — технологией, призванной заменить сторонние файлы отслеживания группировкой пользователей Chrome по интересам. Google закрыла FLoC в 2022 году после претензий, связанных с конфиденциальностью.

Затем Spero перешёл в компанию по разработке автономных автомобилей Nuro. Emi тем временем успел поработать в Tesla и биотехнологической компании Absci, использующей ИИ.

После выхода ChatGPT в 2022 году партнёры увидели возможность для бизнеса в подготовке к будущему, где будет много материалов, созданных ИИ. В 2023 году они основали Checkfor.ai, а год спустя переименовали компанию в Pangram.

К тому моменту на рынке обнаружения ИИ-текста уже работали как минимум 12 компаний, среди них Originality.ai, GPTZero и Turnitin. Pangram хорошо показала себя в нескольких ранних независимых проверках и вышла в число лидеров.

Во время интервью ответы Spero звучали прерывисто — и дело было не только в еде. На вопрос о принципах найма он пробормотал «хм», отвернулся и без извинений пошёл разогревать обед. Пятнадцать секунд собеседник молчал. Вернувшись к камере, Spero сказал, что в среднем люди приходят в Pangram, потому что их интересует миссия компании.

Что проверяет Pangram

Для обнаружения текста ИИ Pangram использует метод «синтетического зеркалирования». Сначала компания берёт человеческий текст и просит LLM создать его близкую копию. Так модель учится распознавать особенности машинного письма.

Второй метод называется «поиск трудных отрицательных примеров». Pangram ищет в наборах данных тексты, которые ошибочно принимаются за созданные ИИ, синтетически зеркалирует их и добавляет в обучающую выборку. Ошибки используются для дальнейшего переобучения модели.

Spero утверждает, что все наборы данных Pangram используются на законных основаниях. По его словам, это отчасти связано с тем, что сервис компании требует намного меньше данных, чем ChatGPT или Claude.

Сейчас Pangram работает с несколькими отраслями:

Именно художественное письмо составляет крупнейшее направление обучающих текстов компании.

История с Shy Girl

Именно история с Shy Girl сделала Pangram заметной. До этого Spero уже публиковал в социальных сетях сообщения о предполагаемом использовании ИИ. Поэтому в январе его отметили в публикации на Reddit и отправили ему файл с рукописью Ballard.

Spero утверждает, что загрузил файл в Pangram, опубликовал результат, а позже The New York Times попросила его прокомментировать ситуацию. Он также считает, что значение Pangram в истории с Shy Girl преувеличивают.

Однако события развивались иначе. С рукописью общался не сам Spero напрямую: сотрудник Pangram, отвечавший за работу с клиентами, обсудил историю с аналитиком издательской отрасли, а тот уже передал информацию The New York Times.

Выяснилась и другая деталь. Критики Pangram, в том числе расследовательский проект The Drey Dossier, указали, что копия рукописи у Spero была скачана с пиратского сайта.

На вопрос об этом Spero ответил, что действительно не стал внимательно изучать происхождение файла: он не прочитал весь документ, а сразу загрузил его в Pangram.

После этого компания продолжила участвовать в спорных историях. Когда лауреат Commonwealth Short Story Prize получил высокий результат проверки Pangram, сервис проанализировал всех победителей конкурса начиная с 2012 года и указал ещё на три возможных случая использования ИИ.

При этом Spero преуменьшает влияние оценок Pangram на отмену книжных контрактов. По его словам, насколько ему известно, результат сервиса никогда не был единственной причиной расторжения сделки: он учитывался, но составлял лишь небольшую часть более широкой картины.

Интеграция с Substack

Говоря об интеграции Pangram с Substack, Spero заявил, что авторам не следует бояться раскрывать использование ИИ: работа должна оставаться качественной и интересной читателю независимо от способа создания.

Затем он замолчал, подбирая формулировку, и вспомнил собственную недавнюю публикацию в X. По смыслу его тезис сводился к следующему: если ценность текста зависит от того, что читатель ошибочно считает его написанным человеком, это становится проблемой.

Substack не раскрыла подробности партнёрства с Pangram и не сообщила, платит ли компании за каждую проверку. Представитель платформы объяснил, что Substack не занимает позицию «против ИИ», а лишь считает, что читатель должен понимать, какие материалы он читает.

Некоторые авторы относятся к интеграции настороженно. Один из собеседников отметил, что одним нажатием кнопки можно уничтожить целую карьеру.

Как издатели используют проверку

Книгоиздание, известное медленным темпом работы, долго не вырабатывало подход к ИИ. При этом ИИ используют всё больше авторов, издателей и литературных агентов.

В прошлом году Gotham Ghostwriters опросила 1 481 работающего писателя:

Ранее в этом году Tuhin Chakrabarty, доцент компьютерных наук в Stony Brook University, с помощью Pangram проверил 14 419 самостоятельно изданных романов. Почти у 20% книг были высокие показатели обнаружения ИИ. Рабочую статью Chakrabarty широко цитировали, а её данные стали исходным материалом для обвинений в адрес Daggermouth.

Автор запроса обратился к пяти крупнейшим издательствам с вопросом об использовании средств обнаружения ИИ. Simon & Schuster и HarperCollins отказались от комментариев, Hachette и Macmillan не ответили.

Представитель Penguin Random House подтвердил, что редакторы могут применять одобренные инструменты обнаружения ИИ как дополнительный способ выявить возможный машинный текст. При этом такие инструменты не считаются решающими и остаются лишь одной частью более широкого редакционного процесса.

Некоторые агенты тоже используют Pangram. По словам Jane Friedman, публичные случаи отмены книжных сделок — лишь часть происходящего: обычно агенты ничего не сообщают.

Связи Pangram с исследователями и агентами

Chakrabarty впервые узнал о Pangram из публикации Spero в конце 2024 года. После регистрации Spero предоставил ему средства доступа к API. Со временем они стали близкими друзьями, а Pangram продолжила выдавать Chakrabarty средства доступа для поддержки его исследований.

Исследователь публикует результаты проверок Pangram в социальных сетях и регулярно защищает компанию. После скандалов вокруг использования ИИ он встречался с издателями и обсуждал с ними обнаружение машинного текста.

При этом Chakrabarty считает, что Pangram не должна становиться единственным источником решения. По его мнению, собственная оценка человека в сочетании с результатом Pangram может быть полезной.

Chakrabarty состоит в отношениях с Todd Shuster, содиректором Aevitas — крупного нью-йоркского литературного агентства. Именно он предложил Shuster встретиться с представителями Pangram.

Shuster говорит, что почти сразу после этого агентство столкнулось с необходимостью обсуждать с авторами результаты проверок: Pangram показывала от 50 до 95% машинного текста. Теперь Shuster использует сервис для анализа рукописей и книжных предложений.

Кроме того, он консультирует Pangram и знакомит её представителей с издателями. По словам Shuster, одни авторы после обвинений начинают защищаться или, кажется, скрывают правду, а другие прямо рассказывают о том, как использовали ИИ. В некоторых случаях Shuster просил переписать текст собственным голосом и изложить в нём собственные идеи.

Ошибочные срабатывания и предвзятость

Критики Pangram указывают на две основные проблемы: ущерб от ошибочных обвинений и возможную предвзятость, заложенную в машинном обучении.

Sam Illingworth, профессор критической грамотности в области ИИ в Edinburgh Napier University, считает, что средства обнаружения ИИ в целом не работают должным образом и могут быть предвзятыми по отношению к определённым людям.

Одно исследование показало, что такие системы чаще принимают тексты авторов, для которых английский не является родным языком, за созданные ИИ. Нейроотличающиеся писатели также заявляли, что их особенности письма непропорционально часто становятся причиной срабатываний.

Это исследование проводилось до появления Pangram, а Spero ссылается на внутренние данные компании, которые, по его словам, опровергают такой вывод.

Три упомянутых ранее романа — Shy Girl, Daggermouth и Call Me, I’ll Hide the Body — стали крупнейшими скандалами вокруг обнаружения ИИ в издательском деле. Все они написаны авторами, относящимися к расовым меньшинствам.

Два автора не ответили на запрос, ещё один отказался от комментариев из-за юридических рисков. Regina Brooks, афроамериканка и президент Association of American Literary Agents, считает, что отрасли необходимо внимательнее относиться к неравенству. То, чьи тексты проверяют и кого публично обвиняют, определяется людьми, а значит, подвержено человеческой предвзятости.

В некоторых случаях, когда писатели заявляли о несправедливом обвинении, Spero предлагал денежное вознаграждение тому, кто докажет, что написал текст самостоятельно. По его словам, он делал это, когда почти наверняка считал человека лжецом. Но если автор говорил правду, компании было важно узнать об ошибке.

Пока никто не принял такое предложение.

Как Pangram можно обмануть

Chakrabarty признаёт, что Pangram можно обмануть. Некоторые авторы специально меняли текст или, наоборот, писали в манере ИИ, чтобы вызвать ложное срабатывание.

В новой рабочей статье Notre Dame под названием «Почему обнаружение ИИ не работает для академической добросовестности» говорится, что модель Pangram 3.2 принимала лёгкое редактирование академических аннотаций с помощью ИИ за полностью машинный текст в 64–80% случаев.

Однако после обработки созданного ИИ текста «очеловечивателем» — инструментом, который делает машинный текст более похожим на человеческий, — Pangram обнаруживала его менее чем в 4% случаев.

Компания сама предупреждает, что хуже работает с короткими фрагментами, особенно если в них меньше 100 слов. Это имеет значение для бесплатной версии Pangram: она предоставляет ограниченное число средств доступа в день, что соответствует примерно 2 000 слов. Медианный объём одного загружаемого текста составляет 350 слов.

Pangram также признаёт, что один и тот же фрагмент может получить разные оценки в зависимости от того, проверяют ли его отдельно или внутри более длинного текста. Именно так может произойти, если короткий отрывок скопировали из романа и загрузили отдельно.

Новая модель Pangram, по данным компании, ошибочно помечает человеческий текст лишь в 0,0041% случаев. Ранее сообщавшийся показатель составлял 0,01%.

Spero утверждает, что сервис, наоборот, действует осторожно: если текст находится на пограничной зоне, Pangram предпочитает объявить его написанным человеком. Это решение помогает снизить число ложных срабатываний, но позволяет большему количеству машинных текстов остаться незамеченными.

По оценке Pangram, эссе, написанные человеком и затем сильно переработанные ИИ, в 41,37% случаев всё ещё определяются как человеческие.

Новая стратегия компании

Во время разговора Spero несколько раз открывал публикации в социальных сетях, чтобы пояснить свои мысли, и с такой скоростью вставлял их в окно переписки, что возникал вопрос: не работает ли где-то рядом его собственная система ИИ.

По словам журналиста и бывшего подрядчика Pangram Rod Breslau, Spero постоянно находится в сети и отвечает на сообщения в X, Reddit и LinkedIn.

В начале года Breslau сам предложил ему свои услуги в качестве «атакующего игрока»: он устал наблюдать, как ИИ-тексты заполняют социальные сети. В Pangram он консультировал компанию по стратегии в социальных сетях и помогал организовывать интервью для Spero. Кроме того, Breslau просматривал интернет с расширением Pangram и публично обвинял предполагаемых пользователей ИИ.

Он объяснил, что хотел действовать жёстче, поскольку считал, что люди слишком легко отделываются за использование машинного текста.

Позже Pangram прекратила сотрудничество с Breslau, в том числе потому, что изменила стратегию. Теперь компания ожидает, что использование ИИ станет более приемлемым.

Spero, похоже, больше не стремится преследовать каждого пользователя ИИ. Однако, по его словам, Pangram будет активно высказываться в случаях, когда авторы вводят читателей в заблуждение.

Компания также планирует научиться выявлять ИИ даже при лёгком редактировании текста. Spero описывает направление развития так: повысить детализацию, улучшить описание результата и предоставить конечным пользователям больше информации.

В перспективе Pangram хочет стать главным судьёй оригинальности для разных сфер — издательского дела, образования и других отраслей.

Прозрачность как стратегия

Сейчас в небольшой команде Pangram работают бывшие преподаватели и один специалист с опытом в издательском деле. Представитель компании также сообщил, что один из исследователей имеет диплом по английской литературе.

В адрес авторов, которых обвиняли в использовании ИИ, звучали намёки на возможные иски о клевете. На вопрос о судебных разбирательствах Spero ответил, что, насколько ему известно, ничего подобного пока не произошло.

Он планирует и дальше публиковать технические отчёты о моделях Pangram и их обучении. По словам Spero, поскольку остальные игроки рынка остаются «чёрными ящиками», компания хочет завоёвывать доверие прозрачностью, рассказывать о своей работе открыто и как можно активнее общаться с сообществом в интернете.

Вывод

Во время разговора Spero выглядел не полностью вовлечённым: он ходил по квартире, переносил ноутбук из гостиной к окну с комнатными растениями, а затем на кухню. Иногда его лицо наполовину исчезало из кадра. Он надевал наушники и снова снимал их, а во время обсуждения обучения модели тихо отрыгнул.

Причины такого поведения могли быть разными: усталость, занятость или привычка к многочисленным интервью. Но по часовому разговору нельзя надёжно судить о человеке.

Pangram пытается свести все оттенки, переменные и неизвестные человеческой коммуникации к одному числу. Однако люди устроены значительно неоднозначнее.