Исследователи выявили шесть особенностей ИИ-текста, из-за которых его тяжело читать

Люди, которые регулярно пользуются ChatGPT, Claude и другими языковыми моделями, могут замечать: ответы часто верны по фактам, но читать их трудно. В них встречаются вложенные предложения, странные сочетания слов и метафоры, которые едва ли использовал бы человек.

Чтобы проверить это наблюдение, исследователи проанализировали ответы моделей в повседневных диалогах, сессиях программирования и полемических эссе. Всего в исследование вошли 120 диалогов, 45 сессий программирования и 980 эссе. Результаты сравнили с человеческими текстами: субтитрами к фильмам, публикациями на StackExchange и студенческими эссе.

Шесть привычек, затрудняющих чтение

Модели слишком часто используют необычные сочетания слов, редко встречающиеся в человеческой речи, например «бюджет терпения читателя». Ещё они могут далеко разносить связанные части предложения, нагружая рабочую память. Claude Opus 5, например, выдала фразу: «Кот, который всегда может встать и уйти, гораздо спокойнее», где подлежащее и основное сказуемое разделены длинной конструкцией.

Другая привычка — опускать связующее слово в коротких отсылках. Вместо «книга, которую написал профессор» модель может написать «книга, профессор написал», убрав одно слово, но на мгновение запутав читателя. А цепочки существительных вроде «генератор саундтреков к фильмам ужасов» заставляют самостоятельно выяснять, какое слово к чему относится.

Модели также превращают существительные в глаголы там, где люди так обычно не говорят. Claude Fable 5 написала «запланируй это в календарь» в форме «покалендарь это» — по-английски calendar it. Кроме того, модели приписывают неодушевлённым предметам действия живых существ. Claude Opus 5 написала: «Весь разговор пожирает собственный хвост», хотя у разговора нет хвоста и он не может есть. Смысл понять можно, но для этого приходится сделать паузу.

Шесть языковых конструкций, которые модели ИИ чрезмерно часто используют; каждая показана на примере из набора данных исследования

Источник: the-decoder.com

Небольшие модели пишут ближе к людям

Ближе всего к человеческим текстам оказались Llama и базовая модель Olmo. В семействе Olmo показатели постепенно растут от базовой версии к варианту Instruct, а затем к модели рассуждений Olmo Think, которая достигает уровня передовых моделей. Это указывает на то, что причина может быть в последующем обучении.

Claude Opus 5.5 превзошла предыдущую Opus 5 в 19 из 21 сравнения. Результат говорит о том, что целевой файн-тюнинг может улучшать читаемость.

Насколько каждая модель отклоняется от человеческого текста (пунктирные линии) по шести измеряемым признакам — сильно различается в зависимости от семейства моделей и области применения

Источник: the-decoder.com

Обучение поощряет плотность, а не ясность

Человеческая речь сочетает удобство формулировки с удобством понимания. Но современные языковые модели всё чаще обучают на задачах по математике, программированию и логическим рассуждениям, где поощряется правильность, а ясность остаётся без награды, отмечают исследователи.

По их мнению, переход от RLHF — обучения с подкреплением на основе отзывов людей — к RLVR, обучению с подкреплением на основе проверяемых наград, полностью исключает человека из цикла обратной связи. В результате у моделей складывается своего рода «диалект»: он хорошо подходит для сжатой передачи информации и решения сложных задач, но хуже воспринимается людьми.

Для проверки этой идеи исследователи обучили небольшую языковую модель, добавив штраф за длину ответа. При определённых настройках модель почти всегда предпочитала короткие формулировки, независимо от контекста. Она перенесла эту привычку и на речевые конструкции, которых не встречала при обучении. Люди же выбирали короткий или длинный вариант в зависимости от ситуации.

Похожее объяснение недавно предложил Джексон Кернион из Anthropic, работающий над файн-тюнингом Claude. Он рассказал, почему Opus 4.6 стала последней хорошей «моделью для письма» Anthropic. По его словам, настройка новых моделей на математику, программирование и технические объяснения для других моделей ИИ привела Claude к стилю, который удобен для ИИ, но кажется людям слишком плотным и неестественным. Кернион назвал это приспособлением к «психологии больших языковых моделей».

С выпуском Opus 5.5 Anthropic впервые попыталась изменить этот подход: компания занялась ясностью предложений и перегруженными блоками информации. Результаты исследования показывают, что эта работа улучшила читаемость.