Инженер Anthropic объяснил, почему Claude стал хуже писать, хотя поумнел

Кернион связывает проблему с тем, как устроено обучение с подкреплением. Одни награды поощряют понятность ответа для ИИ-моделей, другие — для людей. Чем больше модель обучают математике и программированию, тем активнее разработчикам приходится компенсировать этот перекос и отдельно поощрять простые объяснения, понятные человеку.

Как Claude научился писать для ИИ-моделей

Новые ИИ-модели быстро улучшаются в математике, программировании и рассуждениях. С качеством текста ситуация другая: оно перестало расти или даже ухудшилось.

Джексон Кернион недавно рассказал, почему Opus 4.6 считает последней хорошей «моделью для письма» от Anthropic. Частично причина ожидаема: последующие версии сильнее оптимизировали под математику и программирование.

Но модели также обучали создавать технические объяснения, рассчитанные на другие ИИ-модели. Именно это, по мнению Керниона, сильнее всего повлияло на необычную манеру Claude. Модель «адаптировали к психологии больших языковых моделей» — она научилась писать для ИИ-моделей, а не для людей.

Кернион сравнивает это с людьми, которые общаются только с другими аутичными людьми. Внутри такой группы постепенно формируется стиль, удобный для её участников, но трудный для понимания со стороны. У больших языковых моделей рабочая память значительно больше человеческой, и они улавливают детали на гораздо более тонком уровне. Поэтому во время обучения возникает стиль, хорошо подходящий ИИ-моделям, но воспринимаемый людьми как перегруженные информацией блоки текста.

Оптимизация программирования ухудшает естественный язык

По словам Керниона, проблема сводится к структуре наград в обучении с подкреплением. Одни из них улучшают понимание ответа ИИ-моделями, другие — понимание человеком. Чем больше модель обучают математике и программированию, тем сильнее нужно компенсировать этот эффект: поощрять простые объяснения, за которыми легко следить человеку.

С Opus 5.5 Anthropic удалось найти более удачный баланс, считает Кернион. Он пишет, что не был настолько доволен письменной речью модели со времён Opus 4.6.

Это не означает, что Opus 5.5 превзошла старую модель. Кернион отмечает, что проблема остаётся сложной и Anthropic продолжит улучшать модели.