Claude Code против оболочки на 100 строк: результат одинаковый

Почему сравнение оболочек может вводить в заблуждение

В общедоступных таблицах результатов часто сравнивают ИИ-агентов с разными оболочками, поэтому отделить вклад самой оболочки сложно. В некоторых исследованиях при одной и той же модели замена оболочки давала разницу в 23,8 балла по оценке выполнения задачи и 27,4 процентного пункта по Pass@1. Zhipu AI, в свою очередь, заявляет, что оболочка ZCode превосходит Claude Code на 2,4 балла при использовании той же модели.

Авторы новой работы предупреждают: такие цифры трудно интерпретировать по двум причинам. Во-первых, многие опубликованные сравнения проводят только один раз, хотя повторные запуски в одинаковых условиях могут давать заметно разные результаты. В исследовании, на которое они ссылаются, 10 повторов одного и того же запуска на SWE-bench Verified дали разброс от 2,2 до 6 процентных пунктов. Если не запускать исходную конфигурацию повторно, нельзя понять, вызвана ли разница оболочкой или случайными колебаниями результатов.

Во-вторых, сравниваемые оболочки часто проверяют в неодинаковых условиях. В одной из упомянутых работ одна и та же модель набрала 19,1% с минимальным адаптером для бенчмарка и 73,4% с полной версией адаптера.

На результаты могут влиять и условия тестирования. Проверяя ранние запуски с доступом к интернету, исследователи выяснили, что в 312 из 439 попыток DeepSeek и Qwen — 71% — агенты получали исходное исправление, написанное человеком, из GitHub. Эти запуски исключили, а в итоговой оценке заблокировали доступ к сети.

Сравнение готовых оболочек

Чтобы измерить вклад оболочки, исследователи проверили Claude Code, OpenCode и mini-SWE-agent. Последняя — минималистичная оболочка с открытым исходным кодом, написанная примерно на 100 строках Python: она предоставляет одну команду bash и не уплотняет контекст.

Через все три оболочки исследователи запустили пять моделей: две локально размещённые модели с открытыми весами — Qwen3.6-35B-A3B и Qwen3.8-27B — и три модели, доступные через API: DeepSeek-V4-Flash, GLM-5.3-Flash и HY4-Preview. В качестве ориентира высокого уровня в Claude Code также использовали Claude Opus 5.

Агентов проверяли в изолированных контейнерах на 492 офлайн-задачах из SWE-bench Verified. В набор вошли 45 самых сложных задач, на которые у человека уходит от одного до более чем четырёх часов, и ещё 447 задач. Все пять моделей прошли проверку на подмножестве из 45 задач, но на большом наборе тестировали только две модели Qwen.

Более сложные оболочки не показали устойчивого преимущества в точности. На наборе из 447 задач Claude Code и минималистичная mini-SWE-agent набрали с разницей менее двух процентных пунктов. Для обеих моделей Qwen их результаты признали статистически сопоставимыми в пределах пяти процентных пунктов.

На 45 самых сложных задачах примерно в одной из восьми попыток — 13% — результат менялся с успешного на неуспешный или наоборот при смене оболочки. Повторный запуск с той же оболочкой давал такую же медианную частоту смены результата. Даже официальная оболочка DeepSeek на собственной модели DeepSeek-V4-Flash показала долю успешных решений в диапазоне результатов других оболочек, но при этом обошлась дороже всех проверенных вариантов для этой модели.

По словам исследователей, собственная оболочка поставщика на его модели не даёт преимущества в результатах.

Единственное влияние оболочки, которое превысило статистический шум, было отрицательным: OpenCode отставала на большом наборе задач на величину до 9 процентных пунктов. Для Qwen3.8-27B примерно половина отставания была связана с тем, что запуск обрывался при достижении лимита в 32 000 токенов вывода — часто до того, как модель успевала написать исправление кода. Claude Code на той же модели тоже сталкивалась с этим лимитом, но автоматически просила модель продолжить.

При этом выбор оболочки заметно влиял на стоимость инференса.

Исследователи отмечают, что при одной модели, одних задачах и одном тарифе стоимость задачи различалась между оболочками до трёх раз.

Для GLM-5.3-Flash запуск в Claude Code стоил почти вдвое дороже, чем в mini-SWE-agent, и более чем втрое дороже, чем в OpenCode. Однако OpenCode также останавливала работу после меньшего числа обращений к модели, что снижало затраты. Все три оболочки получали от вызовов инструментов примерно одинаковый объём текста.

Разница появлялась уже в первом запросе к API: оболочки отправляли разные объёмы постоянного контекста в системных промтах и описаниях инструментов — 16 581 токен в Claude Code, 7 025 в OpenCode и 829 в mini-SWE-agent. На каждом шаге агенты повторно отправляют историю диалога, поэтому начальные расходы умножаются на число шагов. Исследователи также предполагают, что Claude Code увеличивает объём запросов, повторно отправляя промежуточные блоки рассуждений модели.

По объяснению авторов, разницу в объёме данных на каждом шаге создаёт собственный текст оболочки, а не содержимое репозитория.

От 96% до 99% входных токенов в этих циклах попадали в кэш промтов поставщика. Но пересчёт стоимости с учётом разных тарифов на кэширование менял сумму счёта, а не порядок оболочек по стоимости для конкретной модели.

Рейтинг затрат менялся и в зависимости от модели. На DeepSeek-V4-Flash оболочка mini-SWE-agent делала в среднем 141 вызов модели за запуск против 104 у Claude Code и стоила немного дороже: около 15,2 цента за запуск против 14,6 цента.

Подтверждение стоимости оболочек

Эти результаты согласуются с исследованием HarnessTax, проведённым специалистами Sky Computing Lab Калифорнийского университета в Беркли и Arena. Команда из Беркли проверила семь моделей с Claude Code, Codex CLI от OpenAI и Pi — минималистичной оболочкой с открытым исходным кодом и четырьмя базовыми инструментами. Исследователи взяли по 30 задач из каждого из двух бенчмарков, повторили каждую задачу трижды и обнаружили, что выбор оболочки менял долю успешных решений всего на несколько процентных пунктов, но мог увеличить затраты на инференс в пять раз.

Специалисты из Беркли выяснили, что разница в стоимости появляется уже при первом запросе к модели. Для всех семи моделей начальный контекст Claude Code в среднем был более чем в 10 раз объёмнее, чем у Pi, главным образом из-за более длинных инструкций и описаний инструментов.

В HarnessTax показали, что более сложные оболочки почти не улучшали среднюю успешность на проверенных бенчмарках. Новое исследование развивает этот результат: в нём проверили модели Qwen с 27 и 35 млрд параметров на большем наборе задач и сравнили различия между оболочками с обычным разбросом повторных запусков. Как отмечают исследователи из Shandong University о Qwen3.6-35B-A3B, самой слабой модели в их тестах, слабейшая модель не оказалась наиболее чувствительной к оболочке.

Практические выводы для компаний

Вопрос расходов касается не только агентов для программирования. Согласно сентябрьскому обзору VB Pulse от VentureBeat Intelligence, среди 107 компаний, использующих одну из перечисленных платформ для оркестрации агентов, у 23 — 21% — не было автоматического способа останавливать расходование токенов агентами.

Исследование предлагает инженерам и разработчикам несколько практических выводов для создания приложений с ИИ и планирования бюджета на инструменты для программирования.

В завершение исследователи советуют при сравнении поставщиков учитывать три показателя: первый запрос, рост объёма данных на каждом шаге и число шагов.