i
Новости
Новости · 2026-11-21

Thinking Machines удивила петлевой моделью Inkling 2 Mini, которая работает локально на ноутбуках

Dataist Dataist

Thinking Machines Lab выпустила Inkling 2 Mini — открытую мультимодальную модель, которую можно запускать без интернета на ноутбуке с 32 ГБ памяти или на одной видеокарте. При 26,4 млрд параметров и занимаемых примерно 20 ГБ она сравнялась с Alibaba Qwen3.8-27B по общему показателю интеллекта, но, по данным Artificial Analysis, работает примерно в четыре раза быстрее и обходится в шесть раз дешевле на задачу. Для этого разработчики использовали петлевую архитектуру: часть слоёв модели обрабатывает данные несколько раз, углубляя рассуждение без увеличения размера весов.

Обложка: Thinking Machines удивила петлевой моделью Inkling 2 Mini, которая работает локально на ноутбуках

Как петлевая архитектура меняет вычисления

Обычный трансформер обрабатывает каждый токен один раз — последовательно, от первого слоя к последнему. Если задаче нужно больше шагов рассуждения, чем позволяет глубина модели, она может изложить ход мыслей текстом. Это увеличивает число выходных токенов, задержку и стоимость инференса.

Inkling 2 Mini устроена иначе. Согласно карточке модели, это разреженная модель типа «смесь экспертов» с 24 слоями и только декодером. Для каждого токена она выбирает 8 из 128 экспертов; при обычном проходе активны 3,4 млрд параметров. Первые шесть слоёв, называемые прелюдией, и последние шесть выполняются по одному разу. Средние 12 слоёв проходят трижды с общими весами. Это похоже на то, как инженер трижды проверяет сложное уравнение, прежде чем записать следующую строку кода.

Три прохода дают 48 эффективных применений слоёв на токен и 5,4 млрд эффективных активных параметров, не увеличивая объём хранилища модели. Чтобы передавать информацию между проходами, Thinking Machines добавила остаточные связи внимания: каждый проход может считывать управляемое «сообщение» от средних слоёв предыдущего прохода и результат начальной прелюдии. В собственных тестах компании модель без повторных проходов потребовала на 140% больше вычислений инференса, чтобы сравняться с петлевой моделью по функции потерь на трассах работы ИИ-агентов длиной 512 тысяч токенов.

Для запуска на потребительском оборудовании Thinking Machines сократила число экспертов на две трети — с 384 до 128 — в ходе обучения, а затем восстановила сеть дистилляцией 1 трлн токенов из более крупной внутренней модели Inkling. После этого провели контролируемый файн-тюнинг и обучение с подкреплением на 2,2 трлн токенов.

Первые 20 слоёв обучили и развернули в формате точности NVFP4, 4 бита, а последние четыре — в формате MXFP8, 8 бит. Веса поставляются в том же числовом формате, в котором модель обучалась. По замыслу разработчиков, это позволяет избежать потери точности, часто возникающей при квантовании уже после обучения.

Повторная обработка данных поднимает вопрос о безопасности: если модель больше рассуждает внутри, не записывая ход мыслей, становится ли её сложнее контролировать? Вместе с Inkling 2 Mini компания выпустила исследовательскую контрольную версию TML-d24-varloop-research, обученную на один—пять проходов, и начала изучать механистическую интерпретируемость с National Deep инференс Fabric (NDIF) и Goodfire.

В предварительных тестах Thinking Machines модель без явной цепочки рассуждений увеличила длительность решаемых задач с 16 секунд при одном проходе до 37 секунд при трёх. Объём цепочки рассуждений сократился более чем вдвое, но оставшиеся трассы были понятны людям. На контрольном бенчмарке LinuxArena компания также не обнаружила роста скрытых попыток саботажа.

Возможности и результаты

Inkling 2 Mini принимает текст в кодировке UTF-8 и изображения в виде пикселей; оптимальный размер изображений — от 40 до 4096 пикселей. Контекстное окно вмещает 1 млн токенов, а модель генерирует текст.

Thinking Machines показала локальную работу модели в режиме полёта на MacBook Pro с чипом M5 Pro и 48 ГБ памяти: за несколько минут та собрала работающий авиасимулятор. В другом примере модель одновременно управляла 20 постоянно действующими автономными жителями виртуального города.

В тестах на программирование и использование инструментов Inkling 2 Mini опередила все открытые модели менее чем со 100 млрд параметров на трёх бенчмарках:

DeepSWE v1.1 — 48,2%.
SWE-bench Pro v2 Hard — 77,9%.
Vals Index v2.2 — 46,5%.

На SWE-bench Verified модель получила 79,2%, на DeepSearchQA — 85,3%. В бенчмарке Stanford, измеряющем интеллект на джоуль энергии, Inkling 2 Mini набрала 0,703 на NVIDIA DGX Spark. Для сравнения, Qwen3.6-35B-A3B получила 0,430, а Gemma-4-26B-A4B — 0,159.

Повторные проходы не увеличивают объём знаний модели. Поскольку фактическая память в основном зависит от общего числа параметров, Inkling 2 Mini набрала −8,6 на AA-Omniscience v1.1, а доля ответов без галлюцинаций составила 63,4%. Более плотная Qwen3.8-27B показала −6,4 и 71,4%.

По документации Thinking Machines, модель также уступает Qwen3.8-27B в многоходовом диалоге: на MultiChallenge она набрала 50,0%. На бенчмарке ComplexConstraints v1.1, который проверяет выполнение инструкций с множеством ограничений, результат составил 33,4%. Кроме того, модель иногда повторяет одни и те же шаги при отладке или обрывает формулировки на языках, отличных от английского, например на китайском.

Сравнение с другими моделями

Источник сопоставляет Inkling 2 Mini с тремя моделями класса 26–31 млрд параметров: Alibaba Qwen3.8-27B, Google DeepMind Gemma 4 31B и Meta Muse Glimmer. В таблице также указаны способы локального запуска и цены на доступ через размещённые программные интерфейсы, но полные названия её строк и значения тарифов для всех моделей в исходном тексте не приведены.

Для Inkling 2 Mini указаны веса примерно на 20 ГБ в форматах NVFP4/MXFP8 и запуск на компьютерах Mac с 32 ГБ памяти и более через Ollama или EXO, на DGX Spark, а также на устройствах с 16 ГБ памяти и более через GGUF. Qwen3.8-27B тоже можно запускать локально через llama.cpp или vLLM, но плотная модель требует больше вычислений на токен. Для Gemma 4 приведена цена 0,20 доллара за 1 млн входных токенов и 0,40 доллара за 1 млн выходных в ИИ Studio; в OpenRouter указаны цены от 0,10 и 0,34 доллара соответственно. Gemma 4 и Muse Glimmer поддерживают локальный запуск с помощью стандартных квантованных форматов; контекст Muse Glimmer составляет 131 тысячу токенов.

По данным Artificial Analysis, Inkling 2 Mini и Qwen3.8-27B набрали по 20,1 в Artificial Analysis Intelligence Index. При этом Inkling 2 Mini использует примерно в 2,8 раза меньше вычислений, выполняет задачу за 9 минут против 38,2 минуты у Qwen и обходится в 0,59 доллара против 3,53 доллара по тарифам собственных программных интерфейсов.

В сравнении с Gemma 4 31B и Muse Glimmer Inkling 2 Mini показывает более высокие результаты в программировании с участием ИИ-агентов и поиске по длинному контексту. Её окно в 1 млн токенов больше, чем у Gemma 4 31B с 262 тысячами и Muse Glimmer со 131 тысячей токенов.

Inkling 2 Mini9 минут и 0,59 доллара за задачу
Qwen3.8-27B38,2 минуты и 3,53 доллара

Лицензия и условия применения

Thinking Machines разместила полные веса Inkling 2 Mini на Hugging Face под лицензией Apache 2.0 и добавила стандартные правила допустимого использования модели.

Apache 2.0 позволяет стартапам, исследователям и компаниям из списка Fortune 500 бесплатно скачивать и изменять модель, проводить файн-тюнинг, распространять её и встраивать в коммерческие продукты. Условие — сохранить исходное уведомление об авторских правах и текст лицензии. В отличие от лицензий с взаимными обязательствами, таких как GPL, Apache 2.0 не требует открывать исходный код собственных приложений, построенных на модели.

Такая лицензия уравнивает Inkling 2 Mini по условиям использования с Qwen3.8-27B, Gemma 4 31B и Muse Glimmer от Meta. При этом она не накладывает отдельных коммерческих условий или порогов выручки на поставщиков моделей как услуги — требований, которые источник отмечает у Mistral’s Ecosystem Open-Weight license и Meta’s Muse Model License для Muse Spark Open на 816 млрд параметров. Для компаний, которые проверяют юридические условия и закупки, Apache 2.0 упрощает локальное развёртывание модели на собственной инфраструктуре.

Первые отзывы и ограничения

За первые 24 часа после выпуска Inkling 2 Mini привлекла внимание в X: появились интеграции с инструментами локального инференса и первые независимые тесты.

Thinking Machines сообщила в официальном аккаунте @thinkymachines, что выпустила модель после отзывов о слишком крупной Inkling 2 Small с 594 млрд параметров. Компания описала Inkling 2 Mini как петлевой трансформер с 26 млрд параметров, пригодный для запуска на ноутбуке и работы с ИИ-агентами; её результат в AA Index составил 20,1.

Поставщики инструментов для локального запуска быстро добавили свои тесты:

@UnslothAI опубликовала квантованные сборки GGUF и поддержку llama.cpp. Компания заявила, что модель запускается на 16 ГБ оперативной памяти, и отметила результат 48,2% на DeepSWE v1.1.
@exolabs сообщила о скорости генерации 210 токенов в секунду и обработке входных данных со скоростью 3620 токенов в секунду на Mac Studio с M5 Ultra и 96 ГБ памяти. На Mac с M5 Max и 48 ГБ памяти скорость генерации, по данным компании, достигла 125 токенов в секунду. Там же утверждается, что модель создала нативное погодное приложение в 1,8 раза быстрее Claude Sonnet 5.5 и с затратами в 11 раз ниже.

Разработчик @KyleHessling1 проверил модель на одной видеокарте, попросив её самостоятельно создать анимированную графику о собственных характеристиках. На видеокарте 5090 скорость составила 104 токена в секунду. По его оценке, создание такой графики обычно оказывается трудной задачей для небольших моделей.

Отзывы были не только положительными: некоторые тестировщики отмечали сбои при создании игровой механики и ранние проблемы с квантованием в новых системах запуска петлевых моделей. Облачные передовые модели, по их словам, сохраняют заметное преимущество в сложных задачах на знания и многоходовых диалогах.

От скрытого режима к локальным моделям

Thinking Machines Lab основали в начале 2025 года бывший технический директор OpenAI Мира Мурати, сооснователь OpenAI Джон Шульман и другие исследователи. В июле 2025 года компания привлекла на посевном раунде 2 млрд долларов при оценке в 12 млрд долларов. Её целью было создание настраиваемых систем ИИ с открытой научной работой.

Первым коммерческим продуктом компании стал Tinker, выпущенный в октябре 2025 года. Это интерфейс программирования на Python для файн-тюнинга, с помощью которого исследователи могут управлять циклами обучения и обучением с подкреплением без самостоятельного управления распределёнными кластерами GPU. В мае 2026 года Thinking Machines представила TML-Interaction-Small — мультимодальную систему, способную одновременно обрабатывать голос и видео. Задержка передачи хода в ней составляла 0,40 секунды.

Затем компания перешла к базовым моделям с открытыми весами. В июле 2026 года она выпустила Inkling с 975 млрд параметров под лицензией Apache 2.0, а две недели спустя — Inkling-Small с 276 млрд параметров. Меньшая модель показала результаты на уровне более крупной, занимая примерно в четыре раза меньше места.

5 ноября компания открыла второе поколение моделей выпуском Inkling 2 Small: у неё 594 млрд параметров, из которых 17 млрд активны. В Artificial Analysis Intelligence Index модель набрала 31 балл. Inkling 2 Mini продолжает эту линейку, перенося часть вычислений с увеличения модели на повторную обработку данных.

По оценке Dataist, Inkling 2 Mini показывает, как петлевая архитектура может приблизить локальные модели к более крупным системам в программировании и использовании инструментов. Но её результаты по фактическим знаниям и многоходовым диалогам остаются ограничением, а преимущества в скорости и стоимости основаны на сравнении с конкретными моделями и условиями тестирования.

«Я дрожала, плакала, задыхалась»: неизведанная травма разрыва отношений с ИИ-компаньонами Масштабные сбои — это только начало Мы нашли единственный достойный ИИ-чатбот — такой крошечный, что помещается на одну дискету MS-DOS «Гибель человечества»: не сделают ли роборуки людей ненужными? Как Google Duplex научилась звонить компаниям за вас через Gemini Чем больше текстов читала ИИ T-Mobile, тем хуже становились её ответы OpenAI значительно усложнила извлечение внутренних рассуждений своих новейших ИИ-моделей атакующими Федеральные власти США расследуют «проблемы с бухгалтерской отчётностью» Nvidia Ложь Дженсена Хуанга встревожила совет Nvidia ещё до его отставки Signal блокирует скриншоты на iOS 27 и Android, чтобы ИИ-агенты не читали личные переписки Математик Anthropic утверждает, что доказал гипотезу Римана с помощью Claude Забудьте о роботах-бунтарях: по-настоящему нас должны пугать техномиллиардеры и крикет с ИИ Самый неправильно понятый график в сфере ИИ получил крупное обновление Чипы выдержат условия космоса. А выдержит ли их финансирование? Дочь Дженсена Хуанга тоже работает в Nvidia — по сообщениям, она кричит на сотрудников и осыпает их странными оскорблениями Распродажа техакций может усилиться, прежде чем появится повод покупать Nvidia вкладывает не менее $500 млн в диффузионные модели Inception, чтобы усилить линейку открытых Nemotron Анализ Bloomberg: вакансий в Китае для работников под влиянием ИИ стало сокращаться на 10 процентных пунктов быстрее, чем для остальных Ставка Google на ИИ оборачивается громким провалом Google обновила главную страницу, ещё сильнее превратив поиск в ИИ-сервис ответов

Ежедневные новости об ИИ

Каждый день отбираем важные новости об ИИ и рассказываем главное — без хайпа и воды. Если хотите понимать, что происходит в ИИ раньше остальных, — подписывайтесь.

Только важное — каждый день

В Telegram