TrustedRouter запустил три новые зашифрованные «фьюжн»-модели, объединяющие несколько LLM, одна из них использует только американские модели

TrustedRouter связывает приложения с моделями и провайдерами вычислительных мощностей. Компании могут направлять запросы к разным поставщикам с учётом цены, доступности, возможностей моделей и требований к конфиденциальности. В подходящих защищённых маршрутах промт остаётся зашифрованным до обработки на проверенном оборудовании провайдера. Расшифровка происходит в защищённой среде, призванной не допустить доступа операторов провайдера к содержимому; уровень защиты зависит от маршрута и настроек приватности.

Три новые модели доступны через существующий API. Их можно вызывать через New York Token Exchange с идентификаторами, начинающимися с nyte/. У TrustedRouter и NYTE общие ключи, балансы счетов и правила маршрутизации. Разработчики могут обращаться к одному набору настроек через префикс nyte/ или trustedrouter/.

По словам основателя и генерального директора TrustedRouter Джозефа Перлы, отдельные модели не всегда доступны, поэтому маршрутизатор позволяет выбирать другой путь для запроса. Каждый из трёх вариантов сам определяет, куда и как направить работу: сложный исследовательский вопрос может выиграть от нескольких независимых ответов, а для обычной классификации может хватить одной модели.

Как модели обрабатывают запросы

Prometheus 4.0 и Liberty 4.0 отправляют запрос нескольким моделям одновременно и независимо. Затем отдельный вызов оценивает ответы, а ещё один синтезатор формирует итог. Полный запрос к Prometheus требует восьми вызовов моделей, к Liberty — пяти. Несколько ответов помогают заметить пропущенный источник или ошибку в расчётах, но синтезатору нужно определить, какой вариант лучше подкреплён. Если несколько моделей повторят одну ошибку, само согласие между ними не обязательно поможет её исправить. Дополнительные вычисления и время на синтез — часть компромисса.

Prometheus 4.0 использует открытые модели. В опубликованный набор входят Xiaomi MiMo-V2.6-Pro, Z.ai GLM 5.3, Moonshot AI Kimi K3, DeepSeek V4.1 Flash, MiniMax M3 и Alibaba Qwen 3.8. Для этой модели TrustedRouter указывает контекстное окно в один миллион токенов. Плавающий псевдоним nyte/prometheus ведёт на последнюю версию, а nyte/prometheus-4.0 — именно на выпуск 4.0.

Пока TrustedRouter не сообщила, какая модель синтезирует ответы в рабочей версии, сколько участников панели должны ответить до начала синтеза и как заявленный размер контекстного окна работает при разных ограничениях у компонентов.

Liberty 4.0 объединяет модели трёх американских разработчиков: NVIDIA, Reflection AI и Meta. В каталоге компонентов указаны NVIDIA Nemotron 3 Ultra, Reflection Beam и Meta Muse Spark Open. По описанию TrustedRouter, участники отвечают независимо, а Meta объединяет их ответы. Если модель Meta недоступна, синтез берёт на себя Beam. Если один из участников не отвечает, Liberty может продолжить работу с полученными ответами.

Polyphemus 1.0 выбирает модель до генерации ответа: селектор изучает запрос, после чего выбранная модель отвечает одним вызовом. Документация указывает для него Responses API и контекстное окно в 65 536 токенов.

Стоимость селектора составляет $0,05 за миллион оценочных входных токенов, дополнительно оплачиваются обычные тарифы выбранной модели. Если селектор не срабатывает, запрос обрабатывает общий автоматический маршрут TrustedRouter, а плата за селектор не взимается. Чтобы повысить вероятность повторного использования кэшированных входных данных, разработчики могут передавать идентификатор сессии и историю разговора при каждом ходе. Сессия завершается после часа бездействия. Для Polyphemus указана стандартная приватность. TrustedRouter пока не раскрыла, из каких моделей выбирает селектор, по каким критериям и как его результаты соотносятся с ответами одной заранее выбранной модели.

Цена, экономия и результаты тестов

В каталоге TrustedRouter для Prometheus 4.0 указаны тарифы на компоненты маршрута: примерно от $0,01 до $1,48 за миллион входных токенов и от $0,13 до $7,39 за миллион выходных. Для Liberty 4.0 указаны диапазоны $0,42–$1,32 за миллион входных и $1,27–$4,48 за миллион выходных токенов. Это цены отдельных частей обработки, а не обязательно полная стоимость запроса: к ней добавляется работа каждой модели, судьи и синтезатора. Обычная наценка TrustedRouter на предоплаченные текстовые запросы — 5,5%, абонентской платы нет. Для управляемых предоплаченных запросов, использующих подписанное подтверждение инференса, компания указывает общую плату за услуги в 12%.

TrustedRouter сравнивает стоимость запросов с Claude Fable 5.1. По оценке компании, полный запрос Liberty обходится в 2,3–2,9 раза дешевле, что соответствует экономии примерно 60%. В пяти вызовах три открытые американские модели формируют ответы, ещё один вызов оценивает их, а последний объединяет результат.

Для Prometheus TrustedRouter оценивает запрос в 2,5–3 раза дешевле, чем Claude Fable 5.1, то есть заявляет экономию примерно 60–65%. Полный запуск включает восемь вызовов: шесть моделей отвечают, ещё два вызова нужны для оценки и синтеза.

Экономия Polyphemus зависит от выбранной модели. TrustedRouter оценивает её примерно в 60% при выборе Claude Opus 5.5 и примерно в 80% при выборе GPT-6.1 Sol.

Компания опубликовала относительные оценки экономии, но не раскрыла сопоставимые суммы в долларах, наборы задач, показатели качества и задержки. Также остаётся неясным, включена ли плата за селектор Polyphemus в расчёт экономии.

Самый конкретный опубликованный результат для линейки Prometheus относится к предыдущей версии. В июльском тесте TrustedRouter сообщила, что Prometheus 2.0 набрал 77,4 балла на всех 100 задачах бенчмарка глубоких исследований DRACO от Perplexity. В публикации компании приведены результаты одиночных моделей для сравнения: 65,3 у Claude Fable 5, 63,3 у GPT-5.5 и 60,3 у Claude Opus 4.8. Перла ссылался на эти тесты, объясняя, почему панели, по его ожиданию, могут справляться со сложными запросами лучше одиночных моделей. Однако результат относится к более ранней конфигурации и исследовательскому бенчмарку. Чтобы понять, сохранится ли экономия на реальных задачах покупателей, нужны сравнения на одинаковых запросах с одновременной оценкой стоимости, качества и задержки.

В тесте VentureBeat Claude Code через TrustedRouter обратился к DeepSeek Flash и правильно назвал Париж столицей Франции. Затем Claude Code оценил, что такой же запрос к Fable 5.1 обошёлся бы примерно в 70 раз дороже. Это пример разницы в цене для одного простого вопроса. Более сложная проверка должна показать, как часто панель выдаёт пригодный ответ там, где более дешёвая одиночная модель ошибается, и во сколько обходится дополнительная работа.

Чем подход отличается от других решений

GitHub Copilot Fusion выбирает модель внутри агента для программирования. В зависимости от задачи и настройки усилий он может использовать одну модель, начать с эффективной и перейти к другой после проверки качества либо поручить одной модели проверить черновик другой. Администраторы корпоративных аккаунтов определяют, какие модели разрешено использовать.

В независимом тесте Artificial Analysis Fusion Max в среднем обходился в $5,59 за задачу по программированию против $11,42 у Claude Code с Claude Opus 5.5 в режиме Max. Разрыв в индексе агент для программирования Index составил два балла. Как ранее сообщало VentureBeat, этот тест сопоставляет целые агенты для программирования на одинаковых задачах. Опубликованные TrustedRouter результаты DRACO оценивают глубокие исследования и отвечают на другой вопрос.

Fugu Max и Fugu Ultra v2 от Sakana AI ближе к TrustedRouter с точки зрения использования: они предоставляют API, скрывающий координацию нескольких моделей. Fugu Max выбирает комбинации из набора моделей, балансируя качество и стоимость. Ultra подключает более глубокую группу агентов для сложной работы.

OpenRouter Fusion ближе к TrustedRouter по устройству панели: его описанный пайплайн может параллельно отправить запрос нескольким моделям, передать ответы судье, а затем — модели, формирующей итог. В OpenRouter разработчики настраивают панель и судью сами. TrustedRouter предлагает им именованные шаблоны с заданным назначением и версиями.

В опубликованном сравнении решения устроены так:

Инструмент Arcade решает другую задачу: агент, подключённый к нескольким бизнес-системам, может тратить токены на описания инструментов, которыми почти не пользуется. Arcade подбирает короткий список по мере необходимости. По замыслу, поиск инструментов и маршрутизация моделей могут работать в одном приложении: первый выбирает доступные действия, вторая — модель для запроса.

Что меняет шифрование

TrustedRouter сообщает, что её шлюз работает в защищённой вычислительной среде — анклаве, где выполняется и логика координации вызовов моделей. Клиенты могут сверить аппаратное подтверждение шлюза с опубликованным исходным кодом. Компания заявляет, что не сохраняет журналы промтов и ответов.

По информации, предоставленной VentureBeat, клиенты могут потребовать конфиденциальное оборудование для каждого вызова в запросах Liberty и Prometheus. Такой маршрут требует сквозного шифрования, конфиденциальных вычислений на стороне провайдера и нулевого хранения данных. Требование распространяется на участников панели, судей, синтезаторы и резервные маршруты. Если шлюз не находит подходящий защищённый маршрут для обязательного вызова, запрос завершается ошибкой.

По словам TrustedRouter, Liberty 4.0 направляет запросы только провайдерам со штаб-квартирой в США и прекращает работу, если иначе пришлось бы обратиться к поставщику из другой страны. При этом физическое расположение центра обработки данных компания определяет по информации от самих провайдеров. Подписанное подтверждение может указывать модель и поставщика, а также фиксировать уровень проверки на вышестоящем маршруте. Перла отмечал, что по одному ответу нельзя надёжно определить, какая модель его сгенерировала.

Для внедрения также важны детали, которые пока не раскрыты: как резервные вызовы отражаются в счёте, какова измеренная задержка и поддерживают ли все три шаблона потоковую передачу, вызовы инструментов и структурированные ответы.

Как появилась TrustedRouter

До запуска TrustedRouter Перла работал на пересечении ИИ, облачных вычислений и крупной технологической инфраструктуры. После изучения информатики и машинного обучения в Принстоне он работал в Bridgewater Associates, основал музыкальный стартап Turntable.fm, а затем пришёл в Facebook. Там он был техническим руководителем команды, работавшей над мобильной лентой новостей.

Позже Перла начал докторскую программу по искусственному интеллекту, но ушёл из академической среды и в 2013 году стал сооснователем Terminal.com. Эта платформа ранних облачных вычислений на GPU позволяла разработчикам и специалистам по данным запускать задачи в контейнерах вместо обычных виртуальных машин. Позднее Terminal.com приобрела Udacity. Затем Перла пришёл в Lyft одним из первых 50 инженеров и участвовал в разработке программы автономных автомобилей. Недавно он работал над ещё одним музыкальным стартапом, который, по его словам, приобрели в 2025 году.

Перла вернулся к инфраструктуре для ИИ после разговоров с представителями крупных лабораторий и облачных компаний, включая OpenAI и Anthropic. По его словам, из этих бесед он заключил, что предприятия передают провайдерам ИИ конфиденциальную деловую информацию, не всегда понимая, как данные могут храниться или использоваться повторно, даже при согласованных мерах приватности.

Перла изучил конфиденциальные вычисления — технологию, которая защищает данные во время обработки на удалённом оборудовании, — и решил совместить её с маршрутизацией запросов к моделям. Примерно год назад он начал разрабатывать TrustedRouter, сразу рассматривая её как основу для более крупного рынка ИИ. Вместо собственной инфраструктуры GPU компания создала сервис маршрутизации к внешним поставщикам, способным запускать модели с использованием конфиденциальных вычислений.

В публичную бета-версию TrustedRouter вышла в мае, а 31 августа запустилась публично вместе с начальным финансированием в $1,25 млн, сообщал Axios. Среди ранних инвесторов были Сэм Лессин из Slow Ventures, Билл Тай, Линда Эйви и Джордж Син. Перла объявил о бирже 15 октября. На следующий день Semafor сообщил, что TrustedRouter привлекла начальный раунд в $6 млн под руководством Sierra Ventures.

Компания расширила замысел до проекта, который должен упростить доступ к частным и конкурирующим моделям и сравнение их цен, предлагая альтернативу доминированию крупнейших поставщиков ИИ. TrustedRouter утверждает, что в обычный день обрабатывает более трёх миллиардов зашифрованных токенов. В её каталоге — более 600 моделей от более чем 100 провайдеров. Эти числа относятся ко всему каталогу; допуск к защищённым маршрутам оценивается отдельно.

Долгосрочная цель Перлы — превратить инференс ИИ в конкурентный товарный рынок и сделать зашифрованную обработку стандартом. По его плану, к следующему году большинство GPU должны быть зашифрованы таким образом.

Как устроена биржа NYTE

New York Token Exchange — предложенная торговая площадка для покупки, продажи и обмена токенами инференса ИИ, то есть единицами текста и другой информации, которую модели обрабатывают и генерируют. NYTE намерена превратить доступ к моделям и вычислительной инфраструктуре в товар, который предприятия смогут покупать у конкурирующих поставщиков, не заключая отдельный договор с каждой ИИ-компанией.

Биржа опирается на TrustedRouter, связывающую клиентов с сотнями моделей и поставщиков инфраструктуры через единый интерфейс. Компания публикует индекс цен по возможностям моделей и предлагает резервировать объём по фиксированной цене блоками по одному миллиарду токенов для использования в 2027 году. Перепродавать такие резервы можно только в рамках программы NYTE и на её условиях. Для поставщиков биржа предлагает раннюю версию открытого программного комплекса: операторы могут подготовить оборудование к проверке и продавать инференс.

TrustedRouter планирует запустить инициативу фьючерсов в январе. В открытых материалах компании фьючерсы и производные инструменты также указаны в дорожной карте. NYTE рассчитывает развивать два взаимодополняющих рынка:

Например, компания, ожидающая потребления одного миллиарда токенов ИИ в следующем году, могла бы заключить через NYTE контракт на этот объём по цене, согласованной заранее. Поставщик инфраструктуры мог бы использовать выручку или финансирование для покупки GPU, а затем предоставить услуги инференса, когда токены понадобятся. Если клиенту потребуется меньше токенов, Перла предлагает разрешить перепродать неиспользованную контрактную мощность через биржу, чтобы не терять стоимость предоплаченного обязательства.

Площадка рассчитана и на предприятия со своими кластерами GPU. Крупная компания с простаивающими по ночам или в выходные вычислительными мощностями потенциально могла бы продавать через NYTE услуги инференса и выступать одновременно покупателем и продавцом. Перла рассчитывает поддержать такую модель открытым программным обеспечением, которое упростит создание собственной инфраструктуры ИИ и участие в рынке.

Более широкая цель — отделить разработку моделей от инфраструктуры, на которой их запускают, подобно тому, как производство и распределение электроэнергии со временем стали рынками с несколькими поставщиками. Разработчики моделей могли бы сосредоточиться на создании более совершенных систем, инфраструктурные компании — конкурировать в эффективности их обслуживания, а предприятия — покупать вычисления по рыночным ценам без привязки к одному поставщику. Перла считает, что это снизит стоимость инференса, повысит надёжность и упростит планирование расходов, предложив альтернативу вертикально интегрированным бизнес-моделям ведущих ИИ-компаний.

Запуск новых моделей позволяет проверить эту идею на рабочих задачах компаний: сравнить панель, маршрутизатор и используемую сейчас модель на одном наборе запросов. По оценке Dataist, для такого сравнения нужны не только заявленные проценты экономии, но и стоимость пригодного ответа, время его получения и подтверждение того, что каждый поставщик соблюдал правила компании. Пока TrustedRouter публикует относительные оценки и описывает защиту маршрутов, но часть данных о качестве, задержке и полной стоимости запросов остаётся неизвестной.