Бывший инженер Alibaba запустил Octen: ИИ-поиск за 10 миллисекунд и безлимитный тариф за $20 в месяц

Поиск как часть расходов на работу ИИ-агента

По данным Octen, основатель и генеральный директор компании Куан Зоу ранее руководил поиском на базе ИИ в Alibaba Cloud и корпоративным поиском в Baidu. Среди инвесторов стартап называет Square Peg и Argor, но сумму привлечённого финансирования не раскрывает. С момента общего запуска сервиса в конце июля в Octen зарегистрировались более 5 000 разработчиков.

В разговоре с VentureBeat Зоу объяснил, что скорость и цена поиска ограничивают объём информации, которую может собрать ИИ-агент. По его мнению, машины способны параллельно изучать разные стороны вопроса, поэтому затраты на повторные запросы особенно важны.

Зоу также предпочитает передавать агенту исходные материалы, чтобы тот разбирал их самостоятельно, вместо того чтобы сначала поручать ИИ составить краткое изложение, а затем обрабатывать уже его. По его словам, на каждом таком этапе могут появиться ошибки.

Для корпоративных приложений это практический вопрос. Помощнику по закупкам нужны исходные данные, чтобы отличить актуальные характеристики поставщика от устаревшего описания. Агенту для программирования нужна подходящая документация, а не просто правдоподобное краткое изложение. Результат зависит от того, даёт ли поиск пригодные для работы материалы с такой скоростью и за такую цену, чтобы улучшить выполнение задачи.

Что Pulse находит за 10 миллисекунд

В исследовательской работе Octen описан метод генеративного поиска. Вместо поиска по обычному индексу с повторным ранжированием страниц обученная модель выдаёт идентификатор, связанный с существующим веб-адресом.

Версия модели с 4 миллиардами параметров охватывает около 201 миллиона страниц. Её ответ ограничен идентификаторами из таблицы веб-адресов — это должно мешать языковой модели выдумывать адреса.

В опубликованных спецификациях API указаны медианные серверные задержки: около 10 миллисекунд в облегчённом режиме и около 20 миллисекунд в стандартном. Облегчённый режим возвращает адрес и заголовок страницы; стандартный поддерживает дополнительные метаданные, фрагменты текста и, по желанию, содержимое страницы.

Поиск может быстро привести, например, к странице состояния поставщика, инструкции по восстановлению учётной записи или документации программы. Но передача данных по сети, загрузка дополнительного содержимого и работа модели, которая готовит ответ, отдельно влияют на общее время.

Результаты исследования показывают и ограничение охвата. По данным Octen, система ставит нужную страницу на первое место в 59,6% навигационных запросов. У базового метода плотного поиска с учётом кликов результат составил 46,5%. При этом, как отмечают авторы работы, поиск по эмбеддингам лучше справляется со страницами, на которые заходят редко. Это результаты исследования компании, а не подтверждение превосходства Pulse для любой корпоративной нагрузки.

Pulse можно рассматривать как быстрый способ находить знакомые адреса, дополняя его более широким поиском, когда нужно открыть новые источники. Но способность быстро найти главную страницу документации ещё не доказывает, что сервис найдёт именно тот фрагмент, который нужен агенту.

Подписки и стоимость для корпоративного использования

На странице цен Octen указана подписка Standard за $20 в месяц: она включает неограниченный поиск в интернете и 1 000 запросов по изображениям ежемесячно. Подписка Plus за $100 увеличивает лимит поиска по изображениям до 5 000 запросов и получает приоритет перед Standard.

Оба плана предназначены для личных аккаунтов. В периоды высокой нагрузки запросы могут ожидать в очереди. За дополнительный поиск по изображениям, получение полного содержимого страниц и другие API взимается отдельная плата с учётом указанных лимитов. Поэтому фиксированная стоимость подписки не означает гарантированного времени ответа.

Опубликованные тарифы сравнивают отдельные поисковые запросы, а не завершённые задачи по сбору информации:

Это разные продукты и режимы поиска, поэтому такой перечень не позволяет определить, какой сервис выдаёт результаты одинакового качества. Однако ценовая конкуренция заметна: быстрые режимы Parallel стоят столько же, сколько поиск Octen по сниженной цене.

Для гарантированной пропускной способности Octen отдельно продаёт тарифы с оплатой за ресурсы, сохраняя плату за использование API. Тариф Builder стоит $2 099 в месяц вместо $2 999 и предусматривает до 50 запросов в секунду и соглашение об уровне обслуживания. Это уже другое решение по сравнению с подпиской за $20.

При сравнении предложений компаниям стоит учитывать не только стоимость запроса, но и зарезервированную пропускную способность, параллельную обработку, лимиты на содержимое, поддержку и хранение данных. Например, Exa указывает для корпоративного предложения нулевое хранение данных и предлагает индивидуальные договорные условия и соглашения об уровне обслуживания.

Независимое сравнение скорости и цены

Индекс поиска Artificial Analysis, данные которого датированы 9 ноября, сравнивает 26 продуктов от 14 поставщиков. В тесте сохраняются одна и та же отвечающая модель и настройки проверки, а меняется поисковый сервис.

В конфигурации highlights Octen набрал 77 баллов. У Exa auto и Perplexity medium — по 80, у Exa lite — 79, у Parallel advanced и конфигурации Brave LLM context — по 75.

На одну задачу Octen в среднем тратит 15,2 секунды. Для сравнения, у Exa lite показатель составляет 19,0 секунды, у Brave — 22,0, у Parallel advanced — 39,3. В это время включены измеренная задержка поиска и расчётное время работы модели.

Поиск Octen стоит $9,07 на 1 000 задач. Ещё $14,50 приходится на модель, то есть общая стоимость составляет $23,57. У Exa lite итог — $42,15, у Parallel advanced — $58,60.

Результаты подтверждают преимущества Octen по скорости и общим расходам на задачу, но показывают, что некоторые конкуренты получают более высокие оценки качества. При этом тестировался Octen Search, а не заявленный для Pulse поиск страниц за 10 миллисекунд.

Для корпоративного пилотного проекта полезнее всего измерять стоимость приемлемого ответа. Более дешёвый запрос теряет преимущество, если из-за него приходится искать повторно, пропускается важное свидетельство или сотруднику нужно исправлять ответ.

Поиск по изображениям и ограничения лицензии

Octen добавляет поиск по изображениям: на сайте компании указано, что запрос можно сформулировать текстом или отправить опорную картинку. Поиск по видео пока доступен на раннем этапе. Компания предлагает использовать найденные изображения для поддержки генерации визуального контента или включать их вместе с текстом в ответ агента.

Такие функции могут пригодиться при сравнении товаров и работе с каталогами, но поиск по разным видам данных уже есть у конкурентов. Brave описывает API для поиска изображений и видео, а Parallel указывает цену поиска изображений: $1 за 1 000 быстрых запросов или $5 за 1 000 расширенных. Данных, которые подтверждали бы, что Octen первым предложил мультимодальный поиск, нет.

Для самостоятельного размещения модели важно учитывать лицензию. В карточке Octen-WebGR-4B указана CC BY-NC 4.0 для весов модели и таблицы соответствия идентификаторов веб-адресам; она ограничивает коммерческое использование. Код для инференса распространяется по Apache 2.0. Для получения коммерческой лицензии карточка модели предлагает связаться с Octen.

Поэтому загрузка модели сама по себе не даёт компании права использовать её в коммерческом сервисе. Покупка доступа к API и получение прав на локальное развёртывание — разные вопросы.

Проверка вместо редких запросов

Главная идея Octen — дать ИИ-агентам возможность чаще проверять информацию, не превращая каждый дополнительный запрос в дорогостоящее решение при проектировании системы.

В объявлении Зоу описал замысел компании как поиск, доступный разработчикам по мере роста нагрузки без необходимости ограничивать его использование, подобно коммунальным услугам.

При оценке сервиса компаниям стоит проверить Pulse на задачах поиска нужных страниц, сравнить поставщиков общего поиска на типичных исследовательских вопросах и измерить качество готовых ответов вместе с задержкой и общими расходами.

По оценке Dataist, скорость поиска сама по себе ещё не показывает, насколько надёжно агент справится с задачей. Для производственного использования важны качество найденных материалов, условия лицензирования и предсказуемость работы под нагрузкой.