Deepgram покупает Daily, создателя Pipecat, чтобы укрепить инфраструктуру голосового ИИ

Сектор голосового ИИ растёт, а компании укрепляют позиции через партнёрства и приобретения. Pipecat управляет потоками голоса и видео и связывает их с другими компонентами пайплайна — распознаванием речи, большими языковыми моделями и синтезом речи. Фреймворк помогает снизить задержку. Daily, в свою очередь, предоставляет размещённую инфраструктуру для голосовых и видеозвонков разных типов.

Сделка может помочь Deepgram глубже разобраться в инфраструктуре для голосовой и видеосвязи в реальном времени.

По данным PitchBook, Daily привлекла более 62 млн долларов от инвесторов, среди которых Tiger Global, Highfield Capital, Нат Фридман, Лэчи Грум и Кевин Вейл. Ранее в этом году Deepgram получила статус компании-единорога после раунда Series C на 130 млн долларов. Обе компании участвовали в одной партии Y Combinator в 2016 году.

Сооснователь Daily Квиндла Крамер рассказал, что примерно во время выхода GPT-4 компания начала экспериментировать с общением людей и ИИ с помощью голоса и текста. В итоге появился Pipecat. По его словам, Daily получала много предложений о покупке, но его убедили обязательство генерального директора Deepgram Скотта Стивенсона сохранить Pipecat открытым навсегда и близкие инженерные подходы двух компаний. В составе крупной организации команда Daily сможет работать над разными частями технологического стека.

Крамер объяснил, что открытость и независимость от поставщиков могут быть коммерческим преимуществом: компания, которая занимает центральное место в быстро растущей экосистеме и предлагает в ней одни из лучших компонентов, выигрывает, если остальные участники тоже могут свободно развиваться.

Стивенсон сообщил, что Deepgram давно хотела работать с открытым программным обеспечением. Компания увидела в оркестрационном фреймворке для агентов перспективное направление — это и привело к партнёрству с Daily.

Deepgram хочет, чтобы голосовых агентов могли создавать все желающие. Разработчики могут выбрать модели Deepgram или другие, наиболее подходящие для их задач. Если модели и продукты Deepgram отстают в какой-то области, компания готова предложить партнёрские решения и параллельно улучшать собственные.

По словам Стивенсона, покупка позволит разработчикам создавать выразительных агентов и речевые системы полного цикла, подключая разные модели и шину контекста, которая связывает компоненты системы.

Сделка также даст Deepgram возможность изучать направления за пределами голоса: Pipecat поддерживает общение в реальном времени в разных форматах. Крамер уточнил, что команда изначально считала Pipecat не набором инструментов для голоса, а инструментарием для нового типа программного обеспечения, изначально рассчитанного на работу в реальном времени.

Кроме того, Deepgram запускает Real-Time Context Standard (RCS) — открытый протокол для голосовых агентов, разработанный совместно с командой Pipecat. Он задаёт метаданные, включая контекст из аудио, например шёпот, инструкции для языковой модели о том, как учитывать эти сигналы, и рекомендации о том, как должен звучать ответ.

В голосовой ИИ активно вкладываются и разработчики моделей, и инфраструктурные компании. ElevenLabs, Gradium и Fish Audio привлекли миллионы долларов. LiveKit и Vapi в этом году также получили многомиллионные инвестиции.