Amazon нанесла Nvidia самый серьёзный удар — выпустила инструмент для разработчиков TorchNeuron

Как TorchNeuron работает с PyTorch

PyTorch — бесплатный набор инструментов с открытым исходным кодом для разработки, обучения и запуска моделей ИИ. TorchNeuron совместим с PyTorch и, по словам Amazon, позволяет запускать написанные на нём приложения на Trainium после изменения одной строки конфигурации.

Около 85% приложений с ИИ написаны на PyTorch, утверждает Amazon. Изначально этот инструмент разработала Facebook, а с 2022 года он входит в Linux Foundation, которая поддерживает проекты с открытым исходным кодом. Nvidia годами добивалась того, чтобы её программная платформа CUDA — инфраструктура для запуска приложений на графических процессорах Nvidia и другом оборудовании компании — без сбоев поддерживала приложения на PyTorch. В результате оборудование Nvidia стало тесно связано с этим набором инструментов и фактически превратилось в вариант по умолчанию.

TorchNeuron создан на основе PyTorch, поэтому разработчикам, знакомым с PyTorch, не придётся осваивать отдельный инструмент. Amazon — не первая компания, которая пытается упростить запуск приложений на собственных чипах через эту платформу: пользователи PyTorch могут переносить приложения на графические процессоры AMD и даже чипы Apple, просто изменив настройки.

Зачем стартапам облако AWS

Amazon утверждает, что перенос на Trainium не только прост, но и открывает стартапам доступ ко всей облачной инфраструктуре компании. AWS считает это более выгодным вариантом, чем неооблака, многие из которых связаны с Nvidia и её оборудованием: например, Coreweave, Nebius и Firmus.

Колин Брэйс, вице-президент по программному обеспечению в AWS Annapurna Labs — подразделении, которое разрабатывает собственные чипы Amazon, — рассказал TechCrunch по электронной почте, что, работая на AWS, разработчики используют не отдельного поставщика вычислительных мощностей и не собирают вокруг него остальную инфраструктуру. По его словам, на AWS уже есть всё необходимое, чтобы перевести проект от прототипа к полноценному продукту: основатели могут быстро начать работу и наращивать мощности по мере необходимости.

AWS также заявляет, что её облако поможет стартапам сэкономить: один и тот же чип обслуживает и обучение модели, и инференс — запуск готовой модели, например для ответа на вопрос пользователя, — а инфраструктура для стартапов тесно связана с облаком. Поэтому Amazon рассчитывает на экономию, даже если цена за токен у AWS не самая низкая.

Брэйс объяснил ценность Trainium сочетанием цены и производительности, а также тем, что одна платформа используется и для обучения, и для инференса, что снижает затраты на весь рабочий процесс. В качестве примера он привёл Deepgram: компания перешла на Trainium, используя PyTorch, и теперь обрабатывает на 70% больше аудио на каждый доллар при точности, пригодной для производства. Deepgram предлагает голосовые приложения с ИИ и конкурирует с ElevenLabs.

Amazon хочет изменить сам PyTorch

Amazon собирается не только упростить разработчикам перенос приложений на своё облако. Компания также намерена сделать PyTorch менее привязанным к Nvidia и передать для этого изменения в основной проект PyTorch.

В публикации о запуске TorchNeuron Amazon сообщила, что работает с сообществом PyTorch над удалением кода, который привязывает фреймворк к конкретным чипам. Цель — сделать PyTorch менее зависимым от оборудования для всех разработчиков, а не только для пользователей Trainium.

Такой подход выгоден компаниям, продающим оборудование и облачные услуги в конкуренции с Nvidia. Однако PyTorch задуман в том числе для того, чтобы скрывать сложности запуска кода ИИ на разных устройствах. Пока неясно, даст ли ослабление привязки к Nvidia больше выбора и снизит ли расходы разработчиков, как обещает Amazon, или, напротив, усложнит настройку.

Если Amazon удастся существенно отделить PyTorch от Nvidia, последствия для производителя графических процессоров могут выйти за рамки конкуренции с другими поставщиками чипов. Брэйс назвал главной задачей устранение зависимости, из-за которой у разработчиков прежде фактически не было полноценного выбора.