Google за год выпустила четыре варианта TPU, усиливая конкуренцию с Nvidia

Новые конфигурации на прежних процессорах

TPU 8tx и TPU 8i Max предназначены для разных задач. Первая система рассчитана на работу с конфиденциальными данными, вторая — на приложения с высокими требованиями к памяти.

Google не меняет поколение чипов: обе системы построены на уже существующем кремнии. Компания меняет конфигурации — упаковку процессоров, сетевые подключения и объём памяти. Такой модульный подход, по замыслу Google, позволяет выпускать новые варианты оборудования за месяцы, а не годы.

TPU 8tx защищает данные во время вычислений

TPU 8tx предназначена для компаний и государственных организаций, работающих с конфиденциальными данными. Обычно данные шифруют при хранении и передаче, но процессору необходимо расшифровать их в памяти, чтобы выполнять вычисления.

Google заявляет, что в TPU 8tx данные и веса моделей остаются защищёнными и изолированными даже во время обработки. Сопоставимую функцию для графических процессоров предлагает Nvidia в своей архитектуре конфиденциальных вычислений.

Система использует низколатентную сеть Boardfly, которую Google разработала для инференса в реальном времени. По данным компании, TPU 8tx должна снижать задержку до двух раз сильнее, чем TPU 8t. На одной системе предприятия смогут настраивать модели, сжимать большие модели в меньшие и обучать ИИ-агентов с помощью обучения с подкреплением, не перемещая конфиденциальные данные между кластерами.

TPU 8i Max увеличивает память и вычислительную мощность

TPU 8i Max решает проблему ограниченной пропускной способности памяти. Она может становиться узким местом, когда ИИ-агенты одновременно обрабатывают большие кодовые базы или несколько часов видео.

Google разместила два чипа TPU 8i в одном корпусе. В том же формате стойки это даёт вдвое больше вычислительной мощности, памяти и пропускной способности памяти. За счёт этого система обеспечивает более высокую производительность на квадратный метр площади дата-центра.

С новыми дополнениями Google теперь предлагает четыре варианта TPUv8

Источник: the-decoder.com

Google упрощает переход на TPU

Google выпустила TorchTPU с открытым исходным кодом. Благодаря ему код для PyTorch должен запускаться на TPU с минимальными изменениями. Также поддерживаются популярные фреймворки для инференса vLLM и SGLang.

Рынок инференса усиливает конкуренцию за чипы

Google всё активнее предлагает TPU внешним заказчикам, а не только использует их внутри компании. Сейчас у неё почти 100 внешних клиентов TPU.

Расширение линейки связано с ростом спроса на инференс — повседневную работу моделей. По мере распространения ИИ-приложений внимание смещается от дорогих запусков обучения к выполнению моделей. Специализированные чипы вроде TPU могут использовать преимущества своей архитектуры в таких задачах.

Свои ускорители также разрабатывают Amazon, Microsoft и OpenAI. Nvidia усилила предложение для инференса благодаря сделке с Groq, включающей найм сотрудников и лицензионное соглашение.

По оценке Dataist, Google расширяет TPU сразу в двух направлениях: предлагает решения для конфиденциальных вычислений и повышает производительность задач, ограниченных объёмом памяти. Однако для внешних заказчиков значение имеет и программная совместимость — TorchTPU и поддержка популярных фреймворков должны упростить переход на оборудование Google.