i
Новости
Новости · 2026-11-21

Даже самые быстрые ИИ-кластеры могут тормозить из-за процессов выпуска обновлений

Dataist Dataist

Обновление прошивки в одном кластере шло по зонам шесть дней, пока автоматика не остановила его: доля хостов, некорректно перезагрузившихся в одной зоне, превысила порог безопасности. Проверка показала, что эти машины зависли ещё до обновления. Команда изменила правило, исключив хосты, которые были неисправны заранее, и завершила развертывание через девять дней. Этот случай показывает, почему состояние машин нужно оценивать относительно того, каким оно было до изменений: иначе сбой, возникший раньше, можно ошибочно приписать выпуску обновления.

Обложка: Даже самые быстрые ИИ-кластеры могут тормозить из-за процессов выпуска обновлений

Подобные задержки связаны не обязательно с дефектами чипов, моделей или кода. В больших ИИ-кластерах обновления прошивок, драйверов и сред выполнения должны распространяться на десятки тысяч машин, пока на них продолжают выполняться задачи. От скорости и безопасности этого процесса зависит, как много полезной работы кластер успеет выполнить.

Сбои оборудования и потеря вычислений

В статье Meta об обучении Llama 3 описан 54-дневный период предварительного обучения примерно на 16 000 ускорителей H100. За это время команда зафиксировала 466 прерываний задач: 419 из них были неожиданными — примерно одно каждые три часа. Около 78% этих прерываний связали с подтверждёнными или предполагаемыми проблемами оборудования. Meta также сообщила, что синхронное обучение приводило к колебаниям энергопотребления дата-центра на десятки мегаватт.

Даже небольшая вероятность отказа отдельной детали превращается в постоянный поток инцидентов, если таких деталей десятки тысяч. Ускорители, множество высокоскоростных соединений и стойки с энергопотреблением свыше 100 киловатт вместе создают условия, в которых редкие сбои становятся регулярными. Это следствие масштаба: стойки могут за миллисекунды перейти от простоя к пиковой нагрузке, а отказ любого компонента влияет на работу кластера.

Потери от сбоев можно оценивать через показатель полезного использования вычислений — долю оплаченных ресурсов, которая действительно продвигает обучение модели. Google Cloud использует для этого термин goodput. Если задача прерывается каждые три часа, а контрольные точки сохраняются каждые 30 минут, каждый сбой в среднем уничтожает около 15 минут работы. Ещё примерно 15 минут уходят на обнаружение проблемы, замену узла и перезапуск. В итоге задача теряет около получаса каждые три часа — примерно шестую часть времени.

54 дняпредварительное обучение
16 000ускорителей H100
466прерываний задач
78%прерываний связали с проблемами оборудования

Обновления затрагивают весь стек

В современном обучающем задании одновременно работают компоненты с отдельными версиями и графиками выпуска: прошивки ускорителей и контроллеров управления, программное обеспечение сетевых карт, драйверы, среды выполнения и средства диагностики. Все они должны совместно работать на каждой машине, участвующей в задаче. В типичном выпуске команда автора материала меняет большинство этих компонентов сразу.

Развертывание собственного парка ускорителей требует перестройки подхода к дата-центру: кластер работает как единый распределённый суперкомпьютер. Чипы соединены плотной сетью каналов «точка — точка», поэтому качество передачи сигналов особенно важно. Стойки потребляют значительно больше 100 киловатт, что делает жидкостное охлаждение обычным решением, а тысячи специализированных интегральных схем могут за миллисекунды перейти от простоя к пиковой нагрузке.

Чипы, соединения, стойки, охлаждение и компиляторы проектируются как части одной системы. Поэтому проблема в одном слое может выглядеть как сбой в другом: ненадёжный кабель — как зависание программного обеспечения, а перепад питания — как отказ чипа. Работа на площадке требует стресс-тестов после сборки оборудования, обслуживания по согласованному с планировщиками кластера графику и специальных процедур обращения с плотными корпусами.

Из-за этого инженерия выпусков затрагивает и оборудование. Команда автора применяет три подхода:

Проверять обновления до запуска на тестовой зоне. Развёртывание по-прежнему начинается с небольшой пилотной зоны, но обычные проверки здоровья машин выявляют лишь явные сбои — например, если хост не перезапустился или на нём нельзя запустить экземпляр. Проблема может проявиться только при обмене данными между сотнями чипов под полной нагрузкой или после нескольких часов работы. Поэтому каждый выпуск сначала несколько дней проверяют на отдельных тестовых парках: проводят стресс-тесты коллективных коммуникаций, проверяют память и запускают длительные тесты обучения.
Проверять и обновление, и откат. В обычном программном обеспечении вернуться к прежней версии часто можно одним нажатием. В кластере некоторые обновления устанавливаются без перезагрузки, другие требуют её; часть изменений нельзя просто отменить, а старая версия одного компонента может оказаться несовместима с новой версией другого. На тестовых парках машины 20 раз переводят на новую версию и обратно в течение четырёх дней. Выпуск допускают к развертыванию, только если оба направления проходят без сбоев.
Планировать обновление по зонам и срокам. Выпуск на весь парк занимает две недели и проходит по регионам. В одном регионе две зоны не обновляют в один день, самые крупные зоны оставляют напоследок, а график учитывает периоды запрета на изменения в праздники и другие одновременно идущие выпуски. Проверки состояния могут остановить процесс на любом этапе.

Ошибки проявляются на стыке компонентов

Автор приводит два случая, когда отдельные проверки компонентов не выявили проблему, хотя в сочетании с другими частями системы изменения приводили к сбоям.

В первом случае обновление прошивки уменьшило мощность по умолчанию для каждого ускорителя, чтобы стойка целиком укладывалась в энергетический лимит. Все тесты компонентов прошли, но системный тест показал, что длительность шага стандартного бенчмарка обучения выросла на 5% — результат не прошёл порог производительности. Команда прошивки ожидала замедления и считала его приемлемым, но не сообщила об этом владельцам проверок производительности. Ранние тесты отдельных компонентов использовали слишком мягкие пороги и не заметили ухудшения. Команда вернула прежнюю версию, потеряв три дня. Причиной стала несогласованность: сведения о запланированном компромиссе не дошли до команды, отвечавшей за пороговые проверки.

Во втором случае агент управления хостом собирал данные об ускорителях в буфер фиксированного размера и не очищал его перед обработкой следующей карты. Новая версия увеличила объём данных от каждой карты примерно втрое. На хостах с максимальным числом карт буфер переполнялся на последней, после чего агент терял сведения обо всём хосте и запускать на нём экземпляры было невозможно. Сами карты работали нормально. Проблема возникала только в одной конфигурации хоста, поэтому её нашло системное тестирование, но пропустила проверка кода.

В обоих случаях сбой возникал не внутри самого изменения, а на его стыке с другими условиями: энергетическим лимитом, максимальной конфигурацией оборудования или остальными компонентами. Такие проблемы выявляются, если тестировать всю систему так, как её будут использовать заказчики.

Остановка задачи — сравнительно заметный сбой. Сложнее обнаружить замедленный узел, который не сломан, но работает чуть медленнее остальных. Обучение синхронизировано по шагам, поэтому одна медленная машина задерживает все остальные ускорители, не вызывая сигнала о явной неисправности. Поиск таких узлов регулярно обсуждается в исследованиях обучения на больших кластерах.

Для их обнаружения нужно непрерывно анализировать низкоуровневые данные телеметрии: частоту ошибок каналов связи, количество ошибок памяти, температуру и энергопотребление. Неисправное оборудование следует выводить из работы до отказа, а не после него.

Как ИИ-агенты помогают выпускать обновления

Проверки создают больше данных о сбоях, чем люди успевают читать. За последний год команда автора начала применять ИИ-агентов для программирования в работе с выпусками. Им не поручают самостоятельно управлять парком: агенты выполняют три более узкие задачи.

Разбор сбоев. Агенты читают заявки о проблемах и группируют их по причинам. В одном недавнем случае они объединили около 40 заявок в семь первопричин; несколько заявок описывали одну и ту же аппаратную проблему.
Очистка после тестов. Если тестовый запуск прерывается, десятки хостов могут остаться в разных системах посреди восстановления: в одной системе всё ещё действует запрос на выделение, в другой — процесс проверки оборудования, в третьей — резервирование. Агент может найти все незавершённые операции и предложить порядок их отмены. Порядок важен: некоторые системы не позволяют отменить действие, пока хост удерживается другой системой.
Подготовка документов. Агент составляет черновики сводок выпусков, записей об изменениях и обоснований того, является ли сбой препятствием для выпуска. Человек проверяет и редактирует их.

Ограничения тоже существенны. Любое действие, затрагивающее парк, по-прежнему требует решения человека. Агенты могут уверенно ошибаться: например, читать не то поле или считать проверенным изменение на основании вывода, в котором нужных доказательств нет.

В одном случае агент сообщил автору, что все 10 хостов после прерванного теста вернулись в общий парк, и сослался на вывод команды отмены. Но тот вывод подтверждал только то, что запросы на отмену приняты. Проверка самих машин показала, что три из них всё ещё находились в процессе восстановления. Выигрыш от агентов достигается за счёт того, что люди быстрее проверяют информацию, а не за счёт устранения человеческого контроля.

Что учитывать командам инфраструктуры

Для команд, которые управляют ИИ-инфраструктурой, автор выделяет пять практических рекомендаций:

1Измерять полезное использование вычислений для каждой задачи и отслеживать, сколько времени проходит от включения исправления в код до его установки на все затронутые хосты. Второй показатель, по наблюдению автора, есть не у большинства команд.
2Сравнивать состояние хостов до и после обновления. Проверка, не учитывающая исходное состояние машины, может остановить исправный выпуск и пропустить проблемный.
3Считать тестовый парк частью кластера. Выпуск, проверенный лишь на нескольких хостах, нельзя считать полноценно протестированным.
4Развивать инженерию выпусков как направление, тесно связанное с оборудованием. Специалистам нужно разбираться не только в пайплайнах, но и в журналах прошивок и телеметрии каналов связи.
5Начинать применение агентов с разбора сбоев и очистки после тестов, оставляя решения, которые затрагивают парк, людям.

Стойки становятся плотнее, а в каждом новом поколении оборудования появляются компоненты с собственными графиками выпуска. Производители чипов задают верхний предел производительности, но близость к нему зависит от того, насколько быстро и безопасно операторы могут менять кластер каждую неделю.

Винайяк Вашиштха — руководитель в области инфраструктуры и инженерии выпусков.

По оценке Dataist, производительность ИИ-кластера определяется не только мощностью ускорителей: исправления должны безопасно доходить до всех нужных машин, а проверки — отличать новые сбои от прежних. Чем больше компонентов обновляется независимо, тем важнее тестирование всей системы и проверенный откат. ИИ-агенты могут ускорить разбор данных, но приведённый пример показывает, почему контроль действий, влияющих на парк, остаётся за людьми.

Священник: попытки Кремниевой долины найти «душу» ИИ глубоко тревожат Одержимость Кремниевой долины гибелью человечества из-за ИИ толкает часть техноиндустрии к почти культовому поклонению «Я выпускаю монстра из клетки»: сценарист «Таксиста» Пол Шрейдер — о том, как осваивает ИИ в 80 лет Знаете эти ИИ-чипы, которые приносят миллиарды? Рабочие, собирающие их, говорят, что им платят гроши, — и теперь понимают, что у них есть рычаг влияния Две организации подтвердили заявление математика: Claude помог доказать математическую гипотезу OpenAI поделилась новыми подсказками для GPT-6.2 Astra и Sol: как избежать кратких ответов и лишних вопросов Продать ИИ-стартапу цифровую копию своего лица — это будущее Голливуда? Thinking Machines удивила петлевой моделью Inkling 2 Mini, которая работает локально на ноутбуках «Я дрожала, плакала, задыхалась»: неизведанная травма разрыва отношений с ИИ-компаньонами Масштабные сбои — это только начало Мы нашли единственный достойный ИИ-чатбот — такой крошечный, что помещается на одну дискету MS-DOS «Гибель человечества»: не сделают ли роборуки людей ненужными? Как Google Duplex научилась звонить компаниям за вас через Gemini Чем больше текстов читала ИИ T-Mobile, тем хуже становились её ответы OpenAI значительно усложнила извлечение внутренних рассуждений своих новейших ИИ-моделей атакующими Федеральные власти США расследуют «проблемы с бухгалтерской отчётностью» Nvidia Ложь Дженсена Хуанга встревожила совет Nvidia ещё до его отставки Signal блокирует скриншоты на iOS 27 и Android, чтобы ИИ-агенты не читали личные переписки Математик Anthropic утверждает, что доказал гипотезу Римана с помощью Claude Забудьте о роботах-бунтарях: по-настоящему нас должны пугать техномиллиардеры и крикет с ИИ

Ежедневные новости об ИИ

Каждый день отбираем важные новости об ИИ и рассказываем главное — без хайпа и воды. Если хотите понимать, что происходит в ИИ раньше остальных, — подписывайтесь.

Только важное — каждый день

В Telegram