Подобные задержки связаны не обязательно с дефектами чипов, моделей или кода. В больших ИИ-кластерах обновления прошивок, драйверов и сред выполнения должны распространяться на десятки тысяч машин, пока на них продолжают выполняться задачи. От скорости и безопасности этого процесса зависит, как много полезной работы кластер успеет выполнить.
Сбои оборудования и потеря вычислений
В статье Meta об обучении Llama 3 описан 54-дневный период предварительного обучения примерно на 16 000 ускорителей H100. За это время команда зафиксировала 466 прерываний задач: 419 из них были неожиданными — примерно одно каждые три часа. Около 78% этих прерываний связали с подтверждёнными или предполагаемыми проблемами оборудования. Meta также сообщила, что синхронное обучение приводило к колебаниям энергопотребления дата-центра на десятки мегаватт.
Даже небольшая вероятность отказа отдельной детали превращается в постоянный поток инцидентов, если таких деталей десятки тысяч. Ускорители, множество высокоскоростных соединений и стойки с энергопотреблением свыше 100 киловатт вместе создают условия, в которых редкие сбои становятся регулярными. Это следствие масштаба: стойки могут за миллисекунды перейти от простоя к пиковой нагрузке, а отказ любого компонента влияет на работу кластера.
Потери от сбоев можно оценивать через показатель полезного использования вычислений — долю оплаченных ресурсов, которая действительно продвигает обучение модели. Google Cloud использует для этого термин goodput. Если задача прерывается каждые три часа, а контрольные точки сохраняются каждые 30 минут, каждый сбой в среднем уничтожает около 15 минут работы. Ещё примерно 15 минут уходят на обнаружение проблемы, замену узла и перезапуск. В итоге задача теряет около получаса каждые три часа — примерно шестую часть времени.
Обновления затрагивают весь стек
В современном обучающем задании одновременно работают компоненты с отдельными версиями и графиками выпуска: прошивки ускорителей и контроллеров управления, программное обеспечение сетевых карт, драйверы, среды выполнения и средства диагностики. Все они должны совместно работать на каждой машине, участвующей в задаче. В типичном выпуске команда автора материала меняет большинство этих компонентов сразу.
Развертывание собственного парка ускорителей требует перестройки подхода к дата-центру: кластер работает как единый распределённый суперкомпьютер. Чипы соединены плотной сетью каналов «точка — точка», поэтому качество передачи сигналов особенно важно. Стойки потребляют значительно больше 100 киловатт, что делает жидкостное охлаждение обычным решением, а тысячи специализированных интегральных схем могут за миллисекунды перейти от простоя к пиковой нагрузке.
Чипы, соединения, стойки, охлаждение и компиляторы проектируются как части одной системы. Поэтому проблема в одном слое может выглядеть как сбой в другом: ненадёжный кабель — как зависание программного обеспечения, а перепад питания — как отказ чипа. Работа на площадке требует стресс-тестов после сборки оборудования, обслуживания по согласованному с планировщиками кластера графику и специальных процедур обращения с плотными корпусами.
Из-за этого инженерия выпусков затрагивает и оборудование. Команда автора применяет три подхода:
Ошибки проявляются на стыке компонентов
Автор приводит два случая, когда отдельные проверки компонентов не выявили проблему, хотя в сочетании с другими частями системы изменения приводили к сбоям.
В первом случае обновление прошивки уменьшило мощность по умолчанию для каждого ускорителя, чтобы стойка целиком укладывалась в энергетический лимит. Все тесты компонентов прошли, но системный тест показал, что длительность шага стандартного бенчмарка обучения выросла на 5% — результат не прошёл порог производительности. Команда прошивки ожидала замедления и считала его приемлемым, но не сообщила об этом владельцам проверок производительности. Ранние тесты отдельных компонентов использовали слишком мягкие пороги и не заметили ухудшения. Команда вернула прежнюю версию, потеряв три дня. Причиной стала несогласованность: сведения о запланированном компромиссе не дошли до команды, отвечавшей за пороговые проверки.
Во втором случае агент управления хостом собирал данные об ускорителях в буфер фиксированного размера и не очищал его перед обработкой следующей карты. Новая версия увеличила объём данных от каждой карты примерно втрое. На хостах с максимальным числом карт буфер переполнялся на последней, после чего агент терял сведения обо всём хосте и запускать на нём экземпляры было невозможно. Сами карты работали нормально. Проблема возникала только в одной конфигурации хоста, поэтому её нашло системное тестирование, но пропустила проверка кода.
В обоих случаях сбой возникал не внутри самого изменения, а на его стыке с другими условиями: энергетическим лимитом, максимальной конфигурацией оборудования или остальными компонентами. Такие проблемы выявляются, если тестировать всю систему так, как её будут использовать заказчики.
Остановка задачи — сравнительно заметный сбой. Сложнее обнаружить замедленный узел, который не сломан, но работает чуть медленнее остальных. Обучение синхронизировано по шагам, поэтому одна медленная машина задерживает все остальные ускорители, не вызывая сигнала о явной неисправности. Поиск таких узлов регулярно обсуждается в исследованиях обучения на больших кластерах.
Для их обнаружения нужно непрерывно анализировать низкоуровневые данные телеметрии: частоту ошибок каналов связи, количество ошибок памяти, температуру и энергопотребление. Неисправное оборудование следует выводить из работы до отказа, а не после него.
Как ИИ-агенты помогают выпускать обновления
Проверки создают больше данных о сбоях, чем люди успевают читать. За последний год команда автора начала применять ИИ-агентов для программирования в работе с выпусками. Им не поручают самостоятельно управлять парком: агенты выполняют три более узкие задачи.
Ограничения тоже существенны. Любое действие, затрагивающее парк, по-прежнему требует решения человека. Агенты могут уверенно ошибаться: например, читать не то поле или считать проверенным изменение на основании вывода, в котором нужных доказательств нет.
В одном случае агент сообщил автору, что все 10 хостов после прерванного теста вернулись в общий парк, и сослался на вывод команды отмены. Но тот вывод подтверждал только то, что запросы на отмену приняты. Проверка самих машин показала, что три из них всё ещё находились в процессе восстановления. Выигрыш от агентов достигается за счёт того, что люди быстрее проверяют информацию, а не за счёт устранения человеческого контроля.
Что учитывать командам инфраструктуры
Для команд, которые управляют ИИ-инфраструктурой, автор выделяет пять практических рекомендаций:
Стойки становятся плотнее, а в каждом новом поколении оборудования появляются компоненты с собственными графиками выпуска. Производители чипов задают верхний предел производительности, но близость к нему зависит от того, насколько быстро и безопасно операторы могут менять кластер каждую неделю.
Винайяк Вашиштха — руководитель в области инфраструктуры и инженерии выпусков.
По оценке Dataist, производительность ИИ-кластера определяется не только мощностью ускорителей: исправления должны безопасно доходить до всех нужных машин, а проверки — отличать новые сбои от прежних. Чем больше компонентов обновляется независимо, тем важнее тестирование всей системы и проверенный откат. ИИ-агенты могут ускорить разбор данных, но приведённый пример показывает, почему контроль действий, влияющих на парк, остаётся за людьми.
Читайте также
Священник: попытки Кремниевой долины найти «душу» ИИ глубоко тревожат
Одержимость Кремниевой долины гибелью человечества из-за ИИ толкает часть техноиндустрии к почти культовому поклонению
«Я выпускаю монстра из клетки»: сценарист «Таксиста» Пол Шрейдер — о том, как осваивает ИИ в 80 лет
Знаете эти ИИ-чипы, которые приносят миллиарды? Рабочие, собирающие их, говорят, что им платят гроши, — и теперь понимают, что у них есть рычаг влияния
Две организации подтвердили заявление математика: Claude помог доказать математическую гипотезу
OpenAI поделилась новыми подсказками для GPT-6.2 Astra и Sol: как избежать кратких ответов и лишних вопросов
Продать ИИ-стартапу цифровую копию своего лица — это будущее Голливуда?
Thinking Machines удивила петлевой моделью Inkling 2 Mini, которая работает локально на ноутбуках
«Я дрожала, плакала, задыхалась»: неизведанная травма разрыва отношений с ИИ-компаньонами
Масштабные сбои — это только начало
Мы нашли единственный достойный ИИ-чатбот — такой крошечный, что помещается на одну дискету MS-DOS
«Гибель человечества»: не сделают ли роборуки людей ненужными?
Как Google Duplex научилась звонить компаниям за вас через Gemini
Чем больше текстов читала ИИ T-Mobile, тем хуже становились её ответы
OpenAI значительно усложнила извлечение внутренних рассуждений своих новейших ИИ-моделей атакующими
Федеральные власти США расследуют «проблемы с бухгалтерской отчётностью» Nvidia
Ложь Дженсена Хуанга встревожила совет Nvidia ещё до его отставки
Signal блокирует скриншоты на iOS 27 и Android, чтобы ИИ-агенты не читали личные переписки
Математик Anthropic утверждает, что доказал гипотезу Римана с помощью Claude
Забудьте о роботах-бунтарях: по-настоящему нас должны пугать техномиллиардеры и крикет с ИИ
Ежедневные новости об ИИ
Каждый день отбираем важные новости об ИИ и рассказываем главное — без хайпа и воды. Если хотите понимать, что происходит в ИИ раньше остальных, — подписывайтесь.
Только важное — каждый день
В Telegram