От ручной отладки к рабочему процессу
Сначала команда OpenAI разбирала замедления вручную: изучала журналы и трассировки, проверяла изменения в коде и отлаживала работающие сервисы. Для ускорения этой работы инженеры создали более 30 специализированных инструментов.
Codex изменил порядок работы: вместо того чтобы самостоятельно искать по кодовым базам и данным мониторинга, инженеры могли спросить агента, почему сервис стал медленнее. Codex изучал журналы и использовал инструменты, но ход расследования всё ещё направляли люди.
Чтобы сократить это участие, команда создала повторно используемый навык Codex perf-forensics. В нём собраны процедуры расследования, которым агент может следовать. После тестирования и доработки навыка инженеры смогли передавать Codex сигнал о проблеме и получать диагноз за один запуск.
Затем команда связала сигналы мониторинга с облачными сеансами Codex: инженерам больше не нужно было вручную переносить оповещения в Codex, а результаты — в Slack. Но диагноз всё равно требовал проверки и внедрения исправления человеком. Команда ChatGPT сталкивалась с регрессиями почти ежедневно и с трудом отслеживала их.
Сначала инженеры сделали систему учёта регрессий, чтобы справиться с растущей нагрузкой. Затем пришли к следующему шагу: каждую зарегистрированную проблему можно превратить в задачу для Codex. Агент последовательно ищет причину, предлагает исправление и проверяет, восстановилась ли работа сервиса. Эта идея легла в основу архитектуры Performance Factory.
Как устроена Performance Factory
Работа организована как задачи, проходящие заранее заданные этапы. Задача может начаться с сигнала о снижении производительности, а затем пройти расследование, установление причины, изменение кода, проверку и подтверждение результата.
У каждой задачи отдельно хранятся состояние и выводы. Поэтому разные агенты могут работать над одной проблемой на разных этапах. Запись включает поле для заметок в свободной форме и структурированные данные — например, когда началась регрессия и когда нашли её причину.
В задачу не копируют большие массивы данных профилирования. Вместо этого агенты сохраняют нужные показатели, запросы и основные выводы. Следующий агент получает запись и при необходимости может повторно выполнить запросы, чтобы проверить результаты. Так агенты передают друг другу достаточно сведений, не перегружая записи и сохраняя доступ к исходным данным.
Система состоит из четырёх частей:
Как проходит расследование
Первая практическая реализация Performance Factory — Regression Workflow, рабочий процесс для расследования регрессий производительности. Он запускается при срабатывании настроенного сигнала и создаёт задачу для агентов, использующих навык perf-forensics.
Сначала агент выясняет, что изменилось: изучает затронутые показатели, определяет, когда началось замедление и какие запросы оказались затронуты. Затем он ищет причину, сопоставляя изменения кода, журналы и трассировки.
Иногда агент останавливался на первом правдоподобном объяснении, хотя данные не подтверждали его полностью. Чтобы проверять диагнозы, OpenAI добавила состязательную проверку: отдельный сеанс Codex получает всю запись задачи, но начинает с чистого контекста. Его промт требует искать пробелы в рассуждении, проверять подтверждающие данные и рассматривать другие объяснения.
В одном случае первый агент связал сбои в разговорах ChatGPT с ошибками загрузки изображений. Проверяющий заметил, что внутренний сервис поиска файлов уже восстановился, а запросы изображений всё ещё завершались с ошибками. Поэтому он возобновил расследование: исходный диагноз не объяснял продолжавшиеся сбои.
Сначала проверяющий возвращал на дополнительное расследование много диагнозов. Команда использовала эти случаи, чтобы улучшить инструкции для основного агента. Теперь состязательная проверка возвращает около 25% диагнозов.
После проверки Codex предлагает исправление и открывает запрос на изменение кода. Инженер проверяет его и решает, принимать ли изменения. По данным команды OpenAI, из более чем 600 расследований, в которых удалось установить причину, около 400 дошли до предложения исправления. Примерно 50 выпущенных исправлений учитывали предложения агента или совпадали с ними; около 15 выпущенных исправлений были точными копиями запросов на изменение кода, созданных Codex.
Команда считает, что до автоматического устранения проблем ещё далеко. При этом Performance Factory уже автоматизировала значительную часть работы: обнаружение регрессий, поиск причин, отслеживание хода расследования и проверку восстановления. Повысить качество предлагаемых исправлений остаётся одной из задач. OpenAI также завершила создание набора проверок рабочих процессов, который планирует использовать для улучшения исправлений от агентов.
Codex лучше справляется, когда причина регрессии ясна, а исправление ограниченно по объёму. Например, изменение кода может заставить приложение несколько раз сериализовать один и тот же разговор при обработке запроса. Агент способен обнаружить повторную работу и предложить сериализовать разговор один раз, а затем повторно использовать результат.
Сложнее обстоят дела с изменениями архитектуры, особенно когда новая функция увеличивает задержку. В таких случаях агенты могут предлагать чрезмерно сложные решения или создавать новые проблемы. Например, добавление кэша может ускорить ответы, но привести к выдаче устаревших данных. Поэтому OpenAI внедрила состязательную проверку и для предлагаемых исправлений.
Когда инженер разворачивает исправление, другой агент проверяет, устранена ли проблема с производительностью. Если она сохраняется, рабочий процесс возвращает задачу на расследование.
Как инженеры работают с результатами
Сначала инженеры получали интерфейс, заполненный результатами расследований, и сами определяли, какие из них важны. Теперь система группирует связанные инциденты, ранжирует их по предполагаемому влиянию и готовит краткие отчёты с графиками и показателями. Это помогает оценивать предложения агентов, не восстанавливая ход каждого расследования по исходным данным.
В работе с агентными системами команда выделяет несколько подходов, применимых и за пределами анализа производительности:
От сигналов к профилактике
Сейчас Performance Factory реагирует на настроенные сигналы, но OpenAI планирует перейти и к заблаговременному поиску проблем. Команда изучает, как агенты могут сравнивать профили загрузки центрального процессора, данные о памяти и трассировки запросов между выпусками, чтобы находить замедления, которые не заметили сигналы мониторинга. Ещё одно направление — настройка ресурсов сервисов: агенты могут искать неэффективные конфигурации автоматического масштабирования.
OpenAI также исследует, смогут ли агенты в будущем самостоятельно развёртывать некоторые исправления с низким риском, без одобрения человека.
По словам команды OpenAI, автоматизация расследований регрессий позволила инженерам уделять больше времени долгосрочному повышению производительности, а не постоянной реакции на инциденты. Команда также хочет превращать знания из отдельных расследований в повторно используемые рабочие процессы, которые помогут улучшать сервисы по всей организации. Выводы одной проверки могут пригодиться при поиске и устранении похожей проблемы в другом проекте или сервисе спустя месяцы.
По оценке Dataist, Performance Factory автоматизирует значительную часть пути от сигнала до проверки восстановления, но решения о внедрении кода пока остаются за инженерами. Результаты показывают и пределы нынешнего подхода: лишь около 15 выпущенных исправлений были точными запросами на изменение кода от Codex. Дальнейшее развитие системы зависит от того, насколько качественно агенты смогут предлагать исправления и проверять их возможные побочные эффекты.
Читайте также
Стартап бывшего топ-менеджера Alibaba Everful привлёк $48,5 млн, чтобы связать ритейлеров с китайскими фабриками
Google построила гигантское «Зеркальное измерение» интернета для испытания ИИ-агентов в Chrome
Исследователь Anthropic: после выхода компании на биржу почти все люди могут навсегда потерять возможность найти работу
Anthropic бьёт в колокол на Nasdaq: торги начинаются после рекордного IPO — деловая хроника в реальном времени
Собственные исследователи OpenAI теперь ценят свои ИИ-инструменты выше, чем почти половину коллег
Superhuman внедряет своего ассистента Go повсюду
Музыкальная индустрия Австралии отвергла предложение освободить музыкантов от сбора данных для обучения ИИ, назвав его попыткой «разделяй и властвуй»
Pangram счёл 99% отмеченного премией романа перуанского автора текстом ИИ, но издательство его поддержало
Nvidia заинтриговала, не подав обычный отчёт в SEC
Модели Anthropic, OpenAI и Google без труда назначали медиков, журналистов и сдающихся солдат целями дронов-камикадзе
Snapchat разрешила создавать AR-линзы с помощью ИИ-ассистентов вроде Claude Code и Cursor
Продавить ненужные никому дата-центры и надеяться, что пузырь ИИ не лопнет: таков план Британии по росту экономики
OCR-модели оцифровывают миллион страниц дешевле $130: за 18 месяцев цены упали в пять раз
Если технарям приходится увольняться, чтобы бить тревогу, пора беспокоиться
Mistral догоняет конкурентов с Vibe Desktop, пока те уже управляют целыми операционными системами
Более половины электроэнергии крупнейших дата-центров США дают газ и уголь
Сатья Наделла объяснил, зачем предложил 60 тысячам сотрудников Microsoft уйти из компании
Hugging Face направляет запросы к моделям через OpenRouter, выбирая лучшие цену или скорость
На фоне опасений из-за кибератак с ИИ Сатья Наделла предупредил: многие объекты критической инфраструктуры нельзя защитить обновлениями
Google выпустила Gemini 4 Neon: кодит на уровне Opus 5.5, а токены API на 25% дешевле
Ежедневные новости об ИИ
Каждый день отбираем важные новости об ИИ и рассказываем главное — без хайпа и воды. Если хотите понимать, что происходит в ИИ раньше остальных, — подписывайтесь.
Только важное — каждый день
В Telegram