i
Новости
Новости · 2026-11-22

Модель машинного обучения прошла все тесты. Но что они могли упустить?

Dataist Dataist

Модель машинного обучения может пройти все тесты и всё же плохо работать после выпуска: в реальных данных встречаются шум, изменения распределений и ситуации, которых не было в проверочной выборке. Практик-архитектор в области ИИ и машинного обучения Кармендра Пандей предлагает проверять перед каждым выпуском модели независимость данных, качество на отдельных сегментах, точность оценок уверенности, редкие кейсы, готовность к дрейфу и возможность безопасного отката. Те же проверки нужно продолжать после запуска.

Обложка: Модель машинного обучения прошла все тесты. Но что они могли упустить?

Шесть проверок перед выпуском

Чистые знакомые данные и удобные условия напоминают подготовку студента к экзамену: результат выглядит хорошо, пока система не сталкивается с реальной работой. По наблюдениям Пандея, такая ошибка повторяется в производственных системах машинного обучения уже почти два десятилетия. Избежать её помогают не обязательно самые сложные модели, а регулярные проверки до и после выпуска.

1Проверить независимость оценочных данных. Дубликаты и почти одинаковые примеры могут попасть и в обучение, и в проверку. Утечка также возникает, если данные для обучения захватывают период после проверяемого периода или если предобработка подгонялась на всём наборе до разделения. Перед выпуском стоит выяснить, как собрана оценочная выборка, где проходит временная граница между обучением и оценкой и какая доля примеров близка к обучающим. Если команда не может объяснить это коротко и ясно, независимой проверки, по мнению автора, нет.
2Смотреть на метрики по сегментам. Общая точность скрывает слабые места. Например, при точности 94% по всему набору она может составлять только 61% на важном для выручки сегменте, на самых новых данных или у конкретной группы клиентов. Поэтому результаты нужно разбивать по времени, источнику данных, клиентским сегментам и другим важным для бизнеса признакам. Если значимый сегмент ухудшается, а общая метрика этого не показывает, выпуск следует отложить.
3Проверить калибровку уверенности. Многие системы используют не только предсказание модели, но и её оценку уверенности: случаи с низкой оценкой передают человеку или обрабатывают запасным способом. Это работает, только если оценки соответствуют действительности: если модель сообщает о 90-процентной уверенности, она должна быть права примерно в 90% таких случаев. После файн-тюнинга или сдвига распределения данные часто оказываются некалиброванными. Проверить это можно диаграммой надёжности или ожидаемой ошибкой калибровки на оценочных данных, похожих на свежие производственные. Если модель систематически переоценивает свою уверенность, нужно изменить пороги или перестать полагаться на эти оценки.
4Специально проверять редкие кейсы. Оценочные наборы отражают прошлые данные, а в работе появляются новые выражения, категории товаров, ошибки распознавания текста и другие неожиданные входы. Набор из нескольких сотен специально подобранных сложных примеров может выявить ошибки, которые не обнаружат десять тысяч случайных проверочных примеров. Его нужно постоянно обновлять: каждый производственный инцидент следует превращать в новый редкий кейс, чтобы та же ошибка не повторилась при следующем выпуске.
5Заранее подготовиться к дрейфу. Меняются пользовательское поведение, источники данных и сезоны. Модель, проверенная сегодня, подтверждена для сегодняшних условий. Поэтому важно не только убедиться, что она работает сейчас, но и заранее определить, как команда заметит ухудшение. Для этого нужно выбрать метрики дрейфа — распределения входных данных и предсказаний, а также бизнес-показатели, — задать пороги оповещений и назначить ответственного. Без плана мониторинга автор не рекомендует выпускать модель: система без наблюдения становится риском.
6Разворачивать модель постепенно. Даже после остальных проверок её нужно оценить в производственной среде до полного перехода. Сначала модель может обрабатывать реальный трафик в теневом режиме, не влияя на решения; затем её запускают на небольшой доле трафика и настраивают автоматический откат при ухудшении метрик. Откат должен быть проверенной процедурой. Пандей приводит пример команд, которые во время инцидента обнаруживали, что обещанный мгновенный откат занимает 40 минут и требует трёх согласований.

Проверки как часть выпуска

Одной страницы в вики недостаточно: каждую проверку нужно встроить в пайплайн выпуска. Аудит утечек данных и метрики по сегментам можно запускать в CI для каждой кандидатной модели; проверки калибровки и наборы редких кейсов должны блокировать продвижение; панели дрейфа и анализ тестового запуска — контролировать развёртывание.

Пандей отмечает, что одностраничный аудит из шести этапов, где у каждого есть ответственный и критерий «пройдено/не пройдено», помог предотвратить больше проблемных выпусков, чем обновления моделей, которые он наблюдал. По его оценке, проверка перед запуском — часть обычной инженерной дисциплины. Команды, которые её пропускают, вынуждены искать ошибки уже в работающей системе, в том числе во время ночных инцидентов с участием клиентов.

По оценке Dataist, предложенный подход делает выпуск модели последовательным процессом с понятными условиями остановки, а не решением по одной общей метрике. Его результат зависит от того, удаётся ли команде поддерживать проверки после запуска и действительно ли откат работает в заданных условиях.

Почему дата-центры оказались в центре протестов против Big Tech Анализ: руководители дата-центров почти 120 раз встречались с премьерами штатов и министрами Австралии за три года Новый Monitor API Perplexity превращает разовый веб-поиск в непрерывное наблюдение за сетью В новом фильме Дэвида Финчера, похоже, полно ИИ Удастся ли сохранить хрупкое согласие по ИИ в разгар политической горячки — или парламент уйдёт на каникулы, так и не договорившись? Сообщество Lean и Mathlib официально подтвердило корректность доказательства гипотезы Римана Левентом Альпёге Специалисты по безопасности показали, как дешёвые ИИ-сервисы воруют ключи и следят за пользователями Нелепое объявление о продаже с помощью ИИ превратило разваливающуюся хижину убийств в красивый коттедж Банки сыты по горло вашими ИИ-агентами «Серьёзная ошибка»: возмущение из-за презентации военного ИИ в арт-комплексе Берлина Через несколько часов после заявления Anthropic о доказательстве гипотезы Римана с Claude Стэнфорд представил конкурирующий черновик, написанный без ИИ «Ошибаться почти нельзя»: что закредитованная облачная компания говорит о буме ИИ Даже самые быстрые ИИ-кластеры могут тормозить из-за процессов выпуска обновлений Священник: попытки Кремниевой долины найти «душу» ИИ глубоко тревожат Одержимость Кремниевой долины гибелью человечества из-за ИИ толкает часть техноиндустрии к почти культовому поклонению «Я выпускаю монстра из клетки»: сценарист «Таксиста» Пол Шрейдер — о том, как осваивает ИИ в 80 лет Знаете эти ИИ-чипы, которые приносят миллиарды? Рабочие, собирающие их, говорят, что им платят гроши, — и теперь понимают, что у них есть рычаг влияния Две организации подтвердили заявление математика: Claude помог доказать математическую гипотезу OpenAI поделилась новыми подсказками для GPT-6.2 Astra и Sol: как избежать кратких ответов и лишних вопросов Продать ИИ-стартапу цифровую копию своего лица — это будущее Голливуда?

Ежедневные новости об ИИ

Каждый день отбираем важные новости об ИИ и рассказываем главное — без хайпа и воды. Если хотите понимать, что происходит в ИИ раньше остальных, — подписывайтесь.

Только важное — каждый день

В Telegram