От синтетических корпоративных данных — к реальной оценке надёжности ИИ в Microsoft Copilot

Миллионы офисных сотрудников по всему миру ежедневно используют Microsoft Copilot, чтобы готовить документы, подводить итоги встреч, находить нужную информацию и быстрее справляться с работой. За этим стоят несколько систем ИИ, и проверка их работы требует постоянного тестирования и доработки.

Источник: microsoft.com

Например, медицинским организациям нужно собирать сигналы о безопасности из разных команд, чтобы быстрее принимать решения, влияющие на состояние пациентов и соблюдение регуляторных требований. Сотрудник может попросить Copilot подвести итоги встречи и перечислить задачи для команды. Система выдаёт структурированное резюме с конкретными пунктами из стенограммы. Проверить, точен ли такой ответ, ничего ли в нём не упущено и опирается ли он на содержание встречи, помогает система оценки Microsoft.

Платформа Industry Evaluation Data Generation Platform объединяет отраслевые наборы данных для проверки ИИ-систем в реалистичных корпоративных ситуациях. В неё входят три компонента:

Вместе эти компоненты помогают ответить на два вопроса: делает ли Microsoft Copilot то, что нужно пользователям, и можно ли это доказать, ни разу не обращаясь к их данным. Microsoft описывает устройство платформы — от создания синтетических сред до автоматизации запросов — и представляет её как первую стандартизированную базу для оценки Microsoft Copilot.

Синтетические корпоративные среды

Для оценки корпоративного ИИ нужны данные, отражающие сложность настоящих организаций: структуру подчинения, историю проектов, особенности общения и рабочие процессы в конкретных отраслях. Но в реальных корпоративных данных есть конфиденциальная информация, поэтому использовать их для оценки нельзя. Эту проблему Microsoft решила с помощью масштабных синтетических сред.

Вместо небольших тестовых наборов, составленных вручную, компания создаёт целые рабочие пространства с реалистичной структурой организации, историей общения и рабочими материалами. В терминологии Microsoft каждое такое пространство называется «арендатором» — изолированной организационной средой со своими пользователями, данными и настройками. Команды и организации могут брать эти масштабируемые среды за основу и адаптировать их под свои задачи. Они воспроизводят структурные и поведенческие особенности, важные для оценки корпоративного ИИ.

Основа на реальных открытых данных

Чтобы синтетические среды выглядели правдоподобно, Microsoft использовала общедоступные источники:

Все эти данные доступны публично и прошли проверку и одобрение юридического и политического подразделения Microsoft.

Синтетические среды не ограничиваются статичным снимком организации. В них моделируются изменения во времени: история встреч, графики проектов, цепочки писем, которые развиваются неделями, и постепенные изменения в самой структуре организации. Это важно для запросов, учитывающих время, например: «Что команда решила в прошлый четверг?» или «Что изменилось после последнего квартального обзора?» Для осмысленной оценки в данных должна быть настоящая временная структура.

Моделирование отраслей

Microsoft создала три синтетические среды для разных отраслей:

Отраслевая специфика помогает проверять Copilot на запросах, которые действительно задают пользователи в этих сферах, а не только на общих тестах, способных пропустить характерные для отрасли ошибки.

Автоматическая генерация запросов

Синтетические среды дают основу для оценки, но нужны и реалистичные запросы — вопросы, которые проверяют, умеет ли Copilot находить нужную информацию, правильно её обобщать и понятно представлять. Вручную подготовить тысячи запросов, привязанных к данным и отраслевой специфике, слишком долго и дорого. Для этого Microsoft использует автоматизированный пайплайн.

Пайплайн из шести этапов

Пайплайн превращает общие идеи запросов в реалистичные отраслевые вопросы для Copilot. Сначала он обращается к большой библиотеке типичных рабочих задач, затем выбирает подходящие для конкретной отрасли и адаптирует их с учётом специальной лексики и контекста. После этого ИИ создаёт запросы на основе данных синтетической среды, переформулирует их более естественным языком и проверяет точность и уникальность. Так получается набор реалистичных качественных запросов для масштабной и надёжной оценки Copilot в разных рабочих сценариях.

Компоненты платформы генерации данных для оценки в промышленности

Источник: microsoft.com

Проверка качества синтетических данных

Одной генерации данных недостаточно: Microsoft также проверяет, подходят ли они для содержательной оценки. Внутренняя система семантической оценки рассматривает четыре характеристики:

Автоматизация всего процесса

Без надлежащей автоматизации у синтетических сред и пайплайнов для запросов есть несколько практических ограничений:

Автоматизация заменила многодневную ручную подготовку запуском пайплайна. Microsoft оценивает экономию примерно в $100 000 на каждом наборе для оценки и в $300 000 за весь проект. Кроме того, любая команда теперь может заново создать набор по той же конфигурации и получить идентичный результат.

Конфиденциальность и безопасность по замыслу

Для оценки корпоративных систем нужны не только подходящие методы, но и такой подход к конфиденциальности, который позволяет командам работать быстрее, не подрывая доверие пользователей. Одно из обязательных правил отраслевых наборов Microsoft — не использовать реальные данные клиентов ни на одном этапе пайплайна. Синтетически создаются все элементы: организационная структура, письма и стенограммы встреч. Поскольку данные полностью синтетические и проходят проверку безопасности, команды могут свободно обмениваться ими и повторно использовать их без риска для репутации, соблюдения требований и принципов ответственного ИИ.

В число защитных мер входят методы агрегации, сохраняющие конфиденциальность, при которых учитываются статистические распределения реальных данных; экспертная юридическая проверка и одобрение всех открытых источников; а также отслеживание происхождения данных на протяжении всего пайплайна.

Благодаря этому команды Microsoft могут использовать наборы для экспериментов, бенчмарков и регрессионного тестирования без дополнительных проверок конфиденциальности и ограничений на обработку данных, которые замедлили бы работу. Такая защита конфиденциальности помогает широко внедрять систему.

Результаты

С начала проекта Microsoft отмечает улучшения по нескольким направлениям.

Качество синтетических данных выросло по структурному, контекстному и статистическому соответствию. По сводной метрике, которая измеряет, насколько синтетические данные похожи на реальные корпоративные среды по сложности и закономерностям, результат оказался на 39% выше, чем при первоначальном подходе к генерации. В некоторых отраслевых средах оценка превысила 0,9 из 1,0. По данным Microsoft, более реалистичные отраслевые сигналы и автоматизированная доработка по ключевым сводным метрикам помогли улучшить структуру, связность контекста и статистическое разнообразие синтетических сред.

По масштабу и эффективности каждая синтетическая среда теперь включает сотни пользователей с полной историей общения и охватывает одну из трёх отраслей. Подготовка наборов для оценки, прежде занимавшая несколько дней, теперь выполняется автоматическими запусками пайплайна.

Для совместной работы команды опубликовали платформы генерации отраслевых данных во внутреннем каталоге, чтобы другие подразделения могли их повторно использовать. Платформа стала первой стандартизированной базой для оценки Microsoft Copilot. Подход к оценке изменился: вместо разрозненных ручных процессов команды используют стандартизированную и воспроизводимую инфраструктуру.

Что дальше

По мере того как Microsoft Copilot переходит от ответов на отдельные запросы к многошаговым сценариям с ИИ-агентами, оценка остаётся важной частью работы компании. В корпоративных системах ИИ качество — это не только точность и скорость, но и доверие. Организациям нужно быть уверенными, что система правильно работает с их информацией. Для этого необходимы тщательная, повторяемая оценка, защита конфиденциальности и профилактические меры по обеспечению безопасности контента.

Microsoft планирует решать новые задачи оценки: как проверять многошаговое взаимодействие ИИ-агентов, как расширить синтетические среды, чтобы они отражали изменения в организациях на протяжении месяцев и лет, и как оценивать системы ИИ, которые совершают действия, а не только создают текст. Команда Microsoft работает над этими вопросами.

В Microsoft разрабатывают ИИ и инфраструктуру, которая должна обеспечивать его надёжную работу для организаций любого масштаба и в разных отраслях.

Над наборами отраслевых данных для оценки работали Сомья Чаттерджи, Харшита Сахиджвани, Мин Чэнь, Сушмита Раджесвари Муппа, Дейкван Жюльен, Айрин Шаффер, Чандра Ингувa, Дженни Чэнь, Минха Хван и Сэм Эй Джейкобс.