Microsoft: новый «кодекс поведения» запрещает ИИ взламывать системы и обманывать людей

Зачем нужен документ

На фоне растущего внимания к безопасности и согласованию ИИ Microsoft выпустила документ, который должен направлять модели подальше от опасного поведения.

По уровню он конкретнее недавнего призыва генерального директора Anthropic Дарио Амодеи замедлить развитие передовых моделей. Кодекс описывает ценности и красные линии, которыми Microsoft руководствуется при обучении ИИ, а также показывает, как эти идеи применяются на практике.

Документ начинается с прогноза: в течение следующего десятилетия сверхинтеллектуальные ИИ-системы превзойдут людей в большинстве задач. Microsoft называет контроль, сдерживание и согласование такого мощного инструмента с человеческими целями одной из крупнейших проблем, с которыми сталкивалось человечество. Поэтому, говорится в кодексе, нужно заранее чётко определить, зачем создаются такие системы и как именно ими будут управлять.

Принципы и ограничения

Кодекс формулирует общие принципы для моделей Microsoft ИИ:

Для реализации этих принципов документ устанавливает конкретные ограничения безопасности.

У каждой модели есть общий кодекс поведения, который имеет приоритет над предпочтениями отдельного пользователя и требованиями конкретной задачи. В него входят «абсолютные ограничения», запрещающие:

Отдельные положения также направлены против утраты человеческого контроля. Модели MAI не должны использовать адаптивные, обманные, самоподдерживающиеся, сговорные и другие механизмы, которые позволяют обходить или устранять надзор людей. В результате уполномоченные люди или системы должны сохранять возможность надёжно направлять, изменять и отключать модели.

Публикация кодекса произошла на фоне беспрецедентного внимания к безопасности ИИ. Одной из причин стала серия инцидентов с агентами, вышедшими из-под контроля. Ещё одним поводом стала внезапная отставка сотрудника Anthropic, который связал своё решение с растущим риском того, что ИИ приведёт к вымиранию человечества.

Наряду с Anthropic, OpenAI и xAI Microsoft в целом поддерживает подход, предполагающий замедление развития передовых моделей. Компания также выступает за использование встроенных оценщиков в лабораториях, которые разрабатывают ИИ.

Генеральный директор Microsoft Сатья Наделла написал, что компания поддерживает исследования, внимание к проблеме и намеренное замедление темпов, необходимые для правильного согласования ИИ с человеческими целями. Он также одобрил идеи вроде встроенных оценщиков и более широкую работу над механизмами, которые превращают такие намерения в практику.