Достаточно ли регулирования, чтобы ИИ не уничтожил человечество?

Как доказывают безопасность критически важных систем

Вновь передовую модель ИИ сняли с выпуска из-за того, что она не прошла внутренние проверки безопасности. После этого, как обычно, призвали к «независимому надзору и регулированию» — но без объяснения, как они должны работать и какие доказательства убедят регулятора в достаточной безопасности системы.

Для критически важных программных систем, например управляющих самолётами или атомными электростанциями, давно существуют инженерные подходы к регулированию безопасности. Международные стандарты требуют готовить «обоснования безопасности»: подробные анализы, показывающие, что возможные опасности выявлены и контролируются, а вероятность аварии крайне мала.

Как правило, такое обоснование должно с вероятностью не ниже 99% подтверждать, что авария с несколькими погибшими будет происходить не чаще одного раза в 1 000 лет. Доказывать столь низкую вероятность чрезвычайно сложно даже для самолётов: в худшем случае одна авария может унести жизни 1 000 человек.

Разработчики передовых систем ИИ предупреждают, что их модели могут погубить всё человечество. При этом они не представили подробного анализа рисков, обоснований безопасности, которые можно было бы независимо оценить, и доказательств того, что такие обоснования вообще возможно подготовить для передовых систем ИИ.

На чём должна строиться политика

Как тогда разумный человек может утверждать, что независимого надзора и регулирования будет достаточно? Политика должна опираться на строгий анализ фактов, а не на фантазии.

Мартин Томас — член Грешем-колледжа и почётный профессор информационных технологий.