i
ДАТАИСТ
Новости · 2026-09-11

Математический институт безопасности ИИ хочет доказать его безопасность, как криптографы — стойкость шифров

@neuronium_ai @neuronium_ai

Канадский математик Джейкоб Цимерман, недавно получивший медаль Филдса, объявил о создании независимого Mathematical A.I. Safety Institute (MAISI) в районе залива Сан-Франциско. Институт начнёт работу в январе 2027 года и соберёт от 10 до 30 математиков для исследований в области безопасности ИИ. Цимерман также присоединяется к команде OpenAI по безопасности. По его словам, этой области нужен гораздо более высокий стандарт безопасности, чем тот, который существует сейчас.

Обложка: Математический институт безопасности ИИ хочет доказать его безопасность, как криптографы — стойкость шифров

В криптографии можно доказать, что схема шифрования не поддаётся взлому, не проверяя каждую возможную атаку. Для ИИ такого сокращённого пути пока нет: безопасность проявляется только на практике. В MAISI считают, что даже теоретического, чёткого определения безопасности ИИ сейчас не существует.

Институт хочет сделать возможными доказательства того, что система:

действует ответственно и выдаёт корректные результаты;
при совместной работе нескольких ИИ-агентов не приводит к нежелательным последствиям;
выдерживает уязвимости, которые пока никто не обнаружил.

Одним из инструментов могут стать доказательства с нулевым разглашением. Они позволяют системе подтвердить, что она не обманывает, не раскрывая коммерческие секреты лабораторий, разрабатывающих ИИ.

Источник

Ежедневные новости об ИИ

Каждый день отбираем важные новости об ИИ и рассказываем главное — без хайпа и воды. Если хотите понимать, что происходит в ИИ раньше остальных, — подписывайтесь.

Только важное — каждый день

В Telegram