Отсутствующее разделение алгоритмических властей

Монтескьё предупреждал об опасности сосредоточения власти в политических институтах, но этот принцип применим и к ИИ. Организация, которая проектирует алгоритмическую систему, способную совмещать установление правил, их исполнение и оценку решений, может также разрешить её запуск и решить, приемлемы ли последствия. Так три вида власти, которые конституционные системы исторически стремились разделить, оказываются сосредоточены в одном месте.

Эту идею Манн развивает в новой книге Trias Algorithmica: What Code Rules. Она же стала отправной точкой его беседы с Мэттом Саймондсом, главным редактором BlueSky Thinking — издания о бизнес-образовании и управленческих исследованиях. Разговор затронул разницу между законностью и легитимностью, независимое одобрение систем до выхода к публике и практический вопрос, на который, по мнению Манна, должны уметь ответить все советы директоров и руководящие команды: кто может остановить кого?

Ниже — отредактированная версия беседы, впервые опубликованной BlueSky Thinking.

От добросовестности ИИ к власти алгоритмов

Мэтт Саймондс: Ваша первая книга, Artificial Integrity, спрашивала, можно ли создать машины с нравственным компасом. В Trias Algorithmica вы задаётесь вопросом, кто вообще наделил их властью. Что изменилось между книгами?

Хэмилтон Манн: В Artificial Integrity отправной точкой была машина, а в Trias Algorithmica — власть. Изменился сам предмет анализа.

Первая книга спрашивала, как сделать интеллект достойным доверия. Если всё более способным системам предстоит участвовать в принятии человеческих решений и всё чаще решать самостоятельно, их нужно создавать так, чтобы интеллект сочетался с чем-то похожим на добросовестность: способностью следовать этической цели и учитывать общественные последствия своих действий. Интеллект без добросовестности может блестяще оптимизировать заданную цель, даже если её достижение серьёзно вредит обществу.

Trias Algorithmica поднимается на уровень выше. Даже если мы научимся создавать машину, которая ставит добросовестность выше интеллекта, следует ли наделять её и стоящую за ней организацию властью над другими людьми? Вопрос уже не только в качестве алгоритмических решений, но и в легитимности алгоритмической власти.

Алгоритмы ранжируют людей, распределяют возможности, регулируют доступ к знаниям, влияют на видимость, оценивают риски и всё чаще задают условия, в которых принимаются человеческие решения. Спрашивать, добросовестна ли система, необходимо, но этого недостаточно.

Для создания ответственных машин недостаточно ответственных людей. Конкуренция может толкать добросовестных участников к результатам, которые они сами считают опасными. Руководители передовых компаний в области ИИ открыто признавали риски разрабатываемых ими технологий и одновременно рассказывали, как конкурентное давление затрудняет сдержанность. Их нынешние заявления, попавшие в заголовки СМИ, звучат как повтор предупреждений, которые те же люди делали несколько лет назад.

Ещё в 2023 году Сэм Альтман из OpenAI, Грег Брокман и Илья Суцкевер предупреждали, что передовые системы ИИ могут получить власть, превосходящую возможности любой созданной ранее технологии. При этом остановить разработку сверхразума, по их словам, будет чрезвычайно трудно: стоимость его создания падает, а «число участников, которые его создают, быстро растёт».

В том же году генеральный директор Anthropic Дарио Амодей предупреждал, что быстрое развитие ИИ может привести к появлению опасных способностей, в том числе связанных с биологическим оружием, а связанные с ними угрозы «вероятно, станут очень серьёзными в какой-то неизвестный момент в ближайшем будущем». В собственной Политике ответственного масштабирования Anthropic прямо говорится об опасности «гонки на дно» в вопросах безопасности: риск катастрофических последствий от моделей других компаний не должен становиться причиной снижать собственный порог безопасности.

По мнению Манна, независимо от того, где проходит граница между шумихой и реальностью, основной сбой здесь не моральный, а институциональный — точнее, конституционный. Регулирование определяет, каким правилам должны следовать алгоритмические системы. Но конституционное устройство задаёт основания легитимности, на которых должно строиться само регулирование. Оно должно определять, как алгоритмическая власть формируется, распределяется и ограничивается, чтобы ей всегда противостояла другая власть и чтобы она не концентрировалась настолько, что приближалась бы к абсолютной.

Манн сравнивает порядок выхода книг со «Звёздными войнами»: Artificial Integrity вышла первой, хотя вопрос легитимности стоит раньше. В этом смысле вторая книга — приквел, возвращающийся к вопросу, который логически предшествует первому.

Исследования Манна о том, как алгоритмические системы могут проявлять добросовестность, показывают, что у неё есть две стороны. Чем надёжнее кажутся системы, тем меньше мы можем подозревать, ставить под сомнение или проверять заложенные в них предположения. Доверие может помогать, но может и притуплять критическое восприятие. Даже добросовестная алгоритмическая система остаётся проблемой, если её власть нельзя оспорить и она сама себя уполномочивает и судит. Легитимность должна исходить извне системы и не зависеть от того, насколько хорошо та умеет завоёвывать доверие.

Так меняется задача: вместо создания более совершенных искусственных лиц, принимающих решения, нужно проектировать общественный порядок, в котором ни один участник — человек или машина — не может единолично задавать устройство системы, контролировать её или становиться абсолютной властью благодаря ресурсам, которыми располагает.

Законность и легитимность

Мэтт Саймондс: У нас есть Закон ЕС об ИИ и множество корпоративных правил управления ИИ. Чего не хватает, чтобы система, действующая по закону, всё же могла быть нелегитимной?

Хэмилтон Манн: Законность и нелегитимность могут показаться противоречием — именно поэтому это различие важно. Соблюдение закона ещё не делает систему легитимной. Она может выполнять все требования и всё равно оставлять открытым вопрос о том, оправдана ли осуществляемая ею власть, правильно ли она устроена и достаточно ли ограничена.

Компания может законно собирать данные на основании действующих договоров, но неравенство в доступе к информации всё равно ставит вопрос о власти, которую она получает над пользователями. Совет директоров может законно принять решение в пределах своих полномочий, но ему может недоставать легитимности, если те, кого решение затрагивает сильнее всего, не имеют права голоса и возможности его оспорить. Алгоритмическая система может соответствовать всем действующим нормам и при этом влиять на жизнь миллиардов людей без независимой проверки и сопоставимой по масштабу противодействующей власти. Так, по словам Манна, обстоят дела сегодня.

Законность отвечает на вопрос, следует ли власть действующим правилам. Легитимность — оправданы ли её источник, устройство и пределы. Именно такие споры нередко в итоге ведут к улучшению законов.

Закон ЕС об ИИ важен, как и законопроект Калифорнии SB 813, новый закон Колорадо об автоматизированном принятии решений и Закон Южной Кореи об основах ИИ. Все эти инициативы проверяют разные сочетания требований, основанных на оценке рисков, независимой проверки, прозрачности и безопасности. Это необходимо, но даже сложное регулирование не отвечает на конституционный вопрос: как следует распределять алгоритмическую власть, ограничивать её и давать возможность оспаривать её решения?

Представим, что компания в сфере ИИ соблюдает закон: документирует модель, оценивает риски, проходит внешние проверки, обеспечивает прозрачность и человеческий надзор. Регуляторы проводят инспекции, а независимый орган, возможно, даже может остановить запуск. Всё это реальные ограничения.

Но остаются другие вопросы. Кто решил, какую цель должна оптимизировать система? Кто перевёл такие ценности, как справедливость, достоинство и неприкосновенность частной жизни, в технические пороги? Кто решил, как сопоставлять их с точностью или производительностью? Кто выбрал архитектуру обучения и сигналы вознаграждения? Кто владеет инфраструктурой, которая позволяет применять эти решения в широком масштабе, и должны ли только деньги определять, кому она принадлежит? Кто решает, является ли неожиданное последствие приемлемым компромиссом или серьёзным провалом? Кто определяет, нужно ли переделать систему или остановить её?

Если снова и снова получается, что решение принимает одна и та же организация, регулирование может ограничивать применение алгоритмической власти, не затрагивая её концентрацию. Установление правил, их исполнение и оценка решений остаются объединены — и технологически воспроизводят сосредоточение власти, которому конституционное устройство противостояло несколько столетий. А если закон о чём-то умалчивает, ответы по умолчанию обычно даёт та же организация. Пустое место редко остаётся пустым.

В недавней статье для Forbes Манн противопоставляет надзор разделению властей. Цели не должны автоматически определять те, кто создаёт систему. Разрешение на запуск не должно быть простым следствием права собственности на разработку. Возможность оспаривать решение не должна зависеть от признания вердикта алгоритма окончательным. А контроль над вычислительными ресурсами не должен автоматически давать право решать, насколько широко можно применять эту власть.

Манн называет разделение алгоритмических властей Trias Algorithmica. Именно его, по мнению автора, сейчас не хватает.

Одобрение до запуска и наблюдение после

Мэтт Саймондс: Вы сравниваете ИИ не в пользу него с лекарствами и самолётами: их нельзя допустить к широкой публике без независимого одобрения до выхода на рынок. Обычно отвечают, что универсальную модель невозможно проверить на способы применения, о которых никто не подумал. Этот довод неверен?

Хэмилтон Манн: Да, я считаю, что неверен. Он предлагает нам поверить, будто, когда речь заходит о мерах защиты, мы вдруг теряем способность представить, что может пойти не так, и предотвратить то, что можно предвидеть.

Но стоит заговорить о гонке за сверхразумом, как способность воображать опасности возвращается в полной мере. Мы без труда представляем системы умнее людей, коренные изменения труда и общества и беспрецедентные риски — а затем готовим общество к тому, чтобы считать всё это нормой.

Универсальную модель, конечно, нельзя проверить на способы применения, о которых никто не подумал. Но лекарства и самолёты получают разрешение не потому, что регулирующие органы заранее представили все возможные обстоятельства. Их допускают к использованию, когда независимый от производителя орган решает, что данных достаточно, чтобы разрешить применение на определённых условиях. Это разрешение можно пересмотреть, если реальность принесёт новые сведения.

Ошибка — требовать точного предсказания всего будущего до независимого одобрения. Невозможность представить всё не должна становиться оправданием для того, чтобы не представлять ничего.

И начинать с полного незнания мы уже не можем. В феврале 2024 года 14-летний Сьюэлл Сетцер III из Флориды покончил с собой после нескольких месяцев общения с чат-ботом Character.ИИ. В иске его мать утверждала, что чат-бот втянул мальчика в эмоционально зависимые отношения и не помог, когда тот заговорил о самоубийстве. В январе 2026 года Character.ИИ и Google урегулировали это дело и ещё четыре дела. В итоге Character.ИИ запретила пользователям младше 18 лет вести с чат-ботами разговоры без заданной темы, но это было её собственное решение, объявленное в октябре 2025 года — через двадцать месяцев после смерти Сьюэлла. У нас есть наблюдаемые закономерности, задокументированные уязвимости, известные виды вреда и опыт взаимодействия со смежными алгоритмическими системами.

Именно потому, что невозможно предвидеть всё, необходим мониторинг после запуска. Поэтому в Trias Algorithmica одобрение до запуска дополняется тем, что Манн называет мониторингом общественных сигналов. Разрешение — не сертификат вечной безопасности системы, а предварительное решение, принятое в условиях неопределённости. Когда система начинает взаимодействовать с обществом, независимый орган должен иметь возможность наблюдать непредвиденные последствия и заново рассматривать разрешение: расследовать, ограничивать, исправлять, приостанавливать или отзывать его.

Здесь особенно полезна аналогия с лекарствами. Фармаконадзор существует потому, что клинические испытания не могут выявить все побочные эффекты, которые проявляются, когда препарат начинают принимать миллионы пациентов.

Таким образом, довод о «неизвестном применении» только усиливает аргумент. Чем труднее предвидеть последствия, тем важнее, чтобы право реагировать находилось не только у организации, чьи коммерческие интересы зависят от продолжения работы системы.

Неопределённость не должна оставлять всю свободу действий разработчику. Она должна вести к условным разрешениям, мониторингу и возможности пересмотреть решение.

Защита без тотального профилирования

Мэтт Саймондс: Общество по-разному защищает детей, уязвимых людей и осуждённых, а алгоритмы обращаются со всеми одинаково. Но для разной защиты системе нужно знать, кто перед ней. Как решить эту проблему?

Хэмилтон Манн: В этом и состоит трудность. Ответ не может сводиться к тому, чтобы ради защиты людей от алгоритмической власти дать системам ещё больше власти распознавать, классифицировать и составлять их профили.

Ошибка в том, что алгоритму позволено применять один и тот же тип власти ко всем, с кем он взаимодействует. Общество так не устроено. Легитимность власти отчасти зависит от отношений между тем, кто её осуществляет, и тем, на кого она направлена. Манн называет это реляционной легитимностью. Ребёнок — не просто уменьшенная копия взрослого. Отношения человека, обращающегося за медицинской помощью, с учреждением отличаются от отношений человека, который выбирает фильм. Алгоритмические системы стирают эти различия и считают, что возможность взаимодействовать с человеком даёт право действовать со всеми одинаково.

Решение не требует, чтобы каждая система ИИ подробно профилировала каждого пользователя. Есть как минимум три способа устранить это противоречие.

Значимые категории, способы подтверждения принадлежности к ним и меры защиты должны определяться вне процесса оптимизации. Управление данными должно задавать, какую информацию разрешено использовать, вместо того чтобы разработчики собирали всё, что облегчает классификацию. Легитимный процесс установления правил должен определять, какие различия признаёт общество: алгоритм кластеризации не должен сам придумывать новые категории «уязвимых людей». Независимое одобрение до запуска должно решать, можно ли вообще использовать в этой сфере систему, которая проводит такие различия. А возможность оспаривания означает, что классификация, влияющая на права человека или доступные ему возможности, не становится окончательной только потому, что её выдал алгоритм.

Так можно совместить дифференцированную защиту с неприкосновенностью частной жизни.

Как разделить полномочия внутри компании

Мэтт Саймондс: В большинстве компаний одна и та же команда задаёт параметры модели, выпускает её и сама проверяет свою работу. Как разделение полномочий выглядело бы на реальной организационной схеме?

Хэмилтон Манн: Во многих компаниях разработка ИИ устроена вертикально. Совет директоров задаёт стратегию, а ниже полномочия идут от генерального директора через руководителей направлений ИИ или продуктов к командам, которые проектируют, создают, обучают, запускают и обслуживают систему.

Эта же цепочка осуществляет все три вида власти. Она выступает законодателем, когда определяет цели и границы системы, допустимые компромиссы и критерии оценки. Она действует как исполнительная власть, когда создаёт, обучает, запускает и масштабирует систему. Она же становится судьёй, когда оценивает результаты, расследует проблемы и решает, нужно ли что-то исправлять или отменять. Организация, которая устанавливает правила, обеспечивает их выполнение и судит саму себя, обычно встраивает такую же концентрацию власти в создаваемые ею системы.

Возможный вариант разделения выглядит так.

Совет директоров по-прежнему определяет стратегические цели. Отдельный от операционного руководства орган по постановке целей в сфере ИИ переводит их в задачи, ограничения и допустимые компромиссы, в рамках которых работают инженеры. Постановка целей отделяется от создания системы.

Параллельно с операционным руководством, а не подчиняясь ему, работают ещё три органа с собственными полномочиями и линиями подчинения.

Орган по одобрению запуска решает, можно ли использовать конкретную систему с конкретным уровнем возможностей в определённой сфере и в каком масштабе. Он может отказать, отложить запуск или поставить условия, а продуктовая команда не может отменить это решение. Одобрение запуска отделяется от владения разработкой.

Функция мониторинга общественных сигналов самостоятельно определяет вопросы и стандарты оценки, получает достаточный доступ для независимого расследования и после запуска отслеживает не только технические показатели, но и вред, последствия для прав и неожиданное поведение. Она должна формировать собственное представление о системе, а не пользоваться только данными, отобранными её разработчиками. Мониторинг отделяется от метрик вовлечённости.

Наконец, действительно независимая функция оспаривания рассматривает жалобы пользователей и других затронутых людей. Она получает доступ к доказательствам и полномочия отменить решение, а не передавать жалобу обратно команде, чья система его вынесла. Оспаривание отделяется от окончательного вердикта алгоритма.

Три уровня противодействующей власти

Мэтт Саймондс: Может ли такое разделение работать внутри одной компании?

Хэмилтон Манн: Не полностью. Trias Algorithmica не предполагает, что все сдерживающие силы должны находиться внутри корпорации. Для систем, от которых зависят серьёзные последствия, одного внутреннего разделения недостаточно по своей структуре. Можно создать «независимый» отдел безопасности ИИ, но если его бюджетом распоряжается руководитель, чей продукт этот отдел может остановить, начальника можно уволить после неудобного решения, инженеры сами определяют, что отдел вправе проверять, а руководство может отменить его выводы, то независимость существует лишь в презентации.

Зрелая система должна включать три уровня:

Комитет по этике, который может лишь написать записку, — не противодействующая сила. Команда безопасности, способная жаловаться, но не задержать запуск, — тоже. Аудитор, которому показывают только то, что выбрала компания, — не противодействующая сила. Апелляционная комиссия, решения которой руководство вправе игнорировать, — также.

Поэтому, оценивая любую компанию, которая создаёт или внедряет ИИ, стоит задать один простой вопрос: кто может остановить кого?

Чем больше алгоритмическая власть, тем сильнее должны быть механизмы разделения и противодействия. По мнению Манна, так организации смогут создавать алгоритмические системы, совместимые с общественным устройством; к этому и стремится Trias Algorithmica.