Самые страшные катастрофы ИИ нагрянут без предупреждения

Катастрофы ИИ могут начаться без громкого события

Опасность без «момента захвата»

Тимоти Гартон-Эш прав в том, что серьёзные риски ИИ требуют международных действий, однако образ «Хиросимы от ИИ» может вводить в заблуждение, пишет доктор Саймон Найдер, ссылаясь на колонку от 22 августа. Хиросима стала результатом не вышедшей из-под контроля технологии: люди создали бомбу, санкционировали её применение и сбросили её. Технология сработала примерно так, как было задумано.

Когда-нибудь ИИ может начать действовать так, что люди не смогут его контролировать. Но многие наиболее тяжёлые последствия способны возникнуть без драматичного момента, когда «ИИ берёт власть». Система может помочь разработать патоген, обнаружить уязвимость критической инфраструктуры или улучшить оружие — при этом решения по-прежнему будут принимать люди.

Другие угрозы могут почти незаметно накапливаться через тысячи обычных решений: здесь системе дают больше автономии, там убирают одну защитную меру, затем поручают ещё одну важную задачу, потому что до этого система работала хорошо. Когда опасность станет очевидной, ключевые решения уже могут быть приняты.

С этого и можно начать международное соглашение. Странам не обязательно сначала договариваться о сверхинтеллекте или вероятности вымирания человечества. Достаточно согласовать, что есть области, куда ИИ нельзя позволять входить самостоятельно. Очевидные направления — оружейные системы, критическая инфраструктура и синтез биологических материалов.

Правительства могли бы установить минимальные требования безопасности, закрепить ясное человеческое решение для наиболее важных действий, вести записи о том, кто и что санкционировал, а также сообщать друг другу о серьёзных сбоях и опасных инцидентах, которые удалось предотвратить.

Наибольшие угрозы ИИ могут прийти не в виде ядерного гриба, а тихо — одним на первый взгляд разумным шагом за другим. Для эффективного регулирования нужно бороться с реальными источниками риска, а не с самым кинематографичным сценарием.

Дебаты об ИИ начались давно

Профессор Джонатан Мичи в письмах от 26 августа напомнил, что группа Сербеллони, которую возглавлял отец автора, Дональд Мичи, ещё в 1972 году обсуждала социальные риски искусственного интеллекта. Сам ИИ тоже не возник недавно: его история восходит к перцептрону Фрэнка Розенблатта 1957 года, Дартмутскому семинару 1956 года и более ранним работам Алана Тьюринга.

Новым стало наличие аппаратной и программной инфраструктуры, которая позволяет развивать ИИ со скоростью, иногда кажущейся пугающей.

Отчёт Лайтхилла 1973 года привёл к «зиме ИИ» в Великобритании, после чего центр развития этой области переместился через Атлантику. Последствия этого решения ощущаются до сих пор. Дональд Мичи работал вместе с Тьюрингом в Блетчли-парке и активно выступал против сокращений на телевизионных дебатах по итогам отчёта Лайтхилла, но безрезультатно.

Приписываемая ему фраза «Да будет Лайтхилл. И сделалась тьма» — возможно, апокрифическая — по-прежнему заметно звучит в Великобритании.

Как учёный сразу в двух областях — информатике и гуманитарных науках — доктор Энтони Харрис из колледжа Эммануил Кембриджского университета предлагает вернуть «дебаты Сербеллони». По его мнению, в них должны участвовать и представители естественных наук, и гуманитарии.

Нужна международная стратегия

В письме о регулировании ИИ, опубликованном 21 августа, Майлз Брандидж не упомянул международную инициативу, которая пытается получить широкую политическую поддержку глобального договора об ИИ, пишет Дэвид Кайлер.

Эта инициатива развивает идеи выступления на первом Глобальном диалоге ООН по управлению ИИ, прошедшем в Женеве в прошлом месяце. Тогда генеральный секретарь ООН призвал сохранять человеческий контроль над ИИ по мере того, как его применяют в вооружениях и для подрывного и предвзятого общественного наблюдения.

Разрозненный подход, описанный Брандиджем, скорее всего, значительно усложнит введение своевременных и согласованных на международном уровне ограничений ИИ, а значит, и их эффективное применение.

ИИ, корпоративные интересы, разные национальные оборонные и экономические цели, а также распространение энергоёмких центров обработки данных связаны между собой системными отношениями. Решить такую проблему набором несвязанных постепенных мер нельзя. Особенно это опасно при ускорении инноваций, которое усиливает наиболее тяжёлые сценарии развития передовых систем ИИ.

Даже хорошо намеренные разрозненные инициативы могут увести внимание в сторону и задержать создание глобальной стратегии, способной заранее предотвращать разрушительные последствия. Они могут стать результатом злонамеренного использования ИИ людьми, а также подрывных и обманных действий вышедших из-под контроля алгоритмов — и такие примеры уже вызывают тревогу.

Есть и ещё одна проблема. Растущее двухпартийное сопротивление центрам обработки данных, основанное на весомых и подтверждённых аргументах, отнимает политическое внимание, необходимое для контроля ИИ и введения подходящих ограничений — запретов или мораториев — до тех пор, пока не появятся надёжные меры безопасности.

Кайлер сравнивает это с лечением тяжёлого симптома вместо срочного поиска средства против заболевания, которое его вызвало. По его мнению, можно одновременно заниматься несколькими направлениями: чем раньше появятся строгие ограничения для ИИ, тем меньше вреда от центров обработки данных придётся понести.

Как и изменение климата, угрозы передового ИИ имеют глобальный характер, поэтому международный подход необходим.