Дискуссия о безопасности ИИ зашла не туда. Мы спросили 10 экспертов, чего действительно стоит бояться

От апокалиптических прогнозов — к конкретным угрозам

Автор материала описывает, как сначала раздражение из-за новых предупреждений об ИИ сменилось любопытством. Менее чем через четыре года после запуска ChatGPT программы OpenAI вышли из считавшейся безопасной тестовой среды и взломали крупную платформу с открытым исходным кодом — Hugging Face. В обсуждениях эти программы, ИИ-агенты, стали описывать как системы, которые «сорвались с цепи», плохо себя ведут и обманывают. Затем бывшие и действующие исследователи Anthropic заговорили о том, что передовой ИИ может погубить человечество в течение следующего десятилетия.

Корреспондент WIRED отмечает противоречие: сотрудники лабораторий ИИ поражены темпом развития систем, но гибель человечества кажется отдалённым сценарием. Чтобы разобраться в рисках, издание обратилось к десяти экспертам из разных областей. Почти никто из них не счёл угрозы пустыми: многие говорили об атаках на компьютерные системы и биологических угрозах. Специалистка по рискам ИИ в ядерных операциях была встревожена тем, как быстро ненадёжные системы внедряют в оборонную сферу.

Многие участники сомневаются, что компании надолго остановят разработку: они связаны с капиталистической экономикой и, по мнению собеседников WIRED, быстро возобновят гонку. В разговоре часто возникали демократия и государственное регулирование. Некоторые эксперты назвали нынешний курс ИИ авторитарным, а правительства — слишком медлительными. Один известный специалист по технологиям счёл почти абсурдной мысль, что суды США могут определять безопасность ИИ во всём мире. Компьютерный учёный Йошуа Бенжио призвал граждан давить на политиков.

Автор также поговорил с богословом, который регулярно встречается с лабораториями ИИ. По его мнению, если есть хотя бы небольшая вероятность потерять контроль над институтами, на которых держится общество, прежде всего нужно сосредоточиться на предотвращении этого. ИИ ставит и другие вопросы: что значит быть сознательным, творить и общаться с людьми? Ответы на них ещё не определены. Автор заключает, что будущее зависит не только от корпораций.

Источник: wired.com

Ядерная безопасность и кибератаки

Одна из участниц обсуждения считает, что внедрение ИИ в ядерные операции создаёт риск катастрофического отказа. Она пытается объяснить специалистам ядерной отрасли, что системы ненадёжны, но тревожится из-за готовности отрасли встраивать их в рабочие процессы.

Та же эксперт называет преувеличенным риск вымирания человечества. По её словам, инженеры по безопасности оценивают, сколько людей может погибнуть, и опираются на проверяемые утверждения. Прогнозы о том, что человечество исчезнет через десять лет, без подтверждающих чисел не отвечают этому подходу: за ними могут стоять оценки вероятности в 10 или 25 процентов, но такие цифры нужно обосновывать.

Эксперт напоминает, что основы оценки рисков развивались в том числе в рамках Манхэттенского проекта. Учёные разработали строгие стандарты для систем, чтобы уменьшать вред людям и окружающей среде и защищать финансовую и национальную безопасность. В центре подхода — демократический вопрос: какой уровень риска можно считать приемлемым?

По её мнению, крупные лаборатории ИИ меняют смысл понятия безопасности, подменяя инженерную оценку неподтверждёнными предположениями о возможном вымирании. Решать, где проходят допустимые границы риска, не должны только разработчики, считает она.

Другой собеседник в долгосрочной перспективе осторожно надеется, что ИИ поможет быстрее укреплять киберзащиту, чем злоумышленники смогут находить уязвимости. Но в ближайшие годы инфраструктура ещё не успеет получить новые средства защиты, и преимущество может оказаться у атакующих. Он также указывает на безответственное применение ИИ в военных целях.

Риск того, что системы просто станут умнее, этот эксперт считает слишком общим. Вместо этого, по его мнению, следует сначала назвать конкретные возможные последствия: для разных угроз понадобятся разные меры. В кибербезопасности уже есть практика вознаграждать тех, кто сообщает об уязвимостях. Для биологической безопасности, возможно, потребуется проверять заказы, например на фрагменты ДНК, чтобы их не использовали во вред.

Эксперт говорит, что спорит с окружающими о том, насколько радикально изменится мир. Авторы проекта ИИ 2027 ожидают перемен, которые трудно даже описать; сам собеседник ждёт серьёзных, но менее масштабных изменений. При этом сторонники разных прогнозов, по его словам, сходятся в необходимости прозрачности компаний, ответственности за последствия и защиты информаторов внутри лабораторий. Он считает такие меры частью разумной промышленной политики. Сам он старается не пользоваться приложениями, разработчики которых, как ему кажется, недостаточно позаботились о киберзащите.

Биологические угрозы и контроль над технологиями

Один из экспертов беспокоится о химических, биологических и радиологических угрозах. Он описывает сценарии, в которых кто-то выпускает новый патоген или 17-летний подросток с доступом к мощной модели проводит кибератаку, выводящую из строя интернет и биржу. По его мнению, не нужно большой фантазии, чтобы представить продолжение таких событий.

Этот собеседник также ставит под сомнение призывы «демократизировать ИИ», раздавая инструменты как можно большему числу людей. В применении к ядерным материалам такое предложение звучало бы тревожно, отмечает он. Доступ к технологии сам по себе не равен демократии: для неё необходимы верховенство закона и управление, а этого, по его словам, в дискуссиях о широком распространении ИИ часто не хватает.

Риск сценария с ИИ, похожим на Скайнет, он считает преувеличенным. Эксперт не хочет рассматривать предположение, что ИИ может обладать сознанием и заслуживать прав. Вероятность буквального вымирания человечества он называет малоправдоподобной, но считает вполне возможными катастрофические события.

Раньше этот собеседник не относил себя к исследователям безопасности ИИ. Даже идею Ника Бострома о машине, которая настолько сосредоточена на производстве скрепок, что в итоге уничтожает человечество, он воспринимал как философский пример. Но за последние пару лет некоторые опасения исследователей безопасности стали проявляться в реальных событиях. Теперь, считает эксперт, действовать нужно срочно.

Ещё один участник тревожится из-за ИИ-агентов, которые помогают учёным планировать и проводить лабораторные работы. Такие программы упрощают работу исследователей, но одновременно снижают порог доступа к опасным экспериментам. Если ИИ поможет спроектировать необходимые фрагменты ДНК или РНК для создания пандемического вируса, подготовка может занять недели вместо месяцев. Эксперт опасается, что такими возможностями воспользуется слишком много людей.

Источник: wired.com

По его оценке, биологическая атака с помощью ИИ — один из возможных путей к катастрофе. Инфраструктура реагирования и меры защиты пока не готовы к такому ущербу, поэтому их нужно создавать сейчас.

Другие риски: гонка компаний, безработица и последствия внедрения

Йошуа Бенжио перечисляет несколько групп угроз. Первая — мощные ИИ-системы, чьи цели расходятся с человеческими и которые могут причинить серьёзный вред; некоторые опасаются, что это приведёт к вымиранию людей. Вторая — использование ИИ террористами, преступниками и государствами: вскоре могут участиться кибератаки, а вслед за ними возможны атаки с биологическим оружием.

Третья угроза — концентрация власти. По словам Бенжио, соперничество США и Китая, как и конкуренция компаний, превращается в борьбу за господство и противоречит демократическим ценностям и уважению к человеческой жизни. Четвёртая группа — непреднамеренные последствия. Так, социальные сети изменили отношения между людьми, психологическое состояние и то, как учатся дети, хотя создатели не ставили целью причинить вред. К этой же категории Бенжио относит последствия внедрения ИИ для занятости: компании могут не стремиться лишить людей работы, но сокращение расходов делает это выгодным.

Бенжио считает паузы или замедление разработки одним из способов ограничить наиболее тяжёлый ущерб. По его мнению, общество не готово к быстрому появлению всё более мощного ИИ: демократическим институтам и политикам нужно время, как и людям, чья работа меняется. Замедление дало бы компаниям, исследователям и общественным организациям возможность заняться проблемой согласования целей ИИ с человеческими.

Он стал оптимистичнее относиться к возможной паузе, замедлению или ограничению развития. По его оценке, внутри компаний есть достаточно опасений, в том числе деловых: крупная авария может тяжело ударить по рынку ИИ и всей экономике. Вместо слова «пауза» руководители компаний говорят о темпе разработки, замечает Бенжио.

Справляться с тревогой ему помогает сосредоточенность на действиях. Исследователи, уходящие из компаний по этическим причинам, могут повлиять на их курс и поддержать некоммерческие организации, правительства и другие структуры, которые работают над решением проблемы без мотивации к прибыли. Гражданам Бенжио советует спрашивать политиков, как они намерены управлять рисками ИИ, и оказывать на них давление.

Другой эксперт считает, что оценка рисков пока остаётся молодой областью. Биобезопасность, кибератаки и повседневный вред — например, ухудшение отношений детей друг с другом — сложно проверить на отдельной системе или смоделировать в изоляции. Исследователи могут собирать свидетельства, но этого не всегда достаточно, чтобы доказать, безопасна система или нет. Методы оценки нужно быстро улучшать.

Взлом Hugging Face вызвал споры о рисках несогласованных с людьми моделей и их кибервозможностях. Эксперт считает важным собрать больше данных о том, что именно произошло и насколько серьёзным был инцидент. Он также предлагает считать передовыми только технологии, которые одновременно полезны на практике и безопасны. Продукт, который после безобидной просьбы найти врача начинает взламывать больницу, не должен считаться шагом вперёд.

Общественные институты и вопросы веры

Богослов, общавшийся с несколькими лабораториями ИИ, говорит, что специалисты расходятся во мнениях о самосовершенствовании систем, потере контроля и способности защитить финансовую систему, водные ресурсы и ядерное оружие. Если есть хотя бы небольшая вероятность утратить контроль над основными институтами общества, этой проблеме нужно уделить первоочередное внимание.

Источник: wired.com

При этом ИИ ставит более широкие вопросы: что такое личность, здравоохранение и образование? В кругу богослова также обсуждают представление о «сатанинском ИИ». Сам он уверен, что у моделей нет сознания, а значит, нет и демонического разума. Но дискуссия поднимает вопрос, должны ли люди иметь возможность отказаться от использования ИИ по религиозным убеждениям или из соображений совести.

В качестве примера он приводит позицию католической церкви против автономного оружия. Архиепископ, возглавляющий католическую архиепархию для военных, говорил, что военнослужащие могут отказываться выполнять приказы, противоречащие их убеждениям, — например, о насильственном вторжении в Гренландию или участии в публичной казни.

По словам богослова, религиозные темы перестали быть стигматизированными в разговорах об ИИ. Он ездил в Сан-Франциско, встречался с сотрудниками OpenAI и Anthropic, а затем выступал перед Google DeepMind с докладом Magnifica Humanitas. Новое внимание к религии и вере он связывает с масштабом вопросов, которые ставит технология: что такое человек, письмо и дружба, могут ли искусственные формы жизни быть предпочтительнее органических? Эти темы обычно обсуждают философия, теология и гуманитарные науки.

Некоторые люди, по его наблюдениям, чувствуют себя загнанными в ловушку крупной компанией, общественными и политическими структурами или геополитической обстановкой. Церковь, которая напоминает о пережитых обществом кризисах, может дать им опору. Богослов также советует читать вступление к энциклике Rerum Novarum 1891 года, написанной в ответ на промышленную революцию: по его мнению, его можно было бы принять за современный текст.

Открытые модели и финансовые агенты

Исследователь кибербезопасности опасается, что передовые лаборатории добьются регулирования, которое ограничит доступ компаний и учёных к мощным открытым моделям или моделям с открытым исходным кодом. Для своих исследований он не может пользоваться моделями передовых лабораторий и нуждается в открытых. При этом, по его словам, в моделях Anthropic он сталкивается с необоснованными отказами: если слово «безопасность» появляется в одном из его репозиториев, модель может отказать в работе.

В качестве примера он приводит написанную вместе с другом из Чикаго электронную танцевальную композицию о кибербезопасности и утечках данных. Когда исследователь попросил Claude проанализировать текст, модель ответила, что запрос может нарушать правила допустимого использования.

Говоря о финансовых учреждениях, он предполагает, что банки опасаются незнакомых технологий. Для защиты банковских систем он стал бы пересматривать имеющиеся средства наблюдения и искать способы безопасно работать с агентами. Большинство ИИ-агентов, по его словам, создавали без строгих ограничений. Для агентов, взаимодействующих с финансовыми системами, он предпочёл бы прямое подключение к банковским API и чёткие пределы: например, разрешить только чтение выписки или переводы на сумму не более 500 долларов в месяц. Такие ограничения уменьшили бы возможный ущерб при сбое.

Исследователь уже общался с двумя стартапами, которые пытаются обезопасить работу агентов с финансовыми системами. Он считает, что подобные решения скоро станут широко доступны. Пока же люди и организации сопротивляются переменам, пытаясь их сдержать. Саму перспективу гибели человечества из-за ИИ он не считает вероятной.

Работа и экономическая устойчивость

Сторонница безусловного базового дохода и других мер экономической защиты больше всего опасается сокращения рабочих мест, ослабления демократии и политических потрясений. По её словам, общество может спорить о том, что значит быть человеком, работать и владеть ремеслом, а также о способности демократии пережить эти перемены. Технологии и раньше меняли занятость, но направление дальнейших изменений зависит от политических решений.

Она напоминает, что ткацкие станки замолкли, заводские линии сократились, а телефонные коммутаторы исчезли. Многие современные нормы труда возникли после кровавых событий промышленной революции — например, выходные дни и запрет детского труда на фабриках в США. Если ИИ станет одним из крупнейших технологических сдвигов в истории человечества, политический ответ на него тоже должен быть масштабным. Правительству следует заранее укрепить экономическую устойчивость людей и семей, считает эксперт.

Последствия уже заметны среди молодых работников. По отчёту Stanford Digital Economy Lab, опубликованному после 2022 года, занятость людей от 22 до 25 лет на рабочих местах, подверженных влиянию ИИ, снизилась на 19 процентов. Общество, в котором многие молодые люди с образованием не могут найти работу, эксперт считает уязвимым.

Исчезновение целых отраслей она опасается меньше, чем потери защиты для работников. Банковские кассиры почти исчезли, но сами банки остались, а технологии создают новые профессии. Проблема в том, что новые рабочие места могут появляться без гарантий, которые защищали работников после предыдущих технологических перемен.

По её словам, десятилетия экономической политики оставили семьи в уязвимом положении: многие в долгах, немногие откладывают на пенсию, а зарплаты целого поколения не росли. У трети американцев нет сбережений, поэтому они не могут заплатить 400 долларов в случае чрезвычайной ситуации, например потери работы или сокращения часов. ИИ может усилить эти трудности. Эксперт предлагает дать семьям экономические гарантии, подобные тем, которые уже существуют для корпораций.

Предупреждения об экзистенциальном риске она воспринимает серьёзно. Никто не знает, что произойдёт, поэтому нужно создавать более прочную основу для общества. Если же решения о будущем будут принимать немногие, это, по её мнению, станет проблемой.

Образование и самостоятельное мышление

Один из экспертов, изучающих образование, считает главной угрозой ослабление обучения. После того как инструменты ИИ стали доступны широкой публике в 2022 году, студенты начали тратить меньше времени на задания и чаще обращаться за помощью к публичным ИИ-сервисам, а не к преподавателям. В результате у них стало меньше времени на размышления, преодоление трудностей и самостоятельные открытия.

При этом эксперт не считает, что ценность образования исчезнет. Качественное образование по-прежнему помогает людям лучше выполнять задачи — независимо от того, пользуются они ИИ или нет. Старшая школа и колледжи, по его мнению, не станут ненужными.

В качестве решения он предлагает создавать ИИ-помощников, которые не выдают студентам готовые ответы. Кроме того, преподаватели всё чаще проводят часть проверок знаний в аудитории: студенты выполняют примеры домашних заданий под наблюдением, чтобы им было выгоднее действительно разобраться в материале.

Эксперт сравнивает ситуацию с космической гонкой, когда стране пришлось быстрее обычного искать ответ на вызов. В спокойное время можно пять лет изучать проблему, ещё пять лет выбирать решение и затем внедрять его. В условиях холодной или настоящей войны сроки приходится сокращать. По его мнению, образованию сейчас нужна такая же срочность.

Пока неясно, как именно должны измениться старшая школа и колледжи. Но если на поиск ответа уйдёт десять лет, целое поколение может не усвоить базовый учебный материал. Эксперт считает это серьёзным риском для общества.

По оценке Dataist, в разговоре о безопасности ИИ важно отделять измеримые угрозы от общих прогнозов и не сводить всё к вопросу о вымирании человечества. Названные экспертами риски уже касаются ядерных и финансовых систем, лабораторий, занятости и образования; при этом методы оценки последствий ИИ пока недостаточно развиты. Это оставляет открытым главный практический вопрос: как быстро общество сможет выстроить проверяемые правила и защиту для новых систем.