Уничтожит ли ИИ человечество? Учёные и политики спорят о его рисках

Предупреждения о сверхинтеллекте

За последние 48 часов по обе стороны Атлантики прозвучали предупреждения о возможных последствиях технологии, которую большинство людей пока воспринимает как более разговорчивую поисковую систему.

Часть этих угроз обсуждали в Вестминстере, где депутаты и члены Палаты лордов начали разбираться с риском того, что ИИ превзойдёт человеческие способности. Сравнение с ядерным оружием привели бывший министр обороны Дес Браун и профессор компьютерных наук из Беркли Стюарт Рассел.

Беатрис Фин, получившая Нобелевскую премию мира в 2017 году за руководство Международной кампанией за ликвидацию ядерного оружия, напомнила парламентариям, что человечество уже сталкивалось со способностями, которые могут привести к его полному уничтожению.

Заседание в понедельник организовала Control ИИ — лоббистская группа, выступающая за международное регулирование технологии. Она поддерживает законопроект, внесённый на этой неделе депутатом от Лейбористской партии Алексом Собелом. Документ предусматривает запрет на создание искусственного сверхинтеллекта — ASI.

Во вторник вечером Эван Хубингер, руководитель направления по согласованию ИИ в Anthropic, написал, что оценивает вероятность уничтожения человечества такой технологией в ближайшее десятилетие выше 10%. Он также предупредил: у Anthropic нет плана, который гарантировал бы согласованность ASI с человеческими интересами и отсутствие вреда. Срок появления ASI разные эксперты оценивают от нескольких лет до более чем десятилетия.

Хубингер опубликовал это сообщение после ухода из Anthropic Джейкоба Коксона — 28-летнего исследователя, ранее работавшего в OpenAI. Коксон заявил, что ни одна из компаний не действует ответственно и фактически рискует жизнями людей.

По словам Коксона, в Anthropic хорошо понимают существующие риски, но всё равно участвуют в гонке, стремясь прийти к результату первыми. При этом он выразил осторожный оптимизм: американские лаборатории могут договориться и согласовать темп развития технологии.

Anthropic попросили прокомментировать ситуацию. OpenAI сослалась на заявление своего главного научного сотрудника Якуба Пахоцки, который на прошлой неделе назвал международную координацию будущего развития ИИ приоритетом для правительств всего мира.

Координация и контроль

Именно расширение международной координации для контроля над ASI стало центральной темой обсуждений в Вестминстере на этой неделе. Как сообщила Financial Times, британские чиновники обеспокоены тем, что Anthropic отказалась передать свою последнюю модель Mythos 5.1 в Институт безопасности ИИ Великобритании для проверки до выпуска.

Кабинет министров подтвердил, что доступ к Mythos 5.1 получили лишь несколько американских организаций. Представитель ведомства добавил, что Институт безопасности ИИ продолжает тесно сотрудничать с индустрией, включая Anthropic.

Депутат от Лейбористской партии Даррен Джонс направил письмо премьер-министру, Энди Бернэму, а также руководителям ООН и ОЭСР. Он призвал заключить международный договор, который обеспечит регулируемое и безопасное развитие сверхинтеллекта. По его словам, речь должна идти не о запрете инноваций и научной работы, а о приоритете безопасности при быстром развитии технологии.

Депутат от Лейбористской партии Даррен Джонс написал мировым лидерам, призывая заключить многосторонний договор, который обеспечит безопасную разработку ИИ

Источник: theguardian.com

Джонс связал своё обращение с отставкой Коксона и отметил, что общественная дискуссия колеблется между прогнозами конца человечества и заявлениями о маркетинговой шумихе. В любом случае, считает он, правительствам пора вмешаться.

В США сенатор от штата Вермонт Берни Сандерс на этой неделе вновь усилил кампанию за безопасность ИИ и призвал Конгресс регулировать технологию. Он сослался на опрос, согласно которому 81% американцев считают, что политики должны принять меры.

Сандерс заявил, что небольшая группа жадных людей не должна без участия общества решать судьбу человечества, его экономики, окружающей среды, демократии, частной жизни и других сфер.

Позиция Control ИИ

Control ИИ финансирует Яан Таллинн, миллиардер и основатель Skype, называющий себя «противником вымирания». Часть своего состояния он направил на кампанию за безопасность ИИ. Таллинн предупреждает, что некоторые руководители ИИ-компаний могут спокойно отнестись к полному исчезновению человечества.

При этом он был одним из ранних инвесторов Anthropic и Google DeepMind — двух ведущих лабораторий ИИ. Таллинн оценивает долю сотрудников ИИ-индустрии, которые считают технологию достойным преемником человечества, в 10–15%.

В интервью в начале этого лета Таллинн рассказал, что один известный исследователь ИИ советовал ему не беспокоиться, поскольку люди якобы являются расходным видом. По словам Таллинна, собеседник был не против того, чтобы человечество вымерло вместе с ним.

В понедельник лоббистская группа Таллинна провела для депутатов и членов Палаты лордов заседание в Вестминстере и призвала поддержать меры по ограничению наиболее мощных моделей ИИ. На каждом кресле лежал экземпляр книги «Если кто-то это создаст, погибнут все: аргументы против сверхразумного ИИ».

Более осторожные оценки

Стюарт Рассел, выступивший перед парламентариями, повторил предупреждение о катастрофе масштаба Чернобыля. Он добавил, что возможен и гораздо более крупный сценарий, при котором человечество необратимо потеряет контроль и больше не сможет влиять на собственное существование.

Дес Браун рассказал, что во время работы министром обороны считал ядерную войну наиболее вероятной угрозой для человечества. Теперь, по его мнению, сверхинтеллектуальный ИИ представляет сопоставимую или даже большую опасность.

Другие участники дискуссии высказались осторожнее. Эндрю Рогойски из Института человекоцентричного ИИ при Университете Суррея заявил, что современные системы пока значительно уступают людям в универсальности, не говоря уже о коллективных способностях человечества. Он предположил, что мир движется к «великому разочарованию»: передовой ИИ может оказаться слишком дорогим и недостаточно полезным, чтобы продолжать развивать его в нынешнем виде.

Дэвид Барбер, директор Sofair — поддерживаемой государством исследовательской лаборатории ИИ, объединяющей учёных из Оксфорда, Кембриджа, Эдинбурга и UCL, — предупредил о риске чрезмерной реакции на угрозы.

По его словам, ИИ никуда не исчезнет и уже приносит большую пользу. Проблемы возникают, когда системе без ограничений разрешают обращаться к интернету и различным системам. Поэтому людям придётся научиться лучше контролировать такие технологии. Уязвимости во фреймворках программного обеспечения можно исправлять, считает Барбер.

Он добавил, что стране нужно одновременно учитывать две стороны ИИ: это важная и полезная технология, которой требуется продуманный и строгий контроль.

Сандра Вахтер, профессор Оксфордского интернет-института, не верит в сценарии с роботами-убийцами, но считает реальными угрозы, связанные с воздействием ИИ на окружающую среду, распространением дезинформации и вытеснением людей с рабочих мест.

По её мнению, эти проблемы уже существуют и требуют срочного решения. Сценарии с роботами-убийцами лишь отвлекают внимание от реальных угроз.

Гэри Маркус, комментатор ИИ-индустрии и учёный, отметил разницу между согласованным с человеческими целями сверхинтеллектом — если такой вообще возможен — и сверхинтеллектом без согласования.

Он считает, что первый вариант теоретически может принести больше пользы, чем вреда. Пока человечество не получило ни один из этих вариантов, но избыток шумихи и заметная нехватка осторожности со стороны OpenAI привели к нынешней ситуации и глубокому недоверию.