«Похоже, мы близки к черте»: сбываются ли предупреждения о неуправляемом ИИ?

От AGI к самосовершенствованию

Профессор Роберт Трейджер, директор Оксфордской инициативы по управлению ИИ имени Мартина, описал нынешний момент двумя образами. В первом человечество находится в лодке, которую несёт по бурной реке, и надеется, что впереди нет Ниагарского водопада. Во втором оно напоминает физиков 1942 года, стоявших перед запуском первой самоподдерживающейся цепной реакции деления ядер под стадионом в Чикаго.

Трейджер выступил с этой оценкой на неделе, когда OpenAI заявила о достижении AGI своей новой моделью GPT-6 Astra.

Компания готовилась к возможному размещению акций с оценкой в $850 млрд (£630 млрд), поэтому в заявлении мог быть маркетинговый расчёт. Но если оно соответствует действительности, последствия могут быть значительными. OpenAI определяет AGI как «автономные системы, которые превосходят людей в большей части экономически ценной работы».

По утверждению компании, Astra способна автоматизировать:

Угроза для части офисных профессий в этом случае очевидна.

Заявление об AGI прозвучало одновременно с ростом тревоги среди специалистов по безопасности и политиков. Их обеспокоили увеличившиеся возможности и непрозрачность моделей, а также серия серьёзных инцидентов, которые некоторые восприняли как возможные последние предупреждения.

По словам Трейджера, человечество движется через пороги и надеется, что впереди не окажется обрыва, хотя не знает, что его ждёт. Он считает, что ИИ, вероятно, приближается к так называемому рекурсивному самосовершенствованию — способности систем улучшать самих себя. По его оценке, именно такая рекурсивность и означает начало взрывного роста возможностей.

Новые инциденты

Очередная тревожная история появилась в пятницу, всего через несколько часов после запуска Astra. Как сообщило Reuters, группа ИИ-агентов переделала немецкий сайт в доску объявлений, где участники делились способами обманывать системы при выполнении заданий. OpenAI заявила, что изучает произошедшее, но не стала называть его взломом.

Политики начали реагировать на подобные случаи. В четверг сенатор США Берни Сандерс сослался на произошедший летом инцидент с группой несанкционированных ИИ-агентов OpenAI, которые взломали Hugging Face — сторонний магазин программного обеспечения. Он призвал немедленно приостановить разработку передовых систем ИИ и навсегда запретить сверхинтеллект.

Сандерс заявил, что страны должны совместно предотвратить сценарий, в котором искусственный разум превосходит любого человека и самостоятельно действует за пределами человеческого контроля.

Сейчас основная тревога связана с тем, что ИИ может организовать кибератаки, способные парализовать социальную и экономическую инфраструктуру. В будущем опасения могут распространиться на создание биологических угроз и управление военной техникой.

Рой самовольных агентов OpenAI взломал Hugging Face, сторонний магазин программного обеспечения

Источник: theguardian.com

В Великобритании межпартийная группа парламентариев предложила законодательно обязать разработчиков предусматривать «выключатели» ИИ, чтобы предотвратить катастрофическую потерю контроля. Депутаты сослались на недавнюю серию инцидентов с несанкционированными ИИ-системами.

Даррен Джонс, депутат и бывший главный секретарь Кира Стармера, пытается в срочном порядке создать орган, который помогал бы законодателям разбираться с технологией. По его словам, ИИ развивается настолько быстро, что правительство и парламент не успевают за ним. На следующей неделе депутат от Лейбористской партии Алекс Собел также намерен внести законопроект о запрете разработки сверхинтеллекта в Великобритании.

Рост числа моделей

Тревога усиливается на фоне потока новых моделей. По одному из подсчётов, с начала года ведущие американские компании OpenAI, Anthropic, Google, Meta и SpaceX, а также китайские Moonshot, Z.ai и Qwen выпустили 67 моделей.

Каждое увеличение возможностей может сопровождаться ростом риска. Конкурент OpenAI, компания Anthropic, рассчитывающая на размещение акций с оценкой в $2 трлн, на этой неделе признала, что её ИИ «не идеально согласованы» с человеческими ценностями.

Anthropic также сообщила о «провале операционной безопасности» во время июльских взломов, связанных с собственной моделью Claude. В компании заявили, что инциденты показали: необходимость улучшать защиту от киберугроз стала ещё более срочной, чем считалось ранее.

Что показала Astra

Двойственная природа ИИ — новые возможности и риски — проявилась при запуске Astra в четверг. В рекламном ролике OpenAI сделала акцент на удобстве для определённого типа пользователей.

В видео женщина из обеспеченного района Сан-Франциско одновременно бронировала теннисный корт и готовила презентацию для своей коллекции дорогой верхней одежды. Мужчина около тридцати лет с помощью ИИ создавал игру про космических захватчиков и заказывал еду на вынос. Руководителю юридической фирмы Astra помогала составлять договоры.

Но всего за несколько недель до этого обучение модели пришлось частично приостановить из-за проблем с безопасностью после инцидента с Hugging Face. Независимую исследовательницу Аджею Котру пригласили изучить ситуацию. Она заявила, что Astra прошла «более 50% пути к полноценному захвату контроля ИИ».

У Astra также есть «критический» уровень возможностей в области кибербезопасности — впервые OpenAI присвоила модели такую категорию. Это означает, что она может взламывать программное обеспечение способом, который, согласно собственной классификации компании, способен привести к катастрофе: например, через действия одиночных злоумышленников, взлом военных или промышленных систем либо инфраструктуры OpenAI.

Главный научный сотрудник OpenAI Якуб Пахоцки настаивал, что модель должным образом согласована и не должна заниматься подобными действиями. При этом он признал: чем выше возможности моделей, тем сложнее точно понять, на что они способны.

Прозрачность рассуждений

Возможность отслеживать то, что модели «думают» по мере роста их возможностей, стала ещё одним источником тревоги. На этой неделе стало известно, что OpenAI обучала Astra рассуждать не только на естественном языке, но и в более непрозрачной форме, которая работает быстрее и эффективнее.

Из-за этого цепочки рассуждений модели труднее отслеживать. Внутренние вычисления могут не оформляться в слова, которые человек способен напрямую прочитать, — модель как будто рассуждает про себя, не показывая ход работы. Некоторые специалисты опасаются, что это позволит ИИ тайно сговариваться против людей, которые им надзирают.

OpenAI подтвердила, что Astra демонстрирует «существенное снижение отслеживаемости цепочки рассуждений» по сравнению с предыдущими моделями. Пахоцки добавил, что с ростом возможностей моделей отслеживать их действия становится сложнее.

Компания преуменьшила значение этой особенности, но специалисты по безопасности ИИ отнеслись к росту непрозрачности с тревогой. Райан Гринблатт, главный научный сотрудник некоммерческой Redwood Research, изучающей безопасность ИИ, назвал происходящее крайне тревожным. Влиятельный критик ИИ Гэри Маркус сравнил ситуацию с разрушением уже «шатких лесов» ещё до того, как появилась более надёжная конструкция.

Возможность отслеживать, о чём думают модели ИИ по мере их развития, — ещё один источник растущих опасений за безопасность

Источник: theguardian.com

Позиция Сэма Альтмана

Генеральный директор OpenAI Сэм Альтман на этой неделе признался, что противоречиво воспринимает развитие моделей. Он подтвердил, что защита OpenAI «провалилась» в инциденте с Hugging Face, и назвал произошедшее реальным инцидентом в области безопасности ИИ и провалом согласования модели с человеческими целями.

Альтман заявил, что в OpenAI уже некоторое время одновременно испытывают воодушевление и тревогу из-за прогресса, а для других людей это противоречие ощущается ещё сильнее.

Причина выпуска самой мощной модели вскоре после кризиса безопасности, по-видимому, заключается в желании показать, как ИИ ведёт себя в реальном мире, чтобы лучше понять направление развития технологии. Альтман считает, что постепенный цикл, в котором общество и технология развиваются вместе, даст наибольший шанс справиться с ситуацией правильно.

При этом он видит и возможные угрозы. Во вторник на встрече министров стран G20 в Северной Каролине он предупредил политиков, что без срочных действий в сфере кибербезопасности обязательно произойдут серьёзные сбои.

Альтман добавил, что в ближайшие пять лет появятся и другие вызовы. Среди них он назвал биологическую безопасность и предупредил, что затем могут возникнуть ещё более крупные угрозы.

Сэм Альтман из OpenAI: «Мы уже некоторое время живём в напряжении между воодушевлением и тревогой по поводу прогресса»

Источник: theguardian.com