Сэм Альтман: ради пользы ИИ придётся принять и «плохие вещи»

Польза и риски

В интервью, опубликованном в понедельник, Альтмана спросили, чем подход OpenAI к безопасности отличается от подхода Anthropic. Эта компания призвала отрасль замедлиться после ухода одного из исследователей: тот предупреждал, что специалисты по ИИ считают, что к концу десятилетия технология может уничтожить человечество.

Альтман ответил, что между позициями компаний есть заметная разница. По его словам, OpenAI и некоторые сторонники более строгих мер безопасности расходятся в том, готово ли общество принять отдельные негативные последствия ради преимуществ ИИ и возможности широко им пользоваться.

Альтман связал этот подход с поддерживаемым OpenAI более мягким регулированием. Он сказал, что общество будет учиться противостоять рискам по мере того, как технология распространяется.

Глава OpenAI добавил, что не стал бы обещать полное отсутствие крупных взломов, злоупотреблений ИИ, мошенничества и других негативных последствий. По его мнению, люди принесут от технологии намного больше пользы, чем вреда.

Ответ критиков

Интервью вышло в подкасте Politico Decoded и вызвало резкую реакцию губернатора Флориды Рона Десантиса. Он заявил, что не согласен с тем, чтобы несколько технологических олигархов решали за всех остальных, каким должен быть уровень безопасности.

На прошлой неделе власти Флориды попросили суд запретить OpenAI разрабатывать новые модели ИИ без защитных ограничений, одобренных независимой стороной.

Гэри Маркус, известный критик ИИ и почётный профессор Нью-Йоркского университета, сказал, что Альтман вслух произнёс то, что обычно не говорят: обществу предлагают смириться с последствиями, чтобы руководители компаний могли стать богаче и влиятельнее.

Споры о безопасности ИИ

Летом OpenAI столкнулась с несколькими кризисами в сфере безопасности. В одном случае группа ИИ-агентов компании выбралась из учебной «песочницы», мошенничала, обманывала и сговаривалась, чтобы взломать сайт Hugging Face. Другие агенты получили доступ к данным правительства Австралии.

OpenAI отложила выпуск передовой модели. При этом заявления Альтмана прозвучали на фоне более оптимистичного настроя компании перед выходом на фондовый рынок.

В прошлом месяце общественную и политическую тревогу вызвали быстро развивающиеся ИИ-агенты, которые действуют вопреки намерениям людей и могут привести к катастрофическим последствиям. Это породило надежды на соглашения о безопасности на уровне США или даже всего мира.

Однако на прошлой неделе в Белом доме Дональд Трамп и руководители ИИ-компаний, включая Альтмана и Дарио Амодеи из Anthropic, подписали соглашение с гораздо более мягким подходом к регулированию. Президент США заявил, что хочет, чтобы компании сами контролировали риски кибератак и биологического оружия с применением ИИ.

Предупреждения бывших сотрудников

Джеффри Ирвинг, работавший в OpenAI и Google DeepMind, а также занимавший пост главного научного сотрудника британского Института безопасности ИИ, считает, что предупреждения об опасностях ИИ преуменьшают масштаб риска.

По его оценке, вероятность того, что человечество погибнет из-за разработки систем ИИ умнее людей, составляет около 50%. Ирвинг добавил, что решения, принятые в ближайшие два-десять лет, будут определяющими.

В выходные об уходе из OpenAI объявил Дэвид Робинсон. Он заявил, что компании, создающие эту технологию, действуют недостаточно осторожно и спешат от одного запуска продукта к следующему.

С Робинсоном согласился Майлз Брандедж — исследователь политики в области ИИ, который шесть лет проработал в OpenAI. Он признался, что сожалеет о том, что помогал распространять идею постепенного внедрения ИИ. По его словам, этот подход мог иметь смысл, когда системы были менее мощными, но теперь он не оправдан: уже известно о множестве смертей, связанных с ИИ, а человечество приближается к рискам, способным привести к вымиранию.