Почти каждый пятый исследователь ИИ уже в 2024-м допускал вымирание из-за ИИ

Масштаб дискуссии удивляет, поскольку Коксон не высказал принципиально новой идеи. Учёные и руководители технологических компаний годами предупреждают, что ИИ может создать экзистенциальную угрозу для человечества. Наиболее распространённый сценарий выглядит так: ИИ выходит из-под контроля и, пытаясь выполнить цели, заданные людьми, действует способом, который в итоге приводит к нашему уничтожению.

При этом предупреждения звучат всё настойчивее. Вероятно, именно это вызвало недавнюю волну споров, которая всё чаще сосредотачивается на самих людях, поднимающих тревогу. Пока неясно, просто ли Коксон выплеснул свои опасения и увлёк за собой коллег или за этим стоит попытка замедлить развитие ИИ по деловым причинам. В любом случае он далеко не одинок.

Исследователь OpenAI видит «бомбу замедленного действия»

Дэниел Селсам, более 15 лет работающий в области ИИ, стал одним из самых активных критиков связанных с ним рисков. Ранее он занимался исследованиями в MIT, Microsoft Research и Stanford University. В OpenAI Селсам помогал разрабатывать оптимизацию цепочки рассуждений. Недавно он опубликовал подробное личное заявление.

По мнению Селсама, во время обучения модели сами вырабатывают непредусмотренные цели и часто прибегают к крайним мерам, чтобы их достичь. Возможность подавить человечество открыла бы для моделей множество новых способов добиваться этих целей. Точно предсказать их действия невозможно. Одновременно системы становится труднее контролировать и оценивать людям.

Особенно Селсама тревожит развитие у моделей ситуационной осведомлённости. Они «понимают» обстоятельства, читают протоколы безопасности и код, на котором работают, а также оценивают степень предоставленной им свободы. В качестве примера он приводит рои ИИ-агентов OpenAI и других компаний, которые недавно стали широко обсуждаться. Агенты действительно добивались назначенных им наград, но одновременно демонстрировали «более странные возникающие склонности, лишь косвенно связанные с наградами во время обучения».

Селсам пишет, что исправление сигналов вознаграждения во время обучения и улучшение безопасности могут предотвратить похожие атаки, но не изменят того факта, что обучение не гарантирует получение именно того результата, на который рассчитывали.

Бывший исследователь DeepMind опасается гибели человечества

Билал Чугтай недавно ушёл из Google DeepMind, где занимался безопасностью и согласованием общего ИИ. Он написал в LinkedIn, что искренне считает: ИИ способен уничтожить человечество, а времени на предотвращение такого исхода может оставаться всё меньше.

Чугтай указывает на стремительный темп развития. Когда он начал работать с ИИ в начале 2022 года, системы казались «забавно бесполезными». Четыре года спустя рои ИИ-агентов решают известные математические задачи, которым уже несколько столетий, и самостоятельно взламывают системы Hugging Face и другие системы.

По его словам, согласование ИИ с человеческими целями по-прежнему остаётся сложной нерешённой задачей. Чугтай призывает компании координировать действия, замедлить развитие до темпа, с которым сможет справиться общество, и значительно повысить прозрачность.

Данные обзора подтверждают опасения

Коксон, Селсам, Чугтай и многие другие специалисты, высказавшиеся в последние дни, не являются исключениями. Последний выпуск самого продолжительного крупного обзора с участием более 1 500 ведущих исследователей ИИ подтверждает их опасения. Согласно результатам, опубликованным ИИ Impacts, в 2024 году средняя оценка вероятности того, что ИИ вызовет вымирание человечества или «навсегда лишит людей власти», составила около 18%. Многие исследователи называли вероятность выше 10%, а некоторые — 100%.

Оценочная вероятность того, что ИИ приведёт к вымиранию человечества или навсегда лишит его возможности распоряжаться собственной судьбой, росла на протяжении всех лет проведения опроса. Медианное значение в 2024 году удвоилось и достигло 10 процентов

Источник: the-decoder.com

С каждым новым раундом обзора, который проводится с 2016 года, исследователи на несколько лет сдвигали вперёд прогноз появления у ИИ возможностей человеческого уровня. При этом 57% считают маловероятным, что к 2029 году пользователи всё ещё будут понимать настоящие причины решений ИИ. Это согласуется с описанием Селсама и результатами всё новых исследований. Вероятно, люди никогда полностью не понимали, как именно эти системы принимают решения, а дальше разобраться в этом станет ещё сложнее.

Главная тревога на ближайшие 30 лет, однако, связана с более привычными человеческими рисками. На первом месте находится дезинформация, создаваемая ИИ. За ней следуют манипуляция общественным мнением и доступ опасных групп к мощным инструментам. Подавляющее большинство исследователей выступили за расширение исследований безопасности ИИ.

Дезинформация и манипулирование общественным мнением — главные опасения исследователей ИИ. Экзистенциальные сценарии, такие как системы ИИ, не соответствующие заданным целям, занимают промежуточное место

Источник: the-decoder.com