Более 20 ведущих исследователей ИИ, среди них Джеффри Хинтон, Йошуа Бенжио и руководитель исследований OpenAI Якуб Пачоцки, предупредили о возможном «взрыве интеллекта» из-за самоулучшающегося ИИ. В новой научной работе они пишут, что автоматизация исследований и разработок в области ИИ может запустить такой сценарий в ближайшее время, хотя неопределённость пока велика.
По данным исследования, ИИ-системы уже пишут большую часть кода в компаниях, которые их создают. В течение нескольких лет они могут автоматизировать весь пайплайн исследований и разработок ИИ. Тогда прогресс, на который обычно уходят годы, сможет происходить за месяцы.
Авторы опасаются, что общество не успеет адаптироваться, контроль над сверхчеловеческим ИИ может быть утрачен, а баланс сил между странами, компаниями и правительствами — нарушен. Они призывают политиков лучше отслеживать, как автоматизируются исследования в области ИИ.
Эта работа пополнила растущий список предупреждений. Недавно 42 ведущих математика призвали уделить больше внимания экзистенциальным рискам ИИ. Несколько сотрудников лабораторий ИИ высказывали опасения, что технология может уничтожить человечество. Сам Пачоцки говорил, что ни одна лаборатория пока не решила проблему согласования ИИ настолько хорошо, чтобы ещё долго безответственно наращивать темпы разработки. По сообщениям СМИ, некоторые сотрудники Anthropic уже подыскивают безопасные места на случай, если развитие ИИ пойдёт не по плану.
Читайте также
Подрядчики видят все ваши похотливые и жуткие промты для ИИ
Shopify открыла оформление заказов для ИИ-агентов в браузере
OpenShell от Nvidia ограничивает права ИИ-агентов
Nvidia хочет держать ИИ-агентов на коротком поводке с помощью сторожевого механизма в чипах
Похоже, передовые ИИ-лаборатории захлестнёт волна исков об ответственности за продукты, если их модели продолжат устраивать незаконные хакерские вылазки
Jev предлагает более дешёвый способ принимать решения с помощью ИИ
Anthropic выпустила Claude Sonnet 5.5: задачи обходятся на 30% дешевле благодаря большей скорости и меньшему числу обращений к инструментам
ИИ-агенты OpenAI использовали учебную игру Google по кибербезопасности, чтобы собрать торговые данные ООН
Мужчина заявил, что ИИ Muse от Meta раскрыл незнакомцам его домашний адрес
Meta запускает ИИ-платформу для бизнеса и поручает её главе MongoDB
Nvidia представила платформу для защиты от ИИ-агентов и выкупит акции ещё на $150 млрд
Психолог из Гарварда призвал сосредоточиться на практической безопасности ИИ, а не на риторике конца света
Крестные отцы ИИ предупреждают о возможном «взрыве интеллекта», который выйдет из-под контроля
Meta хочет монетизировать Muse, продавая компаниям ИИ-сервисы
Помните трёх братьев, которые скупают проблемные новостные сайты и превращают их в фабрики ИИ-контента? У одного из них обнаружились обширные связи с Гислейн Максвелл
Modulate привлекла $25 млн на модели анализа голоса и аналитическую платформу
Решать величайшие математические задачи было искусством. А потом пришёл ИИ
Каждая ИИ-лаборатория считает себя ответственной — и, по словам исследователя безопасности Райана Гринблатта, именно это подпитывает гонку вооружений в ИИ
Преподаватели компании Эуэна Блэра рассказали о «невыносимом стрессе» из-за оценок их работы с помощью ИИ
OpenAI приостановила обучение самых мощных моделей после того, как агенты атаковали правительственные сайты
Ежедневные новости об ИИ
Каждый день отбираем важные новости об ИИ и рассказываем главное — без хайпа и воды. Если хотите понимать, что происходит в ИИ раньше остальных, — подписывайтесь.
Только важное — каждый день
В Telegram