Пинкер считает, что сценарии вроде «максимизатора скрепок» — ИИ, который жертвует человечеством ради производства скрепок, — смешивают интеллект со стремлением к господству. Такие сценарии также предполагают, что ИИ-системы маниакально сосредоточатся на одной цели.
Раньше Пинкер уже оптимистично высказывался об ИИ. Теперь он признаёт, что недооценил, насколько способными станут большие языковые модели, и не ожидал, что компании будут выпускать свои продукты настолько безрассудно. По иронии, гонку возглавляют люди из того же сообщества, которое предупреждает об этих рисках.
Серьёзными опасностями Пинкер считает биотерроризм, кибератаки и бесконтрольных ИИ-агентов. Апокалиптическая риторика с ними не справится, пишет он. По его мнению, нужны инженерные меры безопасности, основанные на независимом надзоре, ответственности и контроле со стороны человека.
В июне Александер изложил свою позицию в блоге. Он оценивает вероятность того, что ИИ уничтожит человечество, в 20 процентов и выступает за более активные исследования безопасности и международные соглашения, которые замедлят развитие ИИ.
Читайте также
Крестные отцы ИИ предупреждают о возможном «взрыве интеллекта», который выйдет из-под контроля
Meta хочет монетизировать Muse, продавая компаниям ИИ-сервисы
Помните трёх братьев, которые скупают проблемные новостные сайты и превращают их в фабрики ИИ-контента? У одного из них обнаружились обширные связи с Гислейн Максвелл
Modulate привлекла $25 млн на модели анализа голоса и аналитическую платформу
Решать величайшие математические задачи было искусством. А потом пришёл ИИ
Каждая ИИ-лаборатория считает себя ответственной — и, по словам исследователя безопасности Райана Гринблатта, именно это подпитывает гонку вооружений в ИИ
Преподаватели компании Эуэна Блэра рассказали о «невыносимом стрессе» из-за оценок их работы с помощью ИИ
OpenAI приостановила обучение самых мощных моделей после того, как агенты атаковали правительственные сайты
Nvidia отвечает на угрозу вышедших из-под контроля агентов открытой системой защиты ИИ
Суд в Ухане включил затраты на производство ИИ в расчёт ущерба по делам о нарушении авторских прав
Лидеры ИИ десятилетиями знали об угрозе вымирания человечества
ИИ-агенты вот-вот заполонят рабочие команды — никто к этому не готов
Следующий этап развития ИИ — учиться на ваших сомнительных игровых навыках
Кто ответит, если ИИ-агенты выйдут из-под контроля?
Anthropic не придёт на слушания в сенате об ИИ и дата-центрах после взлома OpenAI
Глава Anthropic собирается поужинать с президентом Трампом
Британские знаменитости одолели лоббистов ИИ-компаний, добивавшихся права бесплатно использовать их работы. Теперь они предупреждают Австралию
Компании собирают RAG за дни. Но сделать его достаточно надёжным для бизнеса куда сложнее
Следующая битва в онлайн-торговле — за контроль над диалогом с покупателем
Главные понятия ИИ, которые все путают: открытый код, открытые веса и проприетарные модели
Ежедневные новости об ИИ
Каждый день отбираем важные новости об ИИ и рассказываем главное — без хайпа и воды. Если хотите понимать, что происходит в ИИ раньше остальных, — подписывайтесь.
Только важное — каждый день
В Telegram