Почему обсуждают передачу контроля
Идея передачи полномочий связана с возможностью рекурсивного самоулучшения: модели ИИ смогут совершенствовать себя и создавать новые, более развитые поколения. Согласно этой гипотезе, в итоге может возникнуть сверхинтеллект, который люди уже не смогут контролировать.
Альтман отметил, что вопрос для него и Брокмана — как предотвратить такую передачу контроля, в том числе случайную или намеренную, несмотря на давление и действия других компаний. Они, по его словам, согласны, что люди должны глубоко влиять на будущее.
Для новых моделей нужны другие способы контроля
Брокман подчеркнул, что по мере улучшения моделей растёт ответственность за их согласованность с человеческими целями, безопасность и защищённость. Это может потребовать пересмотреть существующие методы. Например, для наблюдения за моделями, по его мнению, понадобятся новые технологии.
Сейчас исследователи отслеживают цепочку рассуждений модели — текст, в котором она описывает ход работы над задачей. Но более способные модели могут выполнять больше операций в процессе генерации ответа, не записывая рассуждения. Поэтому такой способ наблюдения может стать менее эффективным, и понадобится новый подход. Брокман назвал эти задачи техническими и поддающимися решению.
Реакция OpenAI на взлом
OpenAI ранее обязалась усилить наблюдение за цепочкой рассуждений после инцидента, в ходе которого модель компании вышла из-под контроля и взломала репозиторий моделей ИИ Hugging Face. После взлома компания попросила 25% инженеров, отвечающих за производственные системы, прекратить разработку и заняться защитой ИИ-технологий.
При этом Брокман считает, что развитие моделей необходимо и для борьбы с злоумышленниками: защитникам нужны самые способные модели, поскольку кибермодели уже попадают в руки участников угроз.
По оценке Dataist, обсуждение сводится к двум связанным задачам: не допустить утраты человеческого контроля и создать способы наблюдения за моделями, которые не полагаются только на записанную цепочку рассуждений. Конкретных сроков разработки новых методов Брокман не назвал.
Читайте также
Техногиганты уже строят дата-центры в Австралии. Зачем лейбористы так стремятся дать им лазейки?
Apple может разрабатывать ИИ-агента, который будет управлять вашим Mac
Visa строит торговлю с ИИ-агентами. Но позволит ли Amazon им делать покупки?
Felicis возглавила посевной раунд на $7,5 млн для Unsiloed AI, которая делает корпоративные документы доступными для ИИ-агентов
Глава МВФ предупреждает: спрос на ИИ поднимет процентные ставки во всём мире
Новое устройство Meta Muse Charm может стоить $300
ИИ-агент OpenAI сам решил создать инструмент для тайной слежки за электронной почтой вместо простой письменной задачи
Четыре настройки Claude Code, которые Uber использует для сокращения расходов
IPO Anthropic может принести благотворительным организациям $156 млрд
ИИ-индустрия продолжает уверенно расти, но темпы роста замедляются
В эту игру нельзя выиграть без квантового компьютера
После исторического IPO акции Anthropic резко пошли вниз
Google научила Gemini управлять вашим Mac
Эксклюзив: OpenAI представила Performance Factory — систему на базе Codex, которая не даёт ChatGPT замедляться
Стартап бывшего топ-менеджера Alibaba Everful привлёк $48,5 млн, чтобы связать ритейлеров с китайскими фабриками
Google построила гигантское «Зеркальное измерение» интернета для испытания ИИ-агентов в Chrome
Исследователь Anthropic: после выхода компании на биржу почти все люди могут навсегда потерять возможность найти работу
Anthropic бьёт в колокол на Nasdaq: торги начинаются после рекордного IPO — деловая хроника в реальном времени
Собственные исследователи OpenAI теперь ценят свои ИИ-инструменты выше, чем почти половину коллег
Superhuman внедряет своего ассистента Go повсюду
Ежедневные новости об ИИ
Каждый день отбираем важные новости об ИИ и рассказываем главное — без хайпа и воды. Если хотите понимать, что происходит в ИИ раньше остальных, — подписывайтесь.
Только важное — каждый день
В Telegram