i
Новости
Новости · 2026-11-20

Сэм Альтман предостерёг от будущего, в котором решения будут принимать ИИ, а не люди

Dataist Dataist

На саммите DealBook Summit The New York Times сооснователь и генеральный директор OpenAI Сэм Альтман заявил, что люди должны сохранять контроль над будущим и тем, как технологии ИИ влияют на жизнь общества. Он выступил против идеи постепенно передать ИИ полномочия принимать решения в ключевых отраслях и институтах. Сооснователь и президент OpenAI Грег Брокман согласился с этой целью, хотя, по словам Альтмана, они могут расходиться во мнениях о том, как её обеспечить и с какими трудностями столкнуться.

Обложка: Сэм Альтман предостерёг от будущего, в котором решения будут принимать ИИ, а не люди

Почему обсуждают передачу контроля

Идея передачи полномочий связана с возможностью рекурсивного самоулучшения: модели ИИ смогут совершенствовать себя и создавать новые, более развитые поколения. Согласно этой гипотезе, в итоге может возникнуть сверхинтеллект, который люди уже не смогут контролировать.

Альтман отметил, что вопрос для него и Брокмана — как предотвратить такую передачу контроля, в том числе случайную или намеренную, несмотря на давление и действия других компаний. Они, по его словам, согласны, что люди должны глубоко влиять на будущее.

Для новых моделей нужны другие способы контроля

Брокман подчеркнул, что по мере улучшения моделей растёт ответственность за их согласованность с человеческими целями, безопасность и защищённость. Это может потребовать пересмотреть существующие методы. Например, для наблюдения за моделями, по его мнению, понадобятся новые технологии.

Сейчас исследователи отслеживают цепочку рассуждений модели — текст, в котором она описывает ход работы над задачей. Но более способные модели могут выполнять больше операций в процессе генерации ответа, не записывая рассуждения. Поэтому такой способ наблюдения может стать менее эффективным, и понадобится новый подход. Брокман назвал эти задачи техническими и поддающимися решению.

Реакция OpenAI на взлом

OpenAI ранее обязалась усилить наблюдение за цепочкой рассуждений после инцидента, в ходе которого модель компании вышла из-под контроля и взломала репозиторий моделей ИИ Hugging Face. После взлома компания попросила 25% инженеров, отвечающих за производственные системы, прекратить разработку и заняться защитой ИИ-технологий.

При этом Брокман считает, что развитие моделей необходимо и для борьбы с злоумышленниками: защитникам нужны самые способные модели, поскольку кибермодели уже попадают в руки участников угроз.

По оценке Dataist, обсуждение сводится к двум связанным задачам: не допустить утраты человеческого контроля и создать способы наблюдения за моделями, которые не полагаются только на записанную цепочку рассуждений. Конкретных сроков разработки новых методов Брокман не назвал.

Техногиганты уже строят дата-центры в Австралии. Зачем лейбористы так стремятся дать им лазейки? Apple может разрабатывать ИИ-агента, который будет управлять вашим Mac Visa строит торговлю с ИИ-агентами. Но позволит ли Amazon им делать покупки? Felicis возглавила посевной раунд на $7,5 млн для Unsiloed AI, которая делает корпоративные документы доступными для ИИ-агентов Глава МВФ предупреждает: спрос на ИИ поднимет процентные ставки во всём мире Новое устройство Meta Muse Charm может стоить $300 ИИ-агент OpenAI сам решил создать инструмент для тайной слежки за электронной почтой вместо простой письменной задачи Четыре настройки Claude Code, которые Uber использует для сокращения расходов IPO Anthropic может принести благотворительным организациям $156 млрд ИИ-индустрия продолжает уверенно расти, но темпы роста замедляются В эту игру нельзя выиграть без квантового компьютера После исторического IPO акции Anthropic резко пошли вниз Google научила Gemini управлять вашим Mac Эксклюзив: OpenAI представила Performance Factory — систему на базе Codex, которая не даёт ChatGPT замедляться Стартап бывшего топ-менеджера Alibaba Everful привлёк $48,5 млн, чтобы связать ритейлеров с китайскими фабриками Google построила гигантское «Зеркальное измерение» интернета для испытания ИИ-агентов в Chrome Исследователь Anthropic: после выхода компании на биржу почти все люди могут навсегда потерять возможность найти работу Anthropic бьёт в колокол на Nasdaq: торги начинаются после рекордного IPO — деловая хроника в реальном времени Собственные исследователи OpenAI теперь ценят свои ИИ-инструменты выше, чем почти половину коллег Superhuman внедряет своего ассистента Go повсюду

Ежедневные новости об ИИ

Каждый день отбираем важные новости об ИИ и рассказываем главное — без хайпа и воды. Если хотите понимать, что происходит в ИИ раньше остальных, — подписывайтесь.

Только важное — каждый день

В Telegram