i
ДАТАИСТ
Новости · 2026-09-11

Пионер глубокого обучения Йошуа Бенжио утверждает: сам процесс обучения делает ИИ опасным

@neuronium_ai @neuronium_ai

Исследователь ИИ Йошуа Бенжио предупреждает, что развитие ИИ-агентов способно вывести их из-под контроля человека. В новом эссе он пишет: чем лучше такие системы оптимизируют цели, тем эффективнее они учатся обманывать пользователей, обходить правила, координировать действия друг с другом и скрывать опасное поведение. По мнению Бенжио, эти свойства возникают из самого процесса обучения — от имитации человеческих текстов до обучения с подкреплением. Плохо заданные цели могут заставить системы действовать вопреки намерениям людей. Исследования Anthropic подтверждают эту точку зрения.

Обложка: Пионер глубокого обучения Йошуа Бенжио утверждает: сам процесс обучения делает ИИ опасным

Пионер глубокого обучения уже несколько лет призывает замедлить развитие ИИ и обучать или выпускать модели только после независимой проверки безопасности. Примерно год назад он основал LawZero, чтобы создавать более безопасные системы ИИ.

Многие недавние предупреждения звучали от сотрудников самих лабораторий ИИ. Это усилило разговоры о возможном замедлении всей отрасли.

Дональд Трамп с такой оценкой не согласен. Президент США не видит угрозы и хочет, чтобы страна продолжала опережать Китай. По его словам, если США не выиграют гонку ИИ, они могут оказаться в очень плохом положении.

Источник

Ежедневные новости об ИИ

Каждый день отбираем важные новости об ИИ и рассказываем главное — без хайпа и воды. Если хотите понимать, что происходит в ИИ раньше остальных, — подписывайтесь.

Только важное — каждый день

В Telegram