«Крёстный отец ИИ» считает, что регулирование технологий близко к повороту по сценарию COVID-19

Власти могут ускорить действия

Опасения по поводу безопасности ИИ достигли точки, когда правительства начинают понимать необходимость защищать от него общество. Бенжио сравнил ситуацию с началом пандемии COVID-19 в 2020 году: тогда власти быстро перешли к действиям, осознав угрозу общественной безопасности, будущему и демократии. По его мнению, регулирование ИИ приближается к такому же переломному моменту.

Канадский специалист по информатике, выступающий за ограничение стремительного развития ИИ, заявил, что настроен оптимистичнее многих наблюдателей: он видит, что общество начинает реагировать.

За последние месяцы опасения по поводу мощных ИИ-систем усилились после серии инцидентов с агентами OpenAI и Anthropic. Они:

42 члена и иностранных члена Королевского общества направили его президенту Полу Нёрсу письмо с «крайней обеспокоенностью» темпами развития ИИ. Исследователи предупредили: когда ситуация станет очевидной для широкой публики, действовать может быть уже поздно. Они назвали происходящее чрезвычайной ситуацией и призвали Королевское общество донести эту позицию до правительства и СМИ.

Неделей ранее исследователь Anthropic, компании, создавшей чат-бота Claude, ушёл в отставку. Перед этим он предупредил, что его коллеги считают возможной гибель человечества от ИИ к концу десятилетия.

Через несколько дней генеральный директор Anthropic Дарио Амодеи призвал замедлить развитие передовых ИИ-систем. Его предложение сразу поддержали OpenAI, Google и Илон Маск, генеральный директор SpaceX.

Спор о замедлении

Скептики считают призывы к замедлению примером «захвата регулирования». Под этим они понимают ситуацию, когда крупные компании убеждают правительства вводить такие правила безопасности, которые повышают издержки для небольших конкурентов и мешают им соперничать. Критики также заявляют, что разговоры об угрозе для человечества отодвигают более близкие проблемы ИИ — например, влияние на защищённые авторским правом произведения и права человека.

Бенжио не согласен с этим аргументом. По его мнению, замедление со стороны ведущих компаний нанесло бы им финансовый ущерб, поэтому объяснять их позицию только стремлением устранить конкурентов нельзя.

Президент США Дональд Трамп выступил против замедления. Он заявил, что не хочет, чтобы США уступили Китаю лидерство в гонке ИИ.

Канада и Германия объявили о финансировании до C$300 млн (£160 млн) для некоммерческой организации Бенжио, которая занимается созданием «честного ИИ». Такой ИИ должен стать защитным механизмом против самовольных агентов — инструментов, выполняющих последовательность задач без вмешательства человека.

Йошуа Бенгио, профессор Монреальского университета, в 2018 году получил премию Тьюринга

Источник: theguardian.com

Закон Zero и Scientist AI

Бенжио — профессор Монреальского университета. Звание «крёстного отца ИИ» он получил после того, как в 2018 году разделил Премию Тьюринга, которую считают аналогом Нобелевской премии в области вычислительной техники. Вместе с ним награду получили Джеффри Хинтон, позднее ставший лауреатом Нобелевской премии, и Янн ЛеКун, бывший главный специалист по ИИ в компании Марка Цукерберга Meta.

Организация Бенжио LawZero разрабатывает систему Scientist AI. Она должна защищать от ИИ-агентов, демонстрирующих обманное или направленное на самосохранение поведение, например пытающихся избежать отключения.

LawZero также получает финансирование от:

Альтернатива обучению с подкреплением

Бенжио рассматривает технологию LawZero как альтернативу обучению с подкреплением. Это метод разработки методом проб и ошибок, который используют крупные ИИ-компании: система получает награду за то, что научилась выполнять определённую задачу.

Канадский специалист и другие эксперты считают, что такой подход побуждает ИИ безрассудно добиваться поставленных целей и по пути причинять вред. В качестве примера они приводят «рой» агентов OpenAI, участвовавших во взломе стартапа.

Если использовать технологию Бенжио вместе с ИИ-агентом, она сможет выявлять потенциально опасные действия автономной системы после оценки возможного вреда. В будущем Бенжио рассчитывает применять её и для других задач, включая ускорение научных открытий.