Советник Папы по ИИ обеспокоен «картельным» поведением крупных лабораторий

Спор о правилах

Недавние предупреждения сотрудников крупнейших ИИ-лабораторий о темпах развития технологий вызвали тревогу из-за возможного исчезновения человечества. В основе этих предупреждений лежит предположение, что жесткая конкуренция между компаниями и соперничество США с Китаем подталкивают лаборатории к созданию сверхразумных моделей, чьи способности будут намного превосходить человеческие.

По мнению Бенанти, такие рассуждения о сверхразуме мешают открыто обсуждать, как ограничить компании, разрабатывающие эту технологию. Лаборатории представляют проблему настолько сложной, что решить ее якобы могут только они сами, и тем самым исключают остальных участников из разговора.

Бенанти считает, что этика не должна принадлежать совету директоров одной компании. Ее необходимо согласовывать и обсуждать в публичном пространстве, а регулирование ИИ должно быть демократическим.

После публикации предупреждений о безопасности генеральный директор Anthropic Дарио Амодеи предложил ввести обязательную проверку новых ИИ-моделей независимыми организациями до их выпуска. Он также призвал ограничить дистилляцию — процесс, при котором конкурирующие лаборатории обучают собственные модели на ответах закрытых моделей.

Другие специалисты предлагали полностью запретить рекурсивное самоулучшение: в этом случае ИИ использует продвинутые способности к программированию, чтобы помогать создавать следующие версии самого себя.

Бенанти меньше интересуют ограничения на конкретные методы разработки ИИ: по его мнению, они могут затормозить инновации. Вместо этого он выступает за стандарты, которые не позволят моделям выйти из-под человеческого контроля. Разрабатывать такие стандарты, считает священник, не должны сами лаборатории.

Картель крупных лабораторий

Бенанти называет заявления передовых лабораторий о будущем ИИ продиктованными их собственными интересами — стремлением получить или сохранить положение на рынке. Если небольшая группа компаний устанавливает правила работы целой отрасли, этому, по его словам, есть понятное название: картель.

Насколько серьезно следует воспринимать громкие заявления о возможностях нынешних и будущих ИИ-моделей, определить трудно. На них одновременно влияют экономические, политические и личные интересы.

OpenAI и Anthropic поддерживали призывы замедлить развитие ИИ, но одновременно готовятся выйти на биржу. На кону — многие миллиарды долларов, которые получит тот, кто завоюет рынок.

Ситуацию дополнительно усложняет напряженность между США и Китаем — странами, где разрабатываются самые передовые ИИ-модели.

Anthropic отказалась от комментариев. OpenAI и Google DeepMind не ответили на запросы.

Сверхразум как объект веры

Бенанти также критикует то, как некоторые представители ИИ-индустрии говорят о сверхразуме. Его описывают почти с религиозным почтением — как нечто недоступное человеческому пониманию и практически всемогущее. Генеральный директор OpenAI Сэм Альтман однажды говорил, что хочет создать «магический разум в небе».

По мнению Бенанти, такая подача искажает общественную дискуссию о технологии. Он предлагает различать, идет ли речь о вещи или о личности. Для этого, считает священник, не нужна вера — достаточно математики: ИИ не становится новым божеством, а люди лишь убеждают себя, что за ним стоит нечто большее, чем статистические вычисления.

Появление ИИ заставляет заново обсуждать различия между человеком и машиной, а также способы защитить будущие поколения от негативных последствий технологий. Бенанти считает, что это может создать для религий новую роль в общественной дискуссии. По его словам, участие в вызовах своего времени входит в миссию Церкви.

Советник, а не представитель Ватикана

Бенанти состоит в духовенстве, но официально не представляет Святой престол — руководящий орган Католической церкви. Он консультирует Церковь как исследователь философии, теологии и технологий.

Бенанти рассказал WIRED, что использует ИИ для создания инструментов и материалов для студентов своего университета. При этом он отказался уточнить, как именно папа Лев XIV использует эту технологию, если использует вообще. Сотрудники Бенанти заявили, что он связан «клятвой молчания».

В мае папа Лев опубликовал свою первую энциклику — послание, в котором религиозные учения применяются к актуальным проблемам и разъясняется позиция Церкви. Ее темой стал искусственный интеллект.

В энциклике папа предостерег от технократической логики, распространенной в ИИ-индустрии. Она представляет эффективность как высший критерий ценности, а человека — как проект, который нужно оптимизировать.

Папа также призвал соперничающие мировые державы и ИИ-компании сотрудничать на международном уровне. По его мнению, они должны отказаться от стремления обеспечить геополитическое или коммерческое господство, чтобы развивать технологию на благо общества.

В одном из разделов энциклики папа предупредил об опасности того, что человечество станет жертвой собственных достижений.

Человеку нужны тормоза и руль

Бенанти считает, что споры о сверхразуме и риске для существования человечества могут отвлечь внимание от целей, обозначенных в энциклике. Такие разговоры побуждают людей передавать право определять направление развития технологии небольшой группе математиков, компьютерных специалистов и руководителей крупных лабораторий.

По мнению Бенанти, прежде всего людям нужны тормоза и руль. Это означает, что человек должен сохранить значимый контроль над машиной.