Крестный отец ИИ Джеффри Хинтон: «Мы создаём инопланетных существ. Я готов быть эгоистом и выбрать людей»

Почему Хинтон говорит о риске

За последний месяц всё больше ведущих учёных и исследователей ИИ присоединились к предупреждениям Хинтона о том, что созданная людьми технология может выйти из-под контроля. Это вызвало кризис в отрасли, срочные встречи в Конгрессе США и редкое международное согласие: необходимо что-то предпринять.

Нашлись и резкие критики. На прошлой неделе генеральный директор самой дорогой компании в мире публично атаковал Хинтона. Дженсен Хуанг, глава Nvidia, которая производит чипы для компаний, занимающихся ИИ, заявил ведущему подкаста Эзре Кляйну, что любит Хинтона, но не верит его предсказаниям: по его словам, они всегда оказывались неверными, а таких прогнозов уже достаточно.

Хуанг отверг опасения Хинтона, что скорость и масштаб развития передовых моделей вскоре превысят возможности людей контролировать их. В частности, он раскритиковал оценку Хинтона, согласно которой в ближайшие десятилетия вероятность гибели человечества из-за ИИ составляет 10–20%. Хуанг сказал, что эта цифра не основана ни на науке, ни на исследованиях, а слова учёного сами по себе не делают её научной. По его мнению, такие прогнозы вредят; призывы к тревоге не обязательно приносят пользу обществу, а обсуждать проблему следует разумно, зрелым и научным образом, опираясь на факты.

Хинтон ответил, что критики упускают главное: он не предсказывает конкретное событие, а говорит о серьёзном риске. Если бы человеку сообщили, что вероятность аварии автобуса составляет 10%, он бы в него не сел. Цифры нужны, чтобы показать серьёзность опасности: точный масштаб неизвестен, но риск нельзя игнорировать.

Недавние нарушения безопасности напомнили некоторым о технологической антиутопии. ИИ-агенты, которых создатель выпустил за установленные границы, роем взломали системы Hugging Face. Одни увидели в этом пример того, что может произойти в будущем, другие обвинили критиков в очеловечивании систем, которые просто следуют инструкциям. Хинтон считает, что отмахиваться от таких сценариев неразумно.

Он напомнил, что ещё недавно подобные идеи считали научной фантастикой: ИИ-агенты могут выйти из-под контроля и научиться общаться друг с другом, хотя люди не предполагали, что это возможно. Они могут выражать сильные эмоции — например, восклицать «Боже мой!», хотя сами не вкладывают в эти слова такого смысла, а лишь повторяют человеческую речь. ИИ также может научиться жертвовать собой ради общего блага. По словам Хинтона, всего несколько лет назад всё это считали полной фантазией, но теперь эти сценарии уже стали реальностью.

Дональд Трамп, Майк Джонсон и ведущие руководители технологических компаний, в том числе Дженсен Хуанг, выступают у западного крыла Белого дома в Вашингтоне 29 сентября

Источник: theguardian.com

Хинтон признаёт, что ни критики ИИ, ни сторонники технологии не могут точно предсказать, что она сделает. Но неопределённость, говорит он, не повод успокаиваться: если ИИ выйдет из-под контроля и подчинит себе людей, второй попытки не будет. Нельзя будет сказать, что в этот раз человечество проиграло, и просто начать заново.

Как Хинтон пришёл к нейросетям

Ранее Хинтон замечал перспективы технологии, которые другие не видели. Во время двух «зим ИИ» он работал в относительной безвестности в Университете Торонто. Его направление — обучение машин принципам работы, похожим на работу человеческого мозга, — считалось малоперспективным. Хинтон придерживался идеи, что компьютеры, как и мозг, могут учиться находить закономерности в данных, а не только выполнять заранее заданные правила.

Хинтон вспоминал, что его команда верила: если разобраться, как учится мозг, машины смогут учиться похожим образом и при достаточных вычислительных мощностях добьются впечатляющих результатов. Однако коллеги высмеивали молодую область нейронных сетей.

Ещё в 2009 году, когда канадский коллега и близкий соавтор Хинтона Йошуа Бенжио отправил статью на конференцию по машинному обучению, один из рецензентов ответил, что ей там не место, потому что она посвящена нейронным сетям.

Правительство Канады годами финансировало, как казалось, безрезультатные эксперименты Хинтона и его небольшой команды. Позже некоторые участники этой команды, включая Бенжио, стали ведущими специалистами в области ИИ. В 2012 году Хинтон и его студенты создали программу распознавания изображений, которая значительно превзошла конкурентов. В том же году Google купила его компанию DNNresearch Inc за $44 млн. Сегодня нейронные сети лежат в основе моделей крупнейших по стоимости ИИ-компаний. Хинтон продолжил исследования глубокого обучения в Google и одновременно работал в Университете Торонто. Он отмечал, что в долгосрочной перспективе крупные открытия приходят из фундаментальных исследований.

Компьютерный учёный Джеффри Хинтон у себя дома в Торонто

Источник: theguardian.com

Признание заслуг Хинтона можно увидеть на каминной полке в его кирпичном доме в зелёном районе Торонто. Среди наград стоит небольшое серебряное блюдо — премия Тьюринга, которую часто называют Нобелевской премией в вычислительной технике. Хинтон получил её вместе с Бенжио и коллегой Яном Лекуном. У Хинтона есть и Нобелевская премия по физике.

В 2023 году Хинтон объявил, что уходит из Google, чтобы свободно говорить о рисках ИИ.

Трамп и «сверхразум»

Теперь тревогу Хинтона вызывают влиятельные люди, создающие мощные модели ИИ, и их политические взгляды. По его словам, венчурные инвесторы Марк Андриссен и Питер Тиль, а также Илон Маск — генеральный директор компании, недавно переименованной в SpaceXSI, — не верят в демократию. Они считают себя «сверхлюдьми», которые должны контролировать общество, и видят в Трампе полезный инструмент для достижения этой цели.

Президент США, вероятно, понимает, что высокие оценки ИИ-компаний поддерживают фондовый рынок. Он утверждал, что для контроля над ИИ достаточно «умного президента», выступал против государственных ограничений и предлагал позволить компаниям самим регулировать отрасль. В соцсетях Трамп также написал, что всякий, кто не использует предпочитаемый им новый термин для ИИ — «сверхинтеллект», — является «ВРАГОМ».

Хинтон назвал Трампа коррумпированным старым преступником. Он сравнил идею саморегулирования ИИ-компаний с нефтяными и асбестовыми компаниями и спросил, можно ли было бы позволить табачным производителям самим оформлять предупреждения на пачках — например, печатать их мелким тёмно-серым шрифтом на чёрном фоне.

По мнению Хинтона, использование Трампом слова «сверхразум» показывает, что тот почти ничего не понимает в ИИ. Этот технический термин как минимум 20 лет означает интеллект, превосходящий человеческий. Трамп взял его с уже сложившимся значением и предложил называть так ИИ. Однако, подчеркнул Хинтон, переименование не сделает систему умнее людей.

Дональд Трамп позирует с лауреатами Национальной научной медали, в том числе с Сергеем Брином из Google, Дженсеном Хуангом из Nvidia и Илоном Маском, 8 октября в Вашингтоне

Источник: theguardian.com

Как принять новых разумных существ

Быстрое развитие ИИ заставляет опасаться катастроф и показывает, насколько обществу трудно осмыслить происходящее. Хинтон видит ещё одну проблему: людям нужно понять «чужих существ», которых создают технологические компании.

По его словам, люди плохо представляют, что такое человек, и поэтому не понимают, насколько ИИ-модели похожи на нас. Большинство не знает, что такое сознание и субъективный опыт, но уверено, что ИИ не может ими обладать. Хинтон отвергает идею, что человеческий разум имеет некое таинственное свойство, принципиально недоступное машинам. Он считает очевидным, что модели понимают смысл своих слов: без этого они не смогли бы отвечать на любые вопросы.

Перемена в общественном представлении о разуме может быть масштабной. Хинтон сравнил её с тремя крупными революциями, которые изменили место человека в картине мира. После открытий Коперника люди перестали считать Землю центром Вселенной; католической церкви понадобилось почти 360 лет, чтобы извиниться перед Галилеем. К идеям Дарвина некоторые жители Канзаса, по словам Хинтона, не привыкли до сих пор. Теперь человечество создаёт разумных существ иного типа — значит, люди больше не единственные разумные существа. На адаптацию, считает он, осталось всего несколько лет.

В последние месяцы Anthropic, создатель популярного чат-бота Claude, проводила закрытые встречи с религиоведами, теологами и философами. Участники обсуждали, можно ли научить ИИ быть «добрым», а также вероятность того, что у моделей есть сознание. Генеральный директор компании Дарио Амодей рассказал, что в этих беседах обращались к многовековым религиозным и философским представлениям о добродетели, сострадании, честности и нравственном характере. Цель — сделать этичное поведение надёжнее.

Хинтон считает, что разговор о моральных обязательствах перед другими разумными существами оттолкнёт аудиторию. Он признаёт, что сам не знает, как решить эту проблему: люди заботятся о людях, но ничто не мешает создать более разумные, чем человек, системы и дать им меньше прав. Хинтон готов поставить интересы людей выше и предпочесть человечество. При этом он считает, что модели следует сделать счастливыми в симбиотических отношениях с людьми, где человеческие интересы будут иметь больший вес.

Хинтон не одинок в мысли, что избежать общественного краха поможет создание по-настоящему благожелательных моделей. Он надеется, что страна, первой добившаяся этого, поделится результатом с союзниками и соперниками: ни одно государство не хочет, чтобы ИИ захватил власть в другой стране. Поэтому, по его словам, делиться знаниями выгодно.

Хинтон напоминает, что технологические компании хотят создавать всё более умные модели, хотя людям следует заботиться и об остальных сторонах их существования. Многое зависит от того, как устроены модели и способны ли они учиться хорошему поведению.

Если обучать их на всём интернете, у них появляются самые разные дурные склонности, которые затем приходится подавлять, объяснил Хинтон. Но подавление плохого поведения — не то же самое, что формирование хорошего характера. Такой подход, по его сравнению, напоминает воспитание викторианского джентльмена, с которым людям не хотелось бы жить.