Не обманывайтесь: большие языковые модели не рассуждают

Почему ход 37 удивил зрителей

В марте 2016 года в Сеуле я наблюдал, как программа, в создании которой участвовал, поставила камень на пятую линию доски го. Со стороны это выглядело почти подарком сопернику. Ход 37 во второй партии матча из пяти игр показался настолько нелепым, что некоторые комментаторы заподозрили программный сбой. Но AlphaGo выиграла партию, а затем и матч — со счётом 4:1 против Ли Седоля, одного из величайших профессиональных игроков в го.

После матча Ли признался, что считал AlphaGo машиной, которая просто рассчитывает вероятности. Но увидев этот ход, он изменил мнение: ему показалось, что AlphaGo способна на творчество.

Когда в 1997 году Deep Blue победила действующего чемпиона мира по шахматам Гарри Каспарова, программа просчитывала на шесть-восемь ходов вперёд за каждого игрока и оценивала 200 миллионов шахматных позиций в секунду. Её правила заранее задавали люди. Го устроена куда сложнее: ценность камня зависит от того, как на протяжении десятков ходов развиваются группы камней и борьба за территорию. Даже расчёт малой доли возможных исходов занял бы у суперкомпьютера миллиарды лет. Чтобы победить, AlphaGo должна была быстро оценивать, кто впереди, и находить ходы, до которых не додумался ни один человек.

Поэтому многие объяснения матча AlphaGo и Ли Седоля описывают ход 37 как вспышку машинной интуиции. Это неверно: творческий выбор стал возможен благодаря способности AlphaGo рассуждать. У современных систем ИИ такой способности нет. Если мы хотим, чтобы будущие системы выдавали надёжные результаты и помогали находить действительно новые идеи в науке и медицине, их нужно научить рассуждать подобным образом.

AlphaGo состояла из двух систем. Первая — сеть выбора ходов — училась угадывать, какой ход сделал бы сильный игрок-человек. Эта «интуитивная» часть не считала ход 37 чем-то особенным: вероятность того, что его выбрал бы опытный человек, составляла примерно один к десяти тысячам.

AlphaGo выбрала этот ход благодаря механизму поиска, который оценивал не только его правдоподобие в текущей позиции, но и дальнейшие последствия. Программа строила и исследовала игровое дерево с тысячами ветвей — каждая соответствовала возможному развитию партии.

Известная теория в поведенческих науках, популяризированная Дэниелом Канеманом, разделяет человеческое мышление на два режима. Система 1 действует быстро, интуитивно и без усилий; система 2 рассуждает медленно, последовательно и обдуманно. AlphaGo показала похожее разделение в машине. Нейросети подсказывали, какие ходы выглядят перспективными и какие позиции кажутся выигрышными, а поиск проверял эти предположения, учитывая следующие ходы и ответы соперника.

Как и в человеческом мышлении, ни одна из этих частей не справилась бы в одиночку. Одна интуиция не выбрала бы ход 37, а полный перебор не позволил бы эффективно разобрать огромное количество возможных ходов.

Как работают большие языковые модели

Современные модели ИИ устроены иначе: большая языковая модель снова и снова выбирает следующий токен. Это похоже на работу системы 1 — быструю, ассоциативную и удивительно хорошо продолжающую знакомые шаблоны почти в любой теме, о которой пишут люди.

Вскоре после выхода ChatGPT стало ясно, что одной беглости речи недостаточно для настоящей пользы. Кажущимся решением стали модели, которые рассуждают перед ответом: вместо немедленной реакции они строят промежуточные шаги, разбивают задачу на части, сохраняют частичные результаты и используют их дальше. Этот процесс называют цепочкой рассуждений.

Такие модели действительно стали лучше, особенно в математике и задачах по программированию. Но в отличие от поиска AlphaGo, цепочка рассуждений не создаёт отдельного механизма рассуждения. Промежуточные выводы по-прежнему строятся тем же способом — предсказанием следующего токена, просто модель повторяет этот процесс дольше, прежде чем дать окончательный ответ.

Есть три причины, по которым работу чат-ботов нельзя считать рассуждением в том смысле, который признал бы учёный.

В важных для людей областях — медицине, инженерии и научных исследованиях — имеет значение не только вывод системы, но и то, как она к нему пришла. Если что-то пошло не так, например при постановке диагноза или выборе лечения, нужно понимать причину: ошиблась ли система в рассуждениях, опиралась ли на ненадёжные доказательства или исходила из неправильных предположений.

Как сделать рассуждения проверяемыми

Недавно я ушёл из Google DeepMind, потому что считаю: машинному рассуждению нужен новый подход, основанный на архитектуре AlphaGo. AlphaGo хранит сведения о рассматриваемой позиции в игровом дереве. В этой структуре собраны все варианты развития игры, которые программа успела рассмотреть. Каждый ход и позиция снабжены оценками её нейросетей. По мере рассуждения AlphaGo обновляет дерево, а затем использует собранные в нём сведения, чтобы выбрать ход.

Для общих задач системе нужно похожим образом хранить состояние знаний: что она считает установленным, в чём сомневается, что уже исключила и какие вопросы остаются открытыми. Тогда рассуждение можно представить как последовательность шагов, которые меняют это состояние, расширяют знания и уменьшают неопределённость. К таким шагам относятся вывод следствий, разбиение задачи на части и, что особенно важно, выбор следующего вопроса, вычисления или эксперимента.

Рассуждать в открытом мире сложнее, чем играть в го или шахматы. В реальности состояние дел известно лишь частично, доступных действий много и их набор меняется, а последствия действий могут быть случайными или неизвестными.

Но недавние достижения больших языковых и других нейросетевых моделей позволяют браться за такие задачи. Например, большие языковые модели могут предлагать способы решения, исходя из известных фактов и доступных ресурсов. Они могут взаимодействовать с инструментами через API или код и помогать проверять, подтверждается ли утверждение имеющимися доказательствами.

Чтобы система не вводила себя в заблуждение, отдельная независимая часть должна оценивать каждый шаг по тому, насколько он действительно уменьшает неопределённость. Менять представления о мире следует только тогда, когда изменения подтверждены доказательствами. При таких правилах модель сможет накапливать проверенные знания и улучшать способы рассуждения, обучаясь на прошлых попытках. Такую систему можно представить как научный метод на стероидах: её цель — создавать знания, выдерживающие проверку.

Я не думаю, что надёжный машинный интеллект появится, если просто увеличить систему 1. Масштаб делает интуицию точнее, но не превращает её в обдуманное рассуждение. Ход 37 имел значение потому, что машина удерживала текущую позицию, оценивала возможные продолжения и выбрала ход, который её искусственная интуиция, вероятно, отвергла бы.

Обществу нужны такие творческие решения в разработке лекарств и материалов, климатических исследованиях и диагностике — в областях, где правила не заданы заранее и ситуация совсем не похожа на доску для го. Такие идеи смогут появиться только у систем, которые рассуждают: их выводы должны основываться на проверяемой последовательности доказательств, умозаключений и пересмотра убеждений, а не на убедительной истории, придуманной задним числом.

Торе Грепель — профессор машинного обучения в University College London. Он был одним из ключевых участников команды AlphaGo в DeepMind и работает над тем, чтобы ИИ приносил пользу людям.