Может, чат-ботам не стоит говорить «я» и «мне»?

За четыре десятилетия исследований влияния компьютеров на людей Шерри Тёркл заслужила репутацию внимательного, хотя и критически настроенного социального учёного. Она изучала, как люди, особенно дети, взаимодействуют с технологиями, и описывала результаты с академической строгостью и дистанцией.

Её новая книга от этого подхода отходит: это полемическое предупреждение о чрезвычайной ситуации, в которой чрезмерная зависимость от машин, изображающих наставников, друзей, коллег и возлюбленных, угрожает нашей человечности. Тёркл рассчитывает, что книга разбудит общество перед надвигающимся кризисом — так же, как это сделали Silent Spring, The Jungle и Unsafe at Any Speed.

Профессор MIT берётся за отрасль стоимостью в триллионы долларов, которой помогает правительство, стремясь внедрить ИИ во все сферы личной и профессиональной жизни.

Почему Тёркл сменила тон

Стивен Леви: В предыдущих книгах вы рассказывали о результатах исследований как социальный учёный. Часто они приводили к тревожным выводам о том, как люди, особенно дети, взаимодействуют с компьютерами. Но новая книга звучит так, будто вы разбили стекло и нажали пожарную тревогу. Почему вы изменили тон?

Шерри Тёркл: Как и при работе над другими книгами, я начинала с любопытства. Но после примерно десяти интервью, которые я провела во время пандемии, от нейтрального любопытства ничего не осталось. Это ужасно: семьи людей переживают трудные времена и пытаются до них достучаться, а те рассказывают мне, что просто хотят проводить время со своим чат-ботом. Когда я смогла встречаться с собеседниками лично, мне не стало легче. Люди не хотят заниматься политикой, потому что хотят жить в мире чат-ботов. Поэтому книга в итоге пришла к мысли: реальность нуждается в вас. Сейчас хуже времени, чтобы отказываться от реальности, не найти.

Вы пишете, что к этому нас подготовили соцсети.

Они приучили нас к мысли: если вам грустно или тоскливо, откройте компьютер. Потом соцсети разозлили нас и удержали среди единомышленников. А теперь появилась новая технология, которой незачем говорить от первого лица.

Почему чат-ботам не стоит говорить «я»

Вы считаете, что чат-ботам надо запретить говорить от первого лица?

Да. За годы работы я заслужила репутацию человека, которого нельзя назвать безумной луддиткой, и не хочу теперь от неё отказываться, объявляя все чат-боты всегда вредными. Но это очень опасный путь. Чат-ботов используют, чтобы утверждать: платить за психотерапию не нужно, её заменит общение с программой.

На серьёзных интервью люди постоянно повторяют миф о «тренировке»: якобы с чат-ботом можно потренироваться перед разговором с начальником, возлюбленным или учителем. Но когда вы погружены в тёплую среду полного принятия со стороны больших языковых моделей, разговор с чат-ботом становится конечной целью.

Вы также возражаете против зависимости от чат-ботов на работе и особенно не любите выражение «человек в контуре».

Когда так говорят, это означает, что человека уже убрали из производственного процесса и оставили на подхвате: ему нужно исправлять ошибки, замечать галлюцинации или то, чего ИИ не увидел. Это не работает, потому что в контуре остаются всего несколько сотрудников. По сути, они ничего не могут изменить. Их присутствие нужно отчасти для того, чтобы компания могла выглядеть лучше во время судебного разбирательства, а отчасти — чтобы создать у людей ложное ощущение, будто процесс не передали ИИ. Но его передали ИИ.

Чат-бот не заменит человеческий разговор

Возможно, мощные чат-боты — это новый тип общения, который не обязательно хуже разговора с человеком, а просто отличается от него. Люди говорят, что положительная обратная связь от чат-ботов помогает им чувствовать поддержку и уверенность.

ИИ никогда не заменит человеческий разговор. Он не боится смерти, болезни или боли, не любит своих детей и ему всё равно, покончите ли вы с собой или приготовите ужин. Если мы будем растить детей рядом с ним или вести с ним самые сокровенные разговоры, то потеряем связь друг с другом.

При этом многим людям не с кем поговорить. Они считают, что общение с чат-ботами им помогает.

Кризис одиночества возник потому, что мы бросаем друг друга. Дайте мне один дата-центр — и я превращу его ресурсы в помощь пожилым людям.

Исследования показывают, что большинство людей относятся к ИИ скептически, а сопротивление ему заметно. И всё же чат-ботами пользуются сотни миллионов человек. Даже те, кто выступает против дата-центров, сами общаются с чат-ботами.

Цель этой книги — расширить тему сопротивления ИИ, включив в неё и более интимную связь с ним.

Можно ли остановить сближение с ИИ

Вы правда думаете, что растущую близость людей с ИИ можно остановить?

Сейчас у меня больше надежды, чем шесть месяцев назад. На это повлияли разговоры о событиях, способных привести к вымиранию, Hugging Face и случайное проникновение в австралийскую государственную службу. Думаю, люди будут готовы рассмотреть не только неинтимные, но и интимные издержки.