Не стоит паниковать из-за ИИ — нужно привлекать его создателей к ответственности, когда что-то идёт не так

Источник: theguardian.com

Недавняя тревога из-за взлома компьютерной системы Medicare с помощью «ИИ-агента» заметно отличается от реакции на сбои Telstra и Optus: из-за них многие жители Австралии не могли дозвониться в Triple Zero. В тех случаях никто не обвинял компьютеры — ответственность возлагали на компании, которые ими управляли.

Так было не всегда. Около 70 лет назад, когда появился термин «искусственный интеллект», первые мейнфреймы — по нынешним меркам крайне примитивные — вызывали такое же восхищение и беспокойство, как современные ИИ-агенты. Даже существовали «алгоритмы», хотя тогда это слово ещё не употребляли в таком смысле, которые обещали подбирать идеальных партнёров для знакомств.

Сбои были неизбежны, а перекладывание вины стало привычным. Фраза «компьютер ошибся» в 1960-е была аналогом сегодняшнего «ваше письмо, наверное, попало в спам». Со временем стало понятно: проблема не в компьютере, а в неверных данных, которые в него вводили, или в плохо написанных программах, запускаемых на их основе.

Такую же перемену нужно провести в разговорах об ИИ-агентах. Если человек вводит в ChatGPT или Claude запрос вроде «найди статистику по лекарствам в Австралии», а в результате оказывается взломан сайт Medicare, виноват не кусок кода. Ошибку допустил либо человек, который ввёл запрос, либо компания, создавшая программу. Их следует обязать возместить причинённый ущерб. Если установить виновного невозможно, ответственность должна быть солидарной: каждый из ответчиков отвечает за всю сумму потерь, а затем расходы можно распределить между ними.

Почему сложно находить ошибки в агентах

Исправлять проблемы агентного программного обеспечения будет непросто. Ранние компьютерные программы часто давали сбои, поэтому отладка — термин появился ещё до того, как его стали применять к вычислительной технике, — стала обязательной частью информационных технологий. Ошибку могли искать в операционной системе, самой программе или данных, которые в неё вводили. Однажды причиной действительно оказалась моль, застрявшая в релейном переключателе. Но обычно источник неполадки удавалось найти и устранить, если настойчиво его искать.

С агентными программами традиционная отладка гораздо сложнее. Постфактум иногда можно восстановить, что сделала программа. Но проверить сотни миллиардов параметров большой агентной модели и понять, почему она поступила именно так, невозможно.

В этом контексте идея сдерживать программу «защитными ограничителями» или «каркасами» выглядит крайне наивной. Если компьютерной программе поручают задачу, от неё ждут, что она будет обходить препятствия на пути к результату. А без понимания её внутренних процессов внешние ограничения тоже будут восприниматься как препятствия.

Во многих случаях единственным выходом станет отказ от части возможностей, благодаря которым агенты вообще считают полезными. Например, им придётся запретить входить на сайты с паролем или совершать платежи от имени пользователя.

Для компаний, выросших на принципах Кремниевой долины «действуй быстро, ломай вещи» и «сначала проси прощения, а не разрешения», это будет серьёзным потрясением. Им гораздо привычнее говорить о «галлюцинациях» и «вышедших из-под контроля агентах», чем о собственной ответственности за программы, которые допускают масштабные ошибки и причиняют реальный ущерб.

Но если ИИ-компании заставят нести финансовые последствия своей безрассудной халатности, их подход изменится. Вместо вопроса «какую классную функцию можно добавить в программу?» они начнут с другого: «Что может пойти не так, если мы её запустим?»

Обязав компании возмещать ущерб, причинённый их программами, законодатели, вероятнее всего, резко замедлят гонку гипермасштабирования — создание всё более мощного агентного программного обеспечения. Это пойдёт на пользу и окружающей среде, и экономике.

При этом полезные применения ИИ никуда не исчезнут. К ним относятся значительно улучшенный интернет-поиск, суммаризация документов, перевод и программирование. Как и при появлении других новых технологий, перемены приведут к сложностям: одни рабочие места исчезнут, другие появятся. Но нет оснований опасаться, что такие инструменты случайно вызовут ядерную катастрофу или опустошат наши банковские счета.