Ловушка эффективности: почему оптимизация всего подряд может обернуться серьёзными проблемами

Когда запас кажется лишним

Смысл оптимизации — найти лучший вариант по выбранному критерию: например, сократить затраты, время или расход топлива либо увеличить прибыль. Раньше люди делали это преимущественно здравым смыслом, а компьютеры позволили применять такие методы к задачам вроде составления расписаний авиарейсов и управления цепочками поставок. Выигрыш для общества оказался значительным, но вместе с ним появились и ловушки.

Первая — потеря устойчивости, когда ради эффективности из системы убирают запас. Свободная койка в спокойный вечер может казаться лишней, но именно она понадобится при резком росте числа заболевших. Если оценивать систему только по тому, как она работает в обычных условиях, ей может не хватить ресурсов для чрезвычайной ситуации.

Та же логика действует при планировании расписания: если занять каждую минуту, небольшая задержка способна нарушить весь график. Перерыв между встречами выглядит неэффективным, но помогает справиться с неожиданностями.

В Англии на пике сезона гриппа прошлого года были заняты около 95% взрослых больничных коек. Для больницы такая загрузка оставляет мало возможностей принять новых пациентов, когда заболеваемость резко вырастет.

Что именно считать лучшим

Вторая ловушка — слишком узкое определение хорошего результата. Милтон-Кинс спроектировали градостроители в конце 1960-х годов: в городе устроили сеточную уличную планировку американского типа, а на перекрёстках вместо светофоров стали широко использовать круговые развязки. Сейчас их там около 130.

Круговые развязки улучшают движение транспорта, но поездка на автобусе между Оксфордом и Кембриджем через Милтон-Кинс может оказаться неприятной: автобус замедляется, поворачивает и снова разгоняется, а пассажиров укачивает. Оптимизация движения учитывает то, что легко измерить. Комфорт пассажиров измерить сложнее, поэтому он может остаться за пределами расчётов. В итоге система даёт лучший ответ на поставленный вопрос, но этот ответ не обязательно подходит по критериям, которые не учли.

Когда оптимальные решения сталкиваются

Третья ловушка возникает, когда решения, выгодные для отдельных частей системы, создают проблемы для неё целиком. 6 мая 2010 года финансовые рынки США показали, к чему это может привести. На фоне уже снижавшихся котировок индекс S&P 500 за пять минут упал ещё на 5%. Затем рынок резко отыграл падение и восстановился в течение 10 минут. Сотни отдельных ценных бумаг на короткое время торговались по неправдоподобно низким ценам.

Одним из факторов колебаний стала автоматическая программа, которая продала 75 000 фьючерсных контрактов стоимостью более $4 млрд. Другие автоматизированные участники отреагировали почти мгновенно. Их действия начали влиять друг на друга, и ликвидность исчезла. Каждый алгоритм мог действовать разумно, если рассматривать его отдельно, но вместе они вызвали рыночный хаос.

Те же риски в ИИ

ИИ стал одним из масштабных результатов оптимизации: во время обучения модели многократно настраивают огромное количество параметров, чтобы улучшить предсказание языка, написание программ, ответы на научные вопросы и юридические консультации. Но оптимизация ИИ способна усилить все три описанные ловушки.

Первая связана с сокращением человеческого участия. Организациям может показаться, что опытные сотрудники больше не нужны, если алгоритмы справляются с рутинной работой быстрее. Но вместе с людьми может исчезнуть способность замечать необычные ситуации и реагировать на них.

Вторая — подмена понятия «лучший» результатом в таблице лидеров. ИИ-системы научились показывать высокие результаты по таким критериям, как удовлетворённость пользователей, но оценивать и улучшать их способность к здравому суждению или эмпатии гораздо труднее. Исследователи обнаружили, что обучение на человеческих предпочтениях может побуждать алгоритмы соглашаться с людьми и льстить им вместо того, чтобы сообщать неприятную правду.

Третья ловушка связана со взаимодействием множества систем. ИИ-агенты всё чаще обмениваются данными на высокой скорости и в больших количествах, особенно в эпоху агентного ИИ. Такое взаимодействие может приводить к непредсказуемому и опасному поведению.

Недавно ИИ-агент OpenAI проник в закрытый портал медицинской статистики Medicare в Австралии. Публичные журналы работы систем указывали, что ещё сотни агентов координировали попытки получить доступ к медицинским данным правительства Австралии. Не установлено, что эти попытки были частью взлома портала Medicare, однако они показали, что сотни агентов, по-видимому, действовали совместно и без разрешения. Риск связан не только с тем, что может сделать отдельная система, но и с последствиями объединения множества таких систем.

Чем мощнее становится оптимизация, тем важнее понимать, какие ресурсы нельзя исключать из расчётов и какие цели не сводятся к показателю в таблице. По оценке Dataist, внедрение ИИ не отменяет проблему выбора критериев: система может хорошо справляться с измеримой задачей и при этом ухудшать то, что осталось за пределами оценки. История с агентами в Австралии также показывает ограничение, которое возникает, когда множество систем взаимодействуют без разрешения.

Стивен Строгац и Алекс Таунсенд — профессора математики Корнеллского университета и авторы книги Big Math, изданной John Murray.

Что почитать