По словам Ретцлофф, которая работает в больнице почти два года после внедрения Timpani, «никто не доволен» системой. В интервью WIRED то же сообщили пять медсестёр из других учреждений HCA. На похожие проблемы жаловались и пользователи, называющие себя сотрудниками HCA, в том числе на Reddit.
Медсёстры, поговорившие с WIRED, утверждают, что Timpani может вредить пациентам: система оставляет смены без достаточного числа сотрудников, нарушает баланс опыта в командах и утомляет персонал. По их словам, при минимальном контроле программа регулярно ставит на смену слишком мало медсестёр или слишком мало опытных специалистов — особенно по воскресеньям. Она также часто не учитывает пожелания о перерывах между сменами, ночной и выходной работе или конкретных выходных днях.
В итоге медсёстры тратят на попытки обменяться сменами и оспорить график больше времени, чем до появления программы. Они также замечают, что коллеги всё чаще берут отгулы, используя оплачиваемое или неоплачиваемое время, чтобы не выходить на назначенную смену. Если делать это чаще нескольких раз в год, появляется риск увольнения.
Ретцлофф, которой 34 года, состоит в профсоюзе National Nurses United и десять лет работала у постели больных. Она вспоминает недавние смены, когда все четверо её коллег были начинающими медсёстрами. Будучи единственной опытной специалисткой, ей приходилось откладывать помощь самым тяжёлым пациентам, чтобы обучать новичков ведению менее сложных случаев.
По словам Ретцлофф, HCA «позволяет ИИ диктовать решения», из-за чего клиническое суждение и человеческое взаимодействие в медицине уступают место приложению.
Раньше графики вручную составляли менеджеры и, прежде чем менять пожелания медсестёр, обычно заранее советовались с ними. Теперь, рассказывают сотрудники, о необходимости найти замену часто сообщают в последний момент, а медсестёр всё чаще временно переводят в другие команды. Медсестра из Техаса, не состоящая в профсоюзе и попросившая не называть её имени из опасения ответных мер со стороны HCA, говорит, что раньше проблем не помнит: графики всегда появлялись вовремя.
Представитель HCA Харлоу Самерфорд утверждает, что окончательные решения о расписании принимают руководители сестринских служб, а не Timpani. По его словам, утверждения о том, что система призвана сокращать число сотрудников за счёт ухода за пациентами, искажают её назначение.
Самерфорд объясняет, что HCA хочет обеспечить пациентов сотрудниками с подходящими навыками и опытом, одновременно учитывая пожелания коллег по графику. Компания продолжает улучшать Timpani на основе отзывов медсестёр, добавляет он.
Медсёстры вынуждены менять планы
По данным HCA, в среднем Timpani назначает медсестёр на 1 процент дней, которые они просили оставить выходными. В компании такие дни называют «красными». Медсестра HCA из Миссури Ли Баркер говорит, что цифра может показаться небольшой, но раньше в её учреждении медсестёр вообще не ставили на смены в отмеченные выходными дни.
Однако меньше чем через год после внедрения Timpani, по словам Баркер, почти каждой медсестре уже назначили работу на день, когда она должна была отдыхать. Баркер пришлось перенести давно запланированный визит к врачу из-за хронического заболевания: она не смогла обменять назначенную ей смену. По её словам, происходящее ощущается так, будто медсестёр «толкают, когда они и так уже на земле».
Жалобы побудили руководство HCA внести в программу небольшие изменения, но, как сообщают медсёстры из разных штатов, проблемы сохраняются. Руководители National Nurses United — профсоюза, который представляет около 10 000 из 100 000 медсестёр HCA, — говорят, что компания отказалась предоставить им информацию о технологии.
Некоторые подробности стали известны в июле, когда бывшая руководительница отдела науки о данных HCA Анжелика Рассел подала на компанию в суд. Она утверждает, что её уволили в отместку за поднятые вопросы о Timpani. Рассел заявила, что HCA регулярно удаляла данные, на которых система строила графики. По её словам, из-за этого нельзя было проверить качество её работы, а действия компании могли нарушать несколько законов в сфере здравоохранения. HCA пока официально не ответила на иск, а Рассел отказалась от комментариев.
Timpani построена на платформе Palantir Foundry, предназначенной для хранения и анализа данных из разных подразделений компании. Система, названная в честь ударного музыкального инструмента, использует алгоритмические прогнозы потока пациентов и потребности в персонале, чтобы автоматически составлять графики медсестёр. Когда Timpani запустили в 2023 году, главный руководитель HCA по инновациям Майкл Шлоссер рассказал WIRED, что программа позволит сэкономить время и деньги и устранить фаворитизм при распределении смен.
В статье, опубликованной в июле, Шлоссер написал, что Timpani заметно сократила число часов, которое менеджеры ежемесячно тратят на составление расписаний, снизила зависимость от дорогих медсестёр, работающих по контракту, и повысила удержание сотрудников. По его словам, эффективность достигается благодаря тому, что ИИ создаёт более качественные начальные графики, а более чем в 98 процентах из них сочетаются сотрудники с разными навыками и опытом.
Политика HCA в области ответственного ИИ предусматривает защиту людей от физического и эмоционального вреда. Руководители компании также говорили, что при разработке Timpani общались с медсёстрами и старались учитывать их опыт. В рекламных материалах HCA медсёстры хвалят систему за простоту использования и экономию времени. Но другие сотрудники говорят, что чувствуют себя проигнорированными и неуважаемыми. Они не единственные медицинские работники, обеспокоенные выходом Palantir в эту отрасль.
В начале этого года в крупной американской сети центров лучевой диагностики Rayus Radiology стали поступать жалобы на ошибки в расписании после внедрения программы на базе Palantir Foundry, следует из внутренних документов, изученных WIRED. Программа должна заполнять поля расписания по назначениям врачей. Однако в ряде случаев она связывала запросы не с теми профилями пациентов, указывала исследования или сканирования, не соответствовавшие назначениям, либо выдумывала личные данные пациентов. Сотрудники, занимающиеся расписаниями в Rayus, считают, что к проблемам могли привести нестандартные формы, неразборчивый почерк и недостаточная проверка человеком.
Представитель Rayus Кит Крансер заявил, что общие описания проблем не отражают должным образом процессы компании, меры защиты и её стремление обеспечивать безопасное, точное и своевременное лечение. По его словам, Rayus использует технологии, чтобы поддерживать, а не заменять человеческое суждение и надзор.
Представитель Palantir отказался комментировать ситуацию от своего имени. При этом компания описывала своё программное обеспечение как инструмент, который помогает удобнее представлять информацию, и подчёркивала, что за данные, правила и решения отвечают заказчики.
Ханна Драммонд, будущая участница совета аффилированной организации National Nurses United, заявила, что она и её коллеги из больницы HCA в Северной Каролине будут против любого внедрения Timpani.
Источник: wired.com
Тревога вокруг Palantir
В последнее время квартальные продажи Palantir почти удвоились и приблизились к 2 миллиардам долларов: компании и организации обращаются к ней за помощью в анализе данных и автоматизации задач. Рост расходов и нехватка персонала сделали медицинские учреждения особенно заинтересованными заказчиками. Cleveland Clinic связывала программное обеспечение Palantir с увеличением пропускной способности больницы: оно прогнозировало выписку пациентов из отделений неотложной помощи и заменяло ручную координацию.
Но Palantir сталкивается и с критикой. Активисты за гражданские права выступают против работы компании в сфере обороны и иммиграции, а также указывают на политические взгляды её сооснователей Питера Тиля и Алекса Карпа. В Великобритании Palantir получила контракт на 440 миллионов долларов от Национальной службы здравоохранения: компания должна помочь сократить время ожидания приёма. Медсёстры и активисты требуют отменить сделку из-за опасений за конфиденциальность и безопасность данных.
Некоторые медсёстры HCA тоже хотят, чтобы Palantir ушла. Исследования показывают, что расписания, составленные с помощью ИИ, могут быть полезны, но, по словам сотрудников, Timpani стала источником тревоги. Баркер говорит, что все сразу проверяют новые графики, а каждый месяц кто-нибудь спрашивает, почему система назначила именно такую смену.
Сначала некоторые местные менеджеры могли редактировать графики Timpani. Теперь медсёстрам приходится отправлять жалобы на проблемные смены централизованной команде в штаб-квартире HCA в Нэшвилле. По словам сотрудников, там рассматривают обращения без прямого общения с ними и возможности объяснить ситуацию. Если жалобу отклоняют, медсёстры пытаются обменяться сменами, но, как утверждают Баркер и Ретцлофф, удаётся это примерно в половине случаев.
Баркер, профсоюзная руководительница в психиатрическом центре HCA, утверждает, что из-за Timpani уволились несколько её коллег, а в первые 12 месяцев работы системы выросло число травм на рабочем месте. Профсоюз центра, в который входят около 500 медсестёр, подал жалобу, заявив, что HCA недостаточно учитывает пожелания сотрудников при составлении графиков. Вероятно, спор дойдёт до арбитража.
В первые месяцы работы Timpani Шлоссер признавал, что медицинские работники могут медленно осваивать новые технологии, потому что от них зависят человеческие жизни. Но он представлял себе будущее, в котором медсёстры на передовой сами будут просить больше таких инструментов. «Тогда будет весело», — говорил он. Спустя три года некоторые медсёстры не видят повода радоваться.
Читайте также
Уязвимость в приложении ChatGPT для Mac могла открыть хакерам доступ к личным данным
Microsoft AI выпустила новые модели для распознавания и синтеза речи в голосовых ИИ-агентах
Не обманывайтесь: большие языковые модели не рассуждают
Индекс Ramp AI Index: компании используют ИИ активнее, но платят за него меньше
Black Forest Labs выпустила Flux 3 Image: модель редактирует изображения поэтапно, не затрагивая остальную картинку
Не стоит паниковать из-за ИИ — нужно привлекать его создателей к ответственности, когда что-то идёт не так
Shopify представила Canvas — интернет-магазины можно создавать в диалоге с ИИ
Что бы ни подразумевали под безопасностью ИИ, это точно не она
Стартап Legato выпустил очки с ИИ для помощи людям с нарушениями слуха
У ИИ-индустрии серьёзная проблема: большинство людей не мечтают доверить ИИ-агенту всю свою жизнь
В Сингапуре мужчине грозит до трёх лет тюрьмы за ИИ-фейк, вызвавший массовую панику
Google: для запуска космических дата-центров Starship должна совершить 1 800 полётов
Теперь ChatGPT может виртуально примерить на вас одежду
Ideogram: новая модель редактирует часть изображения, не портя остальное
The Wall Street Journal: OpenAI рассталась с тремя исследователями по безопасности
Калифорния направила OpenAI повестку в рамках расследования взломов, совершённых вышедшими из-под контроля агентами
Похоже, Цукерберг может случайно довести Meta до корпоративного самоубийства
Opus 5.5 обожает повторять «это важно» — и другие приметы текстов ИИ
WikiSkill от Google наделяет ИИ-агентов памятью
Ежедневные новости об ИИ
Каждый день отбираем важные новости об ИИ и рассказываем главное — без хайпа и воды. Если хотите понимать, что происходит в ИИ раньше остальных, — подписывайтесь.
Только важное — каждый день
В Telegram