i
Новости
Новости · 2026-09-21

Бристольские исследователи: медицина уже умеет работать с чёрными ящиками — ИИ может учиться

@neuronium_ai @neuronium_ai

Исследователи из University of Bristol предложили системно проверять надёжность медицинских ИИ-систем по аналогии с тем, как медицина оценивает новые лекарства. Их подход под названием Learning Ensemble требует заранее описывать ограничения системы и данные для обучения, проверять одинаково ли хорошо она работает на разных группах пациентов и соответствует ли её применение реальной клинической задаче. Это должно помочь выявлять случаи, когда ИИ ориентируется на случайные особенности снимков или неверно оценивает риск для пациента.

Обложка: Бристольские исследователи: медицина уже умеет работать с чёрными ящиками — ИИ может учиться

Медицинские ИИ-системы нередко хорошо проходят первые испытания, но затем теряют точность в клиниках. Причина в том, что они могут цепляться за особенности обучающих данных, не связанные с диагнозом.

Медицина сталкивается с похожей неопределённостью при работе с лекарствами, механизм действия которых в организме изучен не полностью. Тем не менее для таких препаратов разработаны процедуры, позволяющие применять их надёжно. Каждое лекарство сопровождается структурированным пакетом сведений: в нём указано, при каких условиях оно работает, включая дозировку, время приёма и подходящие группы пациентов. Именно этот пакет превращает химическое соединение в предсказуемую терапию.

Бристольские исследователи предлагают создать похожий пакет сведений и для разработчиков медицинского ИИ.

Инструмент из трёх частей

Предложенный подход Learning Ensemble охватывает три области, которые разработчики должны описать и проверить до начала применения системы на пациентах.

1Ограничения и данные
2Надёжность для групп пациентов
3Соответствие клинической цели
1Ограничения системы и обучающие данные. Нужно указать, для каких врачей или клиник предназначена система, на каком оборудовании она работает и на каких данных о пациентах обучалась. Значение этих сведений показало исследование 2021 года. ИИ-система должна была выявлять инфекцию COVID по рентгеновским снимкам, но вместо признаков заболевания в лёгких находила случайные детали изображений, которые совпадали с диагнозом в обучающей выборке. После внедрения в другой клинике система перестала работать.
2Надёжность для разных групп пациентов. Средней точности недостаточно: система может показывать хороший результат в целом и регулярно ошибаться на отдельных группах. Другое исследование 2021 года показало, что ИИ-системы для анализа рентгеновских снимков значительно реже обнаруживали заболевания у недостаточно обслуживаемых групп населения. Их внедрение могло бы особенно навредить пациентам, которые и без того получают менее качественную медицинскую помощь.
3Соответствие реальной клинической задаче. Технически работающая система всё равно может оказаться бесполезной в клинике. Например, одна ИИ-система относила пациентов с астмой и пневмонией к группе с низким риском смерти. В обучающих данных такие пациенты действительно чаще выживали, но это происходило потому, что отделения неотложной помощи лечили их особенно интенсивно. Для сортировки новых пациентов по уровню риска такой результат оказался непригоден.

Авторы рассматривают свою работу как отправную точку. Создание надёжной медицинской ИИ-системы на практике по-прежнему требует длительных испытаний и исправлений, специальных знаний, внешней проверки и постоянной настройки. Предложенный фреймворк должен дать разработчикам общий язык и структуру, чтобы обнаруживать проблемы на более раннем этапе.

Сотни рейсов встали на восточном побережье: власти запускают ИИ для авиадиспетчеров ИИ, пошлины и редкие минералы: чего ждать от саммита Трампа и Си Цзиньпина Amazon заблокировала ИИ-агента Meta Muse в онлайн-магазине ИИ-агент Meta заблокировали на Amazon.com Научная панель ООН: нет уверенности, что люди сохранят контроль над ИИ-агентами Признаки кризиса в Flock: сотрудникам предлагают выплаты за уход С Tabby бывший бухгалтер с помощью ИИ делает бухгалтеров ненужными Поставщиков услуг в Великобритании призвали перестать полагаться на чат-ботов в поддержке клиентов Она умерла у границы Сан-Диего. Камера наблюдения была у всех на виду xAI представила Grok 4.7 по низкой цене, но тесты показали большой разрыв с Claude и GPT-6 Почему я не боюсь, что ИИ нас всех убьёт (и вам тоже не стоит) США потратили миллиарды на наблюдение за границей. Почему людей не находят до смерти? ByteDance запустила Dramagic — ИИ-платформу для коротких сериалов от сценария до экрана Как RetroChimera улучшает прогнозирование синтеза малых молекул в больших масштабах 4 способа устранить выявленные нами сбои у «виртуальной стены» на границе США SoftBank планирует занять более $11 млрд через рискованные облигации ради доли в OpenAI Как мы создали первую подробную карту смертей у «виртуальной стены» на границе США США и Китай запустят диалог по ИИ с механизмом безопасности перед саммитом Трампа и Си Есть Android-смартфон? Google считает, что вам, скорее всего, захочется ноутбук Googlebook Популярный космический сайт выдумал инженера NASA и публиковал ИИ-шлак под её именем

Ежедневные новости об ИИ

Каждый день отбираем важные новости об ИИ и рассказываем главное — без хайпа и воды. Если хотите понимать, что происходит в ИИ раньше остальных, — подписывайтесь.

Только важное — каждый день

В Telegram