Почему патологии не хватает вычислительных ресурсов
Гистопатология — один из наиболее информативных и доступных источников данных для исследований рака. Каждая биопсия превращается в изображение всего предметного стекла, где клеточные структуры видны вплоть до субклеточного уровня. Больницы ежегодно создают миллионы таких изображений. В них содержатся сведения, связанные с диагностикой, прогнозом, выбором лечения и биологией микроокружения опухоли.
Модели общего назначения для патологии уже начали извлекать эту информацию в больших масштабах. Однако изображения целого стекла бывают размером более гигапикселя, поэтому даже один файл приходится обрабатывать по частям — тысячами небольших фрагментов. Если исследование охватывает десятки тысяч пациентов, вычислительные расходы быстро растут.
Исследование популяционного масштаба требует не одного запуска модели, а повторяющегося цикла:
Из-за стоимости вычислений исследователи вынуждены ограничивать число пациентов, наборов данных, задач и гипотез. Чтобы использовать модели патологии на больших популяциях, нужны решения, которые можно многократно и доступно запускать на крупных массивах данных.
Что умеют GigaPath и GigaTIME
GigaPath, представленная в Nature в 2024 году, — модель общего назначения для анализа всего предметного стекла. Её предварительно обучили на больших объёмах реальных гистопатологических данных Providence. В отличие от систем, работающих только с отдельными фрагментами, GigaPath создаёт контекстные представления всего стекла: учитывает локальные клеточные признаки и общую архитектуру ткани.
GigaTIME, опубликованная в Cell в 2026 году, развивает это направление для анализа микроокружения опухоли. Модель обучили на 40 млн клеток с парными данными H&E и мультиплексной иммунофлуоресценции. Она переводит обычные изображения H&E в виртуальные карты пространственной протеомики по 21 белковому каналу.
При применении к данным более чем 14 000 пациентов с онкологическими заболеваниями GigaTIME создала виртуальную популяцию и выявила свыше 1 200 статистически значимых связей между состояниями иммунных клеток и клиническими биомаркерами.
GigaPath и GigaTIME помогли работать с масштабом патологических данных и биологических исследований. Семейство Flash предназначено для следующего уровня — увеличения числа экспериментов.
Как устроены Flash-модели
Обе модели сохраняют полезные представления патологических изображений, одновременно сокращая ресурсы, необходимые для их создания и применения. В основе лежит компактный кодировщик фрагментов ViT-S, полученный дистилляцией исходного кодировщика GigaPath с миллиардом параметров. Обе модели выпущены по лицензии Apache 2.0.
Обзор семейства моделей GigaPath/GigaTIME. GigaPath-Flash предоставляет эффективные кодировщики тайлов и стекол с 22 млн параметров. GigaTIME-Flash предсказывает пространственную протеомику по H&E, заменяя базовую архитектуру CNN дистиллированным кодировщиком ViT-S
Источник: microsoft.com
GigaPath-Flash — экономичная модель общего назначения для создания представлений всего предметного стекла. Она объединяет:
Кодировщик фрагментов дистиллирован из исходной модели-учителя GigaPath ViT-g. Благодаря этому представления модели с миллиардом параметров переносятся в основу, которая примерно на порядок меньше. Кодировщик стекла связывает эмбеддинги всех фрагментов с помощью разреженного внимания. Его вычислительная сложность растёт линейно с числом фрагментов.
На бенчмарках классификации на уровне всего стекла — PANDA для оценки рака простаты и EBRAINS для подтипирования опухолей мозга — GigaPath-Flash показала минимальную стоимость инференса среди моделей, предварительно обученных на целых стёклах. При этом её результат оказался в пределах 3% от исходной GigaPath, а вычислений потребовалось примерно в 50 раз меньше.
Компромисс между эффективностью и производительностью на бенчмарках целых стекол. GigaPath-Flash (красный, в левом верхнем углу) достигает сопоставимой производительности при значительно меньших вычислительных затратах, чем другие предварительно обученные модели для целых стекол
Источник: microsoft.com
GigaTIME-Flash заменяет свёрточную основу исходной GigaTIME на кодировщик ViT-S от GigaPath-Flash. Для перевода H&E в данные мультиплексной иммунофлуоресценции используется лёгкий свёрточный декодер. Файн-тюнинг выполняется с помощью адаптеров LoRA, поэтому веса предварительно обученного кодировщика в основном остаются неизменными.
На группах пациентов как из исходного распределения, так и вне его, включавших опухоли мозга, груди, кишечника и лёгких, GigaTIME-Flash показала такое же или более высокое качество предсказания пространственного распределения белков по сравнению с исходной GigaTIME. Особенно заметным преимущество оказалось на данных вне исходного распределения: это указывает на то, что основа от модели общего назначения помогает переносить результаты на ранее не встречавшиеся типы тканей.
Средняя оконная корреляция Пирсона для GigaTIME и GigaTIME-Flash на тестовом наборе GigaTIME и четырех когортах Prov-TMA вне распределения. GigaTIME-Flash соответствует оригинальной модели или превосходит ее во всех когортах
Источник: microsoft.com
Экономия на больших группах пациентов
Flash-модели заметно сокращают вычислительные расходы. Для одного стекла это означает меньшее время работы и более низкие требования к оборудованию. При обработке десятков тысяч стёкол разница может определить, удастся ли вообще провести эксперимент.
Авторы оценили время генерации виртуальной мультиплексной иммунофлуоресценции для групп пациентов разного размера на одной видеокарте A100, исходя примерно из 10 000 фрагментов на одно стекло.
Масштабирование эффективности GigaTIME. Слева: пропускная способность (тайлов/с) в зависимости от размера пакета. Справа: пиковое использование памяти GPU (ГБ) в зависимости от размера пакета. GigaTIME-Flash масштабируется до более чем 1 600 тайлов/с, используя лишь долю памяти
Источник: microsoft.com
Доступность и ограничения
GigaPath-Flash и GigaTIME-Flash доступны как модели с открытыми весами по лицензии Apache 2.0. Веса и исходный код опубликованы на Hugging Face.
Это ранний исследовательский выпуск. Текущая оценка охватывает ограниченное число бенчмарков и групп пациентов. Для более полной проверки потребуются исследования на других задачах, сканерах и популяциях пациентов. Авторы приглашают сообщество самостоятельно оценивать модели и сообщать как о случаях успешной работы, так и об ограничениях.
Для клинического применения потребуются дополнительные многоцентровые и проспективные исследования. Модели не предназначены и не валидированы для диагностики, прогноза, выбора лечения или других решений, связанных с уходом за пациентами. Результаты могут различаться в зависимости от наборов данных, сканеров, учреждений, популяций и конкретных задач.
GigaPath-Flash и GigaTIME-Flash созданы совместно Microsoft Research, Вашингтонским университетом и Providence. Технические подробности приведены в исследовательской работе.
Ежедневные новости об ИИ
Каждый день отбираем важные новости об ИИ, роботах и метавселенных и рассказываем главное — без хайпа и воды. Если хотите понимать, что происходит в ИИ раньше остальных, — подписывайтесь.
Только важное — каждый день
В Telegram