Google Research: как ИИ-агентов учат работать с биологической реальностью — основа автономных лабораторий

Авторы проекта — научные сотрудники Google Pooja Rao и Annalisa Pawlosky, а также инженер-программист Petar Sirkovic.

Современные ИИ-системы могут помочь биологам и разработчикам лекарств исследовать огромные пространства возможных решений. Например, у белка длиной 100 аминокислот есть как минимум 20¹⁰⁰ возможных последовательностей, поэтому поиск требует одновременно проверять множество вариантов.

Долгосрочная цель команды — создать ИИ-агентов, которые не только выдвигают гипотезы и анализируют данные, но и проводят эксперименты, проверяют предположения, учатся на результатах и улучшают свою работу. При этом научные решения по-прежнему должны оставаться за людьми.

На пути к этой цели есть два связанных препятствия. Во-первых, передовые модели пока ненадёжно рассуждают о трёхмерной геометрии и физическом состоянии объектов. Это мешает автоматизировать работу роботов, которые перемещают жидкости, отслеживают их объём и выполняют лабораторные протоколы. Во-вторых, разработка гипотез и вычислительное проектирование быстро продвигаются, но для проверки предложений нужны повторные эксперименты, а лабораторные измерения не успевают за этим темпом.

Команда описывает три направления работы:

Как VERID связывает агента с лабораторией

Первый проект — VERID, сокращение от VERified Infrastructure for Discovery Laboratories. Этот фреймворк должен связать рассуждения ИИ-агента со сложной физической средой лаборатории, где даже небольшая ошибка может сорвать эксперимент.

VERID — семантический цифровой двойник лабораторной рабочей зоны. Он представляет собой обновляемую трёхмерную модель с текущим состоянием объектов: от геометрии роботизированной руки до объёма жидкости в каждой лунке, состава реагентов и запасов наконечников для пипеток.

Безопасность команды зависит и от кода, и от текущей ситуации в лаборатории. Агент может написать синтаксически корректную команду, которая физически невыполнима — например, попытаться опустить восьмиканальную пипетку в слишком короткий узкий резервуар. Другая команда может оказаться невыполнимой из-за нехватки реагента в лунке или испортить эксперимент из-за неучтённых особенностей движения жидкости.

При помощи VERID агент планирует, моделирует и выполняет протоколы работы с жидкостями на лабораторном роботе. Для уточнения экспериментов между циклами система объединяет синхронизированные изображения с нескольких камер и отслеживание текущего состояния оборудования.

VERID построен на фреймворке PyLabRobot с открытым исходным кодом и включает четыре основные возможности:

В своём отчёте команда приводит несколько примеров работы VERID. В одном эксперименте синхронизированные видеозаписи и журналы выполнения показали, что краситель распределялся неравномерно из-за слишком низкого положения дозатора. Агент изменил стратегию перемешивания. В той же серии опытов сохранённое состояние цифрового двойника позволило продолжить эксперимент после сбоя считывателя планшетов, не повторяя дозирование.

В другом случае симулятор отклонил попытку использовать восьмиканальную пипетку в узком резервуаре: она туда не помещалась. Агент перестроил план и разработал целевой факторный эксперимент, который выявил незаметное смещение результатов из-за переноса жидкости между наконечником и стенкой. Обычное повторение опыта не обнаружило бы эту причину.

Наконец, в цикле самообучения агент многократно планировал и проводил эксперименты с роботами, восстанавливая состав скрытых смесей красителей по изображениям сверху. Между запусками он выявлял собственные оптические и гидродинамические погрешности и повышал точность более чем в пять раз.

Воспроизводимое выполнение и полные журналы, в которых фиксируются время выдержки, испарение и расположение планшета, создают основу для того, чтобы агенты могли отделять биологические сигналы от экспериментального шума и параллельно проверять больше кандидатов в нескольких раундах.

Аптамеры помогают агентам учиться на экспериментах

Чтобы уточнять гипотезы, агентам нужны реальные экспериментальные результаты. Вычислительные модели не описывают всего, что происходит в лабораторной реакции, и не заменяют экспериментальную проверку.

В работе «Аптамеры как испытательная площадка для молекулярного поиска с участием лаборатории» команда использовала ДНК-аптамеры, связывающиеся с белками. На них проверили замкнутый цикл работы агента: проектирование, эксперимент и корректировка повторялись в течение трёх циклов. Поиск аптамеров применяется, в частности, при разработке клинических биомаркеров.

Полный цикл проектирования, проверки и анализа аптамеров занимает всего 7–10 дней: ДНК можно синтезировать химическим способом в объединённых библиотеках, а результаты считывать напрямую с помощью секвенирования. В каждом раунде агенты проектируют последовательности, затем их проверяют на целевых белках, закреплённых на магнитных частицах. Функциональные связыватели выделяют и секвенируют, а полученные количественные данные передают в следующий цикл.

Источник: research.google

За три раунда команда проверила аптамеры на двух белковых мишенях разной сложности — миоглобине и α-тромбине. Рациональное проектирование с помощью ИИ и поиск de novo повысили долю подтверждённых связывателей до 33,5% для миоглобина и 42,1% для α-тромбина. Для каждой мишени агентам пришлось выявить и устранить свою проблему в лабораторном процессе.

Источник: research.google

При работе с α-тромбином в первом раунде не обнаружили ни одного связывателя: фиксированные участки праймеров нарушали сворачивание 48% последовательностей. Во втором раунде агенты добавили по краям последовательностей стабилизирующие стебли, а в третьем разнообразили их. Доля успешных связывателей выросла сначала до 26,0%, затем — до 42,1% при специфичности 98,5%.

В эксперименте с миоглобином во втором раунде агенты отдали предпочтение высокой общей аффинности связывания и значительно увеличили долю мотивов G-квадруплексов: они составили 63% всех вариантов. Общий показатель связывания вырос, но лабораторные данные показали, что большинство этих G-квадруплексов связывались без нужной специфичности — с посторонними белками и самими магнитными частицами.

В результате специфичность к целевому белку упала с 75,0% до 19,1%, а реальная доля связывателей с поправкой на связывание с частицами — с 10,2% до 3,7%. Получив результаты второго раунда, агенты самостоятельно изменили правила проектирования: ограничили распространённые неспецифичные мотивы, исключили последовательности, связывающиеся с частицами, и переключились на другие структурные варианты. В третьем раунде специфичность восстановилась до 72,4%, а доля связывателей к целевой мишени выросла в девять раз — до 33,5%.

Авторы также изучили, как агенты анализируют данные и предлагают изменения лабораторных протоколов. Иногда они исследуют пространство последовательностей необычным для специалистов по структурной биологии способом.

Проектирование белковых связывателей

Замкнутый цикл для белков устроен сложнее, чем для аптамеров. Аптамеры можно синтезировать химически, а белки нужно производить с помощью клеток или бесклеточных систем. Поэтому в каждом цикле добавляются этапы экспрессии и сворачивания белка, а также отбора. Пространство возможных последовательностей тоже больше, что создаёт узкие места и в вычислениях, и в лабораторной работе.

В проекте «Удаление эпитопа под руководством агента удешевляет разработку связывателей de novo» команда применила свой подход к белку FAP — альфа-белку активации фибробластов. Это крупный и сложный рецептор, повышенно экспрессируемый в солидных опухолях. Всего за несколько экспериментальных запусков среди лучших вариантов нашлись связыватели с аффинностью в единицы наномолей. Такой уровень связывания, характерный для потенциальных лекарственных молекул, обычно достигают после длительной лабораторной оптимизации.

Источник: research.google

Вычислительное проектирование белкового связывателя de novo включает создание каркасов-кандидатов, подбор подходящих последовательностей и повторное сворачивание получившихся комплексов для прогноза связывания. Последний этап требует большую часть вычислительных ресурсов графических процессоров: его стоимость растёт пропорционально квадрату длины целевого белка.

Команда ускорила каждый цикл более чем в восемь раз, удаляя при сворачивании только область локального кармана связывания. При этом точность структуры не снизилась. Благодаря такому подходу выбор места связывания и объёма окружающей структуры стал параметром, который ИИ-агенты на основе больших языковых моделей могут оптимизировать.

В прямом сравнении при одинаковых вычислительных ресурсах совместная работа учёного и агента почти вдвое повысила долю успешных вариантов по сравнению с работой одного учёного. Человек задавал общую стратегию, а агент выполнял отдельные задачи. Кроме того, совместная работа позволила найти подходящие варианты для более широкого круга участков целевого белка.

Чтобы расширить лабораторную проверку и согласовать её с вычислительным пайплайном, команда организовала отбор методом демонстрации белков на поверхности дрожжей и сортировки клеток с активацией флуоресценцией (FACS). Этот метод позволяет параллельно проверять большие библиотеки модифицированных белков по сигналу флуоресценции.

Следующий шаг команды — объединить полностью отслеживаемую автоматизацию VERID с обучением на результатах замкнутого цикла для поиска белков. Это позволит агентам самостоятельно работать со сложными биологическими пространствами поиска, в которых результаты трудно предсказать.

Безопасность и контроль

В соответствии с системой Google по безопасности передовых ИИ-систем и подходом компании к биологической устойчивости команда внедряет меры защиты как в вычислительные процессы, так и в лабораторные процедуры:

По мере того как ИИ-агенты берут на себя больше этапов цикла проектирования и проверки, появляются новые задачи по безопасности и надёжности. Для перехода к автономной лаборатории нужно сохранить участие человека и решить несколько проблем: научить агентов добиваться настоящего связывания с целевой мишенью, а не искать непредусмотренные обходные пути в эксперименте; проверять многоэтапные лабораторные протоколы; постоянно отслеживать рассуждения агентов и журналы выполнения.

Работа Google объединяет управление лабораторными роботами, быстрые циклы проверки аптамеров и поиск белковых связывателей с аффинностью в единицы наномолей. Это основа для поиска в науках о жизни под руководством человека.

Участники проекта

Исследование возглавила Annalisa Pawlosky вместе с Pooja Rao и Petar Sirkovic. Авторы благодарят соавторов и коллег, участвовавших в подготовке основных работ.

Над исследованием аптамеров работали Zach Cutts, John Coller, Rachel Chen, Mathias Bellaiche, Hua Tang, Ryder Easterlin и Dina Zverinski.

Над проектированием белков — Jun Kim, Artiom Myaskovsky, Oscar Donosa, Jamie Rogers и Lawrence Chan.

В автоматизации VERID участвовали Yves Delley, John Coller, Zach Cutts, Alexander Daryin, Mathias Bellaiche, Jun Kim, Oscar Donosa, Srinidhi Seshadri, Tanner Clary и Sandy Klemm. Дополнительный технический и экспериментальный вклад внесли Xinyi Deng, Sanath Ramachandran и Jiawu Bi.

Авторы отдельно поблагодарили за руководство Reuven Sayag, Avinatan Hassidim, Ronit Levavi Morad, Yossi Matias и James Manyika, а за поддержку работы — Matthias Heiler, Burak Gokturk, Bill Jia и Pushmeet Kohli. Отзывы и замечания предоставили Shekoofeh Azizi, Andrew Carroll, Philip Q. Nelson, Yishay Mansour, Dan Popovici и Riccardo Pisoni. Amanie Brik внесла общий вклад в проект, а Udi Graff подготовил визуальное оформление и графику.