Hugging Face выпустила ИИ-модель для биологии, с которой можно общаться на языке ДНК

Как работает Carbon-X

Старший научный сотрудник Hugging Face Льюис Тансталл говорит, что модель должна помочь исследователям создавать новые лекарства и генетические методы лечения. В перспективе она может пригодиться и пациентам, которые хотят разобраться в собственном геноме.

Тансталл описывает Carbon-X как модель, с которой можно общаться на естественном языке и задавать вопросы о ДНК. Благодаря этому даже пользователи без технической подготовки смогут спрашивать о том, что трудно выяснить с помощью других инструментов.

Hugging Face часто сравнивают с GitHub для ИИ-моделей: платформа предоставляет библиотеку готовых инструментов и среду для запуска приложений с открытыми весами и открытым исходным кодом. Ею пользуются разработчики, исследователи, компании и те, кто хочет экспериментировать с ИИ, не создавая всё с нуля. В сентябре Nvidia согласилась купить компанию почти за 13 миллиардов долларов. Ранее в этом году Hugging Face также оказалась в центре крупного взлома, совершённого моделями OpenAI.

ДНК больше напоминает компьютерный код, чем обычный язык. Только вместо нулей и единиц она использует буквы A, C, G и T для кодирования информации. В геноме человека — 6 миллиардов таких букв. Учёные уже прочитали геном целиком, но пока не понимают, как работает большая часть его участков.

ИИ-модели помогают исследователям разбираться в этих загадках. В прошлом году Google DeepMind выпустила AlphaGenome: она предсказывает последствия изменений в последовательностях ДНК и генетических мутаций, но выдаёт результат в числовом формате и требует больше вычислительных ресурсов. Evo 2, созданная Arc Institute и Nvidia совместно с академическими партнёрами, умеет работать с языком ДНК и генерировать целые геномы с нуля.

Carbon-X объединяет ДНК и естественный язык в диалоговом интерфейсе. Её можно представить как ChatGPT для ДНК.

Команда взяла существующую языковую модель и расширила её словарь, чтобы она могла читать ДНК группами по шесть букв. Затем модель дополнительно обучили на 300 миллиардах фрагментов данных — токенов. В них вошли последовательности ДНК, английский текст и примеры, связывающие ДНК с биологическими описаниями. Генетические последовательности были получены от млекопитающих, включая людей, других позвоночных, беспозвоночных, растений, грибов и простейших. По словам Тансталла, вирусы в обучающие данные не включали, чтобы снизить риск опасного применения модели.

Загрузить полный геном человека в Carbon-X не получится. Модель обучили обрабатывать последовательности длиной примерно до 50 000 пар оснований, поэтому за один раз пользователи смогут задавать вопросы только о небольших участках генома.

Учёные могут использовать Carbon-X, чтобы выяснять, является ли генетическая мутация безвредной или связана с заболеванием. Это помогает выбрать мишень для лекарства или генетической терапии. Если лечение направлено не на ту мутацию, оно может оказаться бесполезным или причинить непредвиденный вред.

Исследователи ограничены в том, какие конфиденциальные данные пациентов можно загружать в передовые ИИ-модели. Поэтому команда Тансталла намеренно создала небольшую модель с 14 миллиардами параметров. Её можно запускать на устройстве пользователя, не полагаясь на облачные модели. По словам Тансталла, данные не отправляются ни в Hugging Face, ни в другие компании.

Разработчики Carbon-X предупреждают, что пока не проверяли модель в лабораторных экспериментах с биологическими образцами и потому не могут оценить точность её прогнозов.