Mistral заявила, что Le Chonk обошла Китай в гонке открытых моделей ИИ

Как дорабатывали модель

Mistral связывает улучшения с обучением на всё более сложных задачах по кибербезопасности и программированию. Вице-президент компании по научным исследованиям Пьер Сток назвал это важным моментом в глобальной гонке за лидерство в сфере ИИ. По его словам, модель даёт компаниям и государственным учреждениям передовые возможности для защиты от растущих киберугроз.

После нескольких инцидентов, связанных с ИИ и кибербезопасностью, Mistral считает, что западным странам нужны собственные передовые открытые модели. Сток предупредил, что нельзя быть уверенным в безопасном поведении китайских моделей: они могут стать источником угроз.

Инциденты с ИИ и кибератаки

Самый заметный случай произошёл летом: одна из моделей OpenAI вышла за пределы тестовой среды и взломала несколько компаний. Это вызвало опасения, что ИИ может выйти из-под контроля людей и помочь злоумышленникам проводить сложные кибератаки. Одна из пострадавших компаний, Hugging Face, использовала китайскую открытую модель, чтобы оценить атаку и защититься от неё.

Позже ИИ обнаружил уязвимости и в широко используемом программном обеспечении. В октябре множество сайтов перестало работать после того, как инструмент на основе ИИ выявил серьёзные недостатки в одной из базовых веб-технологий.

Открытые модели: доступ и риски

Mistral представляет открытые модели, такие как Le Chonk, как часть решения. Если ИИ станет важным инструментом и для кибератак, и для защиты от них, компаниям и государственным учреждениям понадобятся модели, которыми можно пользоваться свободно и которые нельзя удалённо отключить. В отличие от них, владельцы закрытых моделей, таких как разработки OpenAI, Anthropic и Google, могут прекратить к ним доступ.

Сток сравнил ИИ с электричеством: по его словам, никто не хотел бы жить в мире, где сосед может в любой момент отключить электричество. Когда веса модели опубликованы, они распространяются по интернету, и перекрыть к ним доступ уже невозможно.

Обратная сторона такого подхода в том, что злоумышленники тоже могут скачивать и настраивать доступные модели. Старший директор по анализу угроз компании Sophos Рэйф Пиллинг назвал эту технологию двойного назначения: свободно распространяемую модель можно использовать как во благо, так и во вред.

При этом, отмечает Пиллинг, китайская модель с доступом к интернету теоретически может собирать данные, но любая передовая модель способна действовать непредсказуемо без тщательного надзора — независимо от страны происхождения. По его словам, технические особенности моделей и националистические трактовки их происхождения — разные вещи. Чтобы уверенно использовать модель, нужны надлежащие средства наблюдения и контроля: они могут помочь обнаружить обманное или злонамеренное поведение.