Российские математики научили ИИ-модели общаться друг с другом без слов

Что такое Mostik

Стартап Mostik назван русским словом «мостик». Это отсылка к его подходу: разные модели взаимодействуют через математические значения, записанные в весах. Именно веса определяют, как запрос превращается в ответ.

На практике способности крупной модели можно передать меньшей, чтобы повысить её возможности более эффективным способом.

Mostik уже использовала этот метод для создания модели, которая стремительно поднялась на вершину ARC-AGI 3 — известного своей сложностью соревнования для ИИ-моделей. Подробности команда раскрывать не стала, поскольку хочет победить в конкурсе.

Для объяснения идеи стартап также соединил две китайские открытые модели:

Получившаяся гибридная система обходится в 20 раз дешевле полной GLM, а её производительность находится ровно посередине между двумя исходными моделями.

Как модели объединяют ответы

Генеральный директор Mostik Саша Малышева рассказала, что в машинном обучении давно известно преимущество ансамблей: несколько моделей вместе часто работают лучше одной.

В компании это объясняют шуткой о том, как угадать вес свиньи. В математических кругах известен пример: группа случайных людей, чьи оценки объединяют и усредняют, может определить вес точнее, чем один эксперт.

С ИИ происходит примерно то же самое: объединение ответов нескольких моделей часто даёт лучший результат. Обычно ответ одной модели передают другой, но такой процесс требует заметных затрат времени и денег.

Команда Mostik нашла способ, при котором модели могут обмениваться информацией без создания текстового ответа. Если этот подход получит распространение, открытые модели смогут стать ценнее и эффективнее конкурировать с закрытыми моделями передовых лабораторий, таких как Anthropic и OpenAI.

Малышева считает, что объединение большого числа разных моделей может оказаться более продуктивным способом развивать ИИ. По её мнению, в будущем не обязательно появится одна монолитная модель, а новые способности систем не обязательно будут возникать только за счёт масштабирования — увеличения размера моделей и объёма данных.

Мнения специалистов

Владимир Арустамян, технический руководитель компании по разработке ИИ-программного обеспечения Lovable, знаком с командой Mostik. Он считает, что если технология позволит соединять передовые модели со специализированными — например, для биологии или физики, — это приведёт к обучению большего числа таких моделей. По его словам, команда занимается этим всего несколько месяцев, но уже запустила систему, которая выглядит как результат многолетней работы.

Карл Тюйлс, бывший специалист по информатике в Google DeepMind, знакомый с технологией Mostik, говорит, что она позволяет приблизиться к качеству крупной модели, не заставляя её обрабатывать весь цикл задачи. Вместо этого рядом может работать меньшая модель, обеспечивая заметное улучшение результата. Для тех, кому нужно запускать модели максимально эффективно, Тюйлс считает такой метод очевидным выбором.

Главный научный сотрудник Mostik — Станислав Смирнов, профессор Женевского университета и лауреат Филдсовской премии 2010 года. Он отмечает, что найти общий язык между двумя ИИ-моделями оказалось неожиданно трудно: подходящего математического языка для этого пока нет. Метод Mostik временно закрывает этот разрыв.

По словам Смирнова, работа компании может помочь лучше понять, как устроены ИИ-модели и чем их работа похожа на работу человеческого мозга. Более глубокий математический анализ способен выявить общие закономерности в том, как люди и ИИ рассуждают над сложными задачами.

Как Малышева пришла к математике

Во время встречи Малышева рассказала, что обнаружила способности к математике после разговора со старшим братом. Он сказал ей, что она не сможет решить задачи математической олимпиады, над которыми он занимался.

Через несколько лет Малышева училась в одной из лучших школ Санкт-Петербурга. Позже коллеги предупреждали её, что идею с «мостом» будет слишком сложно реализовать.

Ей говорили, что такая задача может оказаться слишком трудной для молодой девушки. Малышева решила доказать обратное.