Некоторые математики призвали бойкотировать OpenAI после нашествия созданных ИИ доказательств в их области

AHM обвиняет OpenAI в нарушении основных норм научной работы и призывает математиков прекратить сотрудничество с компанией.

Лауреат Филдсовской премии Теренс Тао, возглавляющий ассоциацию, опубликовал её заявление в качестве гостевого материала в своём блоге. На Mastodon он также описал эпоху «Математики 2.0», в которой решение задач перестаёт быть главной целью дисциплины. Теоретик сложности Скотт Ааронсон назвал происходящее «математическим апокалипсисом» в своём блоге.

Заявление AHM обострило спор, который продолжается уже несколько месяцев. Ранее OpenAI заявила, что внутренняя модель за один месяц решила более 100 открытых математических задач, включая задачу Навье — Стокса, входящую в список проблем тысячелетия. После критики компания создала при Институте перспективных исследований консультативную группу AGMAI. Однако группа прямо указала, что не может влиять на темп внутренних исследований OpenAI.

Почему AHM выступила против публикации

По мнению AHM, OpenAI уже пренебрегла основным положением рекомендаций AGMAI: сложные математические задачи не следует проверять на внутренних моделях. Ассоциация отмечает, что математики не просили проводить такую работу, а одновременный выпуск более 700 файлов называет демонстрацией силы, а не научной работы.

В первом абзаце заявления также упоминаются многочисленные судебные иски о нарушении авторских прав, с которыми OpenAI сталкивается по всему миру. Ассоциация не утверждает этого прямо, но даёт понять, что результаты могли быть достигнуты благодаря обучению на работах математиков — законному или нет.

Этот спор возник и после недавнего заявления OpenAI о решении задачи Навье — Стокса: оно прозвучало незадолго до того, как два математика собирались представить собственное решение с помощью ИИ. В своей работе они использовали ChatGPT. OpenAI отвергла подозрения, что обучалась на данных этих взаимодействий и благодаря этому быстрее получила решение.

Ааронсон сравнивает подход OpenAI с тем, что называет «моделью Anthropic». OpenAI одним пакетом выпускает необработанные черновики доказательств ИИ, после чего начинается гонка за их разбором. Anthropic, напротив, сотрудничала с двумя исследователями алгоритмов: их модель предложила ключевую идею, позволившую опровергнуть две гипотезы, стоявшие около двадцати лет. Исследователи получили вознаграждение и подготовили изложение доказательства, понятное людям.

У обоих подходов есть недостатки. В случае OpenAI сообществу приходится бесплатно и неблагодарно приводить доказательства в читабельный вид. Подход Anthropic оставляет частной компании право выбирать математиков, которые станут «представителями» результата.

ИИ решает задачи быстрее, чем люди успевают проверить ответы

Ранее Тао вместе с 24 другими лауреатами Филдсовской премии, среди которых были Петер Шольце, Марина Вязовская и Мартин Хайрер, подписал заявление о «серьёзном расхождении» между целями индустрии ИИ и целями математики. По их мнению, решение задач — лишь инструмент для главной цели дисциплины: концептуального понимания. Массовое производство решений во всё более быстром темпе может «уничтожить плодородную почву вместо того, чтобы вдохнуть жизнь в новые идеи».

Подписанты также критикуют поспешные объявления о решениях, полученных с помощью ИИ, если к ним не прилагаются полноценные описания и ссылки на важные предыдущие работы. По их словам, это ставит серьёзные вопросы об указании авторства и плагиате.

На Mastodon Тао развивает эту мысль. В традиционной математике решение давней открытой задачи приводило к докладам, семинарам, новым совместным проектам и включению результата в учебники. Такие открытия привлекали молодых исследователей, которые помогали разобраться в них и определить их место в дисциплине.

Теперь, по наблюдению Тао, происходит обратное. ИИ самостоятельно решает задачи, а люди, запускающие модели, часто не интересуются самой математикой и не понимают полученных результатов настолько хорошо, чтобы отвечать на вопросы или выступать с докладами. Поэтому появляется гораздо меньше семинаров и совместных работ, чем после традиционных прорывов. Исследователи также скрывают перспективные направления, опасаясь, что конкуренты первыми получат решение.

Тао считает, что ущерб необратим: если задачу уже признали решённой, снова сделать её открытой нельзя. Даже знание о существовании решения может, по его выражению, «загрязнить» поиск других подходов, которые могли бы привести к новым выводам. Решения «собирают» в больших масштабах, и целые разделы математики могут стать менее плодотворными.

Тао предлагает, чтобы в эпоху «Математики 2.0» прогресс оценивали не только по решению задач, но и по качеству объяснений, развитию математического сообщества и появлению новых направлений исследований. Для этого, по его мнению, нужно изменить подходы к обучению, публикациям и карьерному продвижению.

Эта идея развивает предложенное Тао в 2024 году представление о «промышленной математике», хотя тогда темп задавали люди. ИИ должен был помогать математикам примерно так же, как двигатели помогают шахматистам: проводить широкий, но относительно поверхностный поиск, дополняющий глубокую работу экспертов. Теперь Тао видит обратное: ИИ решает сложные задачи, а люди разбирают результаты. Как и многие другие специалисты, Тао, по-видимому, сильно недооценил скорость развития ИИ.

Три часа вычислений ИИ сопоставимы с карьерой математика

Ааронсон показывает, что это означает для отдельных исследователей, на примере своей жены Даны Мошковиц. Она посвятила карьеру гипотезе об уникальных играх — открытой задаче в теоретической информатике. В опубликованном наборе файлов содержится доказательство этой гипотезы.

В ночь публикации Мошковиц написала Ааронсону в сообщениях, что текст похож на работу человека под психоделиками. Большая часть документа была непонятна. В статье приводилось множество работ, но не объяснялось, почему они применимы, хотя предыдущие результаты должны были исключить такой подход.

Мошковиц сказала, что статья написана настолько плохо, что прочитать её без помощи ИИ невозможно. Доказательство опиралось на совершенно новую и странную конструкцию, которую она описала как «какую-то инопланетную дичь».

Ааронсон перечисляет и другие результаты из теории сложности, теории чисел и разработки алгоритмов, в том числе частичный прогресс по нескольким оставшимся проблемам тысячелетия Института Клея. Каждый из этих результатов, считает он, сам по себе мог бы войти в число главных достижений года.

Однако в опубликованной подборке нет криптографии. Со ссылкой на неназванные источники Ааронсон сообщает, что компании, занимающиеся ИИ, теперь втайне ищут слабые места в криптографических протоколах и базовых криптографических механизмах. Всего проверили около 8 000 задач; доля успешных результатов составила примерно пять процентов. В среднем на одну задачу уходило три часа вычислений на уровне GPT-Pro. Вероятно, использовалась и нынешняя внутренняя модель OpenAI, которая в ближайшие месяцы может появиться у платных пользователей ChatGPT.

Математики спорят, поможет ли бойкот

Комментарии к публикации Тао показывают, насколько разделилось математическое сообщество. Некоторые поддерживают бойкот и предлагают исследователям перестать пользоваться продуктами OpenAI. Они также призывают лучше защищать серверы препринтов, такие как arXiv, от массового сбора данных для обучения.

Другие считают позицию AHM нереалистичной: OpenAI не прекратит заниматься математикой, а открытые результаты лучше закрытых. Ещё один комментатор спрашивает, можно ли считать задачу решённой, если доказательство до конца не понимают ни авторы, ни кто-либо ещё. В случае Навье — Стокса пока неясно, углубил ли результат чьё-либо понимание гидродинамики.

Сама AGMAI занимает более осторожную позицию, чем AHM: группа считает публикацию первым шагом, а работу над пониманием результатов — только начинающейся. При этом она предупреждает, что будущее математических исследований не может сводиться к разбору результатов, полученных лабораториями ИИ.

В заявлении организации говорится, что математики должны иметь возможность самостоятельно ставить вопросы, разрабатывать подходы и изучать направления, которые не выбирали как примеры возможностей системы ИИ. Для такой свободы, добавляет группа, необходим равный доступ к мощным исследовательским инструментам и достаточным вычислительным ресурсам.