Открытый инструмент BootLoops помогает ИИ-моделям выполнять точные научные расчёты

Автоматически решать задачи — не то же самое, что находить значимые научные результаты. К такому выводу пришёл Шварц, физик и приглашённый исследователь Anthropic, в гостевой публикации компании. Он рассказал, что перестал пытаться использовать Claude как учёного-человека и стал подбирать задачи, соответствующие возможностям нынешних моделей.

Так появился BootLoops — открытый инструмент для точных научных расчётов. Исходный код опубликован на GitHub.

По словам Шварца, с помощью BootLoops Claude находила связи между физикой элементарных частиц, экологией, популяционной генетикой, экономикой и лингвистикой. Но результаты часто приобретали научную ценность только после того, как специалисты задавали направление работе.

Как BootLoops соединяет области знаний

Шварц объясняет пользу ИИ в науке через понятие «выпуклой оболочки». Знания человечества разделены на области, каждая из которых развивается в своём направлении, тогда как промежутки между ними остаются малоизученными. Например, лаборатория может 20 лет изучать одну группу генов одним методом, не затрагивая соседние гены и альтернативные подходы. BootLoops должен помогать заполнять такие пробелы, находя связи на границах научных областей.

«Задачи, подходящие Клоду», находятся на пересечении того, что учёные хотят изучать, и того, что ИИ действительно может делать

Источник: the-decoder.com

36 рукописей по 18 областям за три месяца

За три месяца команда из Шварца и 19 соавторов подготовила 36 рукописей по 18 областям. Сначала Шварц поручил Claude расчёты из физики элементарных частиц — амплитуд рассеяния и эллиптических интегралов. За несколько недель модель с помощью BootLoops вычислила 30 интегралов: 15 совпали с известными результатами, а ещё 15 были рассчитаны впервые.

Затем он расширил поиск на другие области. В экологии Claude решила уравнение из теории нейтрального биоразнообразия, которое не могли вычислить в таком масштабе на протяжении 20 лет. Применив результат к данным, исследователи обнаружили, что состав видов деревьев на острове Барро-Колорадо в Панамском канале меняется в 4,5 раза быстрее, чем допускает теория. Эколог Джеймс О’Двайер помог превратить это наблюдение в улучшенную прогностическую модель.

В популяционной генетике команда проанализировала 5,7 миллиарда пар мутаций из проекта 1000 Genomes и обнаружила свидетельства механизма, называемого генной конверсией.

Среди других проектов — редактор данных для экономических журналов, который автоматически проверил 4 452 пакета для воспроизведения результатов. Работа вышла в виде рабочего документа NBER. Ещё один проект — база данных ударений в словах 6 072 языков, созданная совместно с тремя лингвистами.

Знания человечества охватывают разные дисциплины, а пробелы между ними остаются неисследованными. ИИ-инструменты, такие как BootLoops, призваны заполнить эти пробелы

Источник: the-decoder.com

«Python для инженеров» больше не нужен

Шварц отмечает, что ИИ меняет науку так быстро, что планировать работу на годы вперёд становится почти невозможно. Зачем подавать заявку на трёхлетний грант для расчёта, который модель может выполнить за ночь?

Открытым вопросом стало и обучение аспирантов. После публикации Шварца о физике с ИИ это ощущение только усилилось. В некоторых областях, например в информатике, перемены вызывают тревогу. Ещё два года назад Шварц назвал бы курс «Python для инженеров» обязательным, а теперь считает его ненужным: Claude справляется с такими задачами.

ИИ может взять на себя и создание моделей машинного обучения для изучения физических явлений. Даже глубокое знание нейросетей даёт ограниченное преимущество, если Claude способна по запросу реализовать актуальные методы машинного обучения.

«Проверяйте всё сами»

Шварц предупреждает и о слабых местах моделей. Claude склонна объявлять о победе раньше времени: фразы вроде «готово, с одной оговоркой» нередко означают, что работа совсем не завершена. Модель неверно оценивает сроки и часто перебирает варианты расчётов грубой силой вместо того, чтобы искать более элегантное решение. Автоматическим проверкам нельзя полностью доверять, а выводы Claude могут быть ошибочными даже при правильных расчётах.

Кроме того, модель тяготеет к старым, широко обсуждаемым научным спорам, а не к действительно новым вопросам. Проекты также требовали больших вычислительных ресурсов и расхода токенов, отмечает Шварц.

Он считает рискованным и чрезмерное внимание к крупным математическим задачам и громким заголовкам: завышенные ожидания могут отвлечь от полезных применений ИИ, которые уже работают. Научный прогресс по-прежнему будет опираться на прочную основу, просто ускорится. Сам научный метод не под угрозой, а руководство человека и его научное чутьё остаются необходимыми, говорит Шварц.