LitPivot: как переосмысливать исследовательские идеи в контексте научной литературы

Почему трудно менять направление исследования

Идеи развиваются по мере знакомства с научными работами. Анализ заметок о встречах по четырём завершённым проектам в информатике выявил 21 изменение направления, вызванное чтением литературы. Такие изменения делились на два типа: исследователи отстраивали идею от уже опубликованных работ, чтобы показать её новизну, или связывали её с существующими исследованиями, чтобы развить их. Сам проект LitPivot тоже пережил два таких поворота, прежде чем авторы определились с его вкладом.

Менять направление бывает непросто. В предварительном исследовании пять учёных разрабатывали предложения с помощью текстового редактора и обычных инструментов поиска. Им было трудно одновременно развивать идеи и критически проверять их по литературе. Когда найденная статья ставила под сомнение новизну идеи, участникам хотелось получить конкретные варианты доработки со ссылками на предыдущие исследования. Эти наблюдения определили подход LitPivot: система сочетает критику, подкреплённую литературой, с предложениями по изменению выбранной части идеи.

Как работает LitPivot

Исследователь начинает с короткого предложения в редакторе и включает подсветку аспектов идеи. Она разделяет текст на части: проблему, предполагаемый вклад и план оценки. Чтобы проверить один из аспектов, исследователь нажимает на соответствующий фрагмент. Соседняя панель группирует связанные статьи по выбранной части — например, при проверке плана оценки объединяет работы по использованным в них методам оценки — и выделяет наиболее подходящие группы. Затем исследователь выбирает статьи, запрашивает оценку и сопоставляет предложенную редакцию с выдержками, подтверждающими критику. После этого система заново ранжирует литературу с учётом пересмотренного аспекта.

Каждому из трёх аспектов — проблеме, предполагаемому вкладу и плану оценки — соответствует свой набор статей и ранжирование по релевантности. LitPivot группирует найденные работы вокруг редактируемой части, а исследователь сам выбирает, какие источники использовать для оценки черновика.

Наряду со средами для научного письма, такими как Prism, и ИИ-помощниками с агентными возможностями, такими как Claude Code, LitPivot предлагает способ развивать раннюю исследовательскую идею: подбирать литературу для её оценки, пересматривать её на основе свидетельств и заново решать, какие статьи важны по мере изменения замысла. Группы статей и привязанные к ним замечания показывают эти шаги для каждой части предложения. Исследователь при этом контролирует и текст, и источники, на которых основана оценка.

Для формулировки проблемы LitPivot ищет свидетельства того, что она существует, и основания считать её важной. При оценке предполагаемого вклада система сопоставляет уже изученные вопросы с ограничениями и будущими направлениями, описанными в выбранных статьях, чтобы выявить оставшиеся пробелы. Для плана оценки она проверяет, отвечают ли предложенные тесты на исследовательский вопрос и как оценивали похожие работы. Затем LitPivot предлагает новую редакцию и прикладывает к ней подтверждающие цитаты.

Изменение одной части идеи может сделать устаревшей другую. LitPivot отмечает фрагменты, которые, возможно, нужно пересмотреть, например план оценки, который больше не подходит к изменившемуся вкладу. Исследователь может принять, отредактировать или отклонить предложения, запросить новые статьи либо обновить ранжирование литературы по мере развития проекта.

Источник: huggingface.co

Пример пересказан по материалам одного из участников исследования.

Результаты исследований

В лабораторном исследовании 17 учёных каждый разрабатывали одну заданную идею с LitPivot, а другую — с базовым инструментом: текстовым редактором и ИИ-средством, которому можно задавать вопросы о выбранных статьях. В обоих случаях использовался один и тот же набор публикаций. Два эксперта в соответствующих областях, не знавшие, какой инструмент применялся, оценивали предложения по одному критерию: насколько хорошо в них использована релевантная литература для обоснования идеи. Предложения, подготовленные с LitPivot, получили более высокие оценки.

Участники также сообщали, что с LitPivot лучше понимали связанную с проектом литературу и сильнее улучшили, по собственной оценке, новизну и полезность идей. Эксперты отдельно оценили идеи участников и сочли варианты, доработанные с LitPivot, значительно лучше обоснованными релевантными исследованиями.

Один из участников начал с идеи создавать последовательные и фактически точные синтетические медицинские записи. LitPivot указала на согласованность данных между несколькими визитами в больницу как на возможный пробел в выбранной литературе. Участник просмотрел аннотации и убрал статьи о записях для одного визита. После повторной оценки он сузил предложение до выявления противоречий между записями о нескольких визитах. Этот пример показывает, как пересмотр идеи и выбор литературы для её оценки могут влиять друг на друга.

В последующем исследовании пять учёных использовали LitPivot для работы над собственными текущими проектами в течение 30-минутных сессий. Они применяли систему на разных этапах, а не только в начале. Двое проверяли новые идеи по научной литературе, трое уточняли формулировки более зрелых замыслов. Один участник отметил, что параллельные понятия из разных областей помогли ему переосмыслить свой вклад.

Результаты показывают, что LitPivot может помогать и на раннем этапе исследования, и при доработке уже выбранного направления.

Источник: huggingface.co

Поддержка научных открытий

В Ai2 разрабатывают ИИ, который помогает учёным формулировать проверяемые идеи и изучать подтверждающие их данные. Asta поддерживает эту работу генерацией теорий на основе опубликованных результатов с помощью Theorizer, синтезом, а также созданием и проверкой гипотез на данных с помощью AutoDiscovery. HARPA формирует перспективные гипотезы с учётом новых исследовательских тенденций. Scideator позволяет объединять элементы предыдущих работ в новые идеи и оценивать их новизну, а IdeaSynth помогает последовательно дорабатывать идеи, опираясь на отзывы и научную литературу.

В недавнем исследовании Old Ideas, Novel Problems авторы изучают ограничения автоматической оценки новизны: небольшие изменения промта могут поменять вердикт ИИ-оценщика об одной и той же идее. LitPivot развивает это направление, включая выбор релевантной литературы в процесс доработки. По мере развития замысла исследователь может менять статьи, по которым оценивается предложение, а затем использовать критику и подтверждающие выдержки, чтобы решить, как его пересмотреть. Система связывает эти решения для проблемы, предполагаемого вклада и плана оценки.

Авторы рассчитывают, что опыт работы с LitPivot поможет учёным развивать существующие знания и превращать ранние идеи в новые результаты для своих областей.