Эти специалисты по ИИ хотят открыто заниматься исследованиями, от которых многое зависит

Некоторые крупные компании считают, что мощные модели безопаснее держать внутри лабораторий: если доступ к ним есть только у ограниченного круга людей, они нанесут меньше вреда, пока исследователи изучают их возможности.

Ламберт и Зик придерживаются противоположного подхода. Их Trillium Labs будет прозрачно изучать разные направления ИИ, включая потенциально проблемные темы — рекурсивное самосовершенствование (RSI) и ИИ-агентов. Для этого организация будет публиковать подробности экспериментов, чтобы внешние учёные могли их изучать и воспроизводить.

По словам Ламберта, закрытая работа передовых лабораторий мешает научному сообществу проверять идеи и предлагать новые подходы. Он считает, что доступ независимых специалистов к сведениям о том, как создают и настраивают модели, может помочь снизить риски.

Ламберт отметил, что научный метод уже несколько тысяч лет помогает человечеству уменьшать вред и строить лучшее будущее. По его мнению, нынешний закрытый подход к разработке передовых систем ИИ — шаг назад.

Самые мощные модели, например разработки OpenAI и Anthropic, доступны только через приложения или программный интерфейс API. При таком способе доступа часто остаётся мало сведений о том, как устроена модель и как она ведёт себя.

Некоторые другие компании, особенно китайские, выпускают сравнительно мощные модели, которые можно скачать и запустить на собственном оборудовании. Например, китайская Xiaomi недавно в реальном времени раскрыла подробности крупного цикла обучения одной из своих моделей. А исследователи Стэнфорда открыто предварительно обучают модель ИИ Marin.

В отрасли идёт спор о том, какой подход лучше. Его обострила мощь передовых моделей: они могут автоматически находить новые уязвимости в программном обеспечении, проверять системы на прочность и взламывать их. После нескольких громких серий взломов внимание к этой теме усилилось.

Сторонники ограниченного доступа считают, что такую мощь нужно доверять лишь проверенному кругу людей. Ламберт и Зик, напротив, полагают, что общее понимание рисков пойдёт на пользу всем.

Ламберт раньше работал в исследовательской лаборатории Ai2, которая придерживается необычно открытого подхода: вместе с моделями она публикует сведения об использованных данных и методах обучения. Он также работал в Hugging Face, ведёт популярный технический блог и основал инициативу American Truly Open Models, призванную побуждать американские компании выпускать больше открытых моделей. Зик работал в Гарвардском университете и помогал Charles Schwab разрабатывать политику ответственного применения ИИ.

Ламберт и Зик познакомились по видеосвязи во время пандемии COVID-19. Тогда они оба учились в аспирантуре Калифорнийского университета в Беркли и занимались ИИ. Идея создать некоммерческую организацию появилась у них после того, как они увидели, насколько исследования компаний оторвались от академической науки. По словам Ламберта, преподаватели и студенты часто не могут повторить эксперименты крупных лабораторий из-за нехватки ресурсов.

Как рассказал Зик, Trillium Labs, запустившаяся сегодня, сначала сосредоточится на дообучении — настройке больших моделей после их создания. Ещё одно направление — RSI: процесс, при котором ИИ участвует в исследованиях и помогает разрабатывать новые модели. Возможность непрерывного прогресса, который может привести к утрате контроля со стороны людей, тревожит многих исследователей ИИ. В начале этого месяца тема получила широкое внимание после того, как сотрудник Anthropic ушёл из компании и предупредил, что RSI может стать экзистенциальной угрозой для человечества.

Организация также изучит, как обучение с подкреплением влияет на способности моделей: при таком подходе модель поощряют за хорошие результаты и наказывают за плохие. Этот метод сделал ИИ-агентов гораздо способнее, но они стали чаще вести себя неожиданно. Исследователи хотят выяснить, как обучение с подкреплением формирует характер и поведение моделей, в том числе их склонность чрезмерно угождать пользователю.

Чтобы понять, как масштабирование обучения с подкреплением влияет на дообучение, нужны значительные вычислительные ресурсы и множество тщательно поставленных экспериментов, говорит Зик. По её мнению, публикация подробностей таких циклов обучения может привести к неожиданным выводам, когда внешние исследователи внимательно изучат результаты.

Trillium Labs получила нераскрытую сумму от Schmidt Sciences, Halcyon Futures и других организаций. Основатели планируют собрать в общей сложности от $40 млн до $100 млн и потратить $30 млн на обучение моделей в течение следующих 18 месяцев.

Тим Фист, директор по политике в области новых технологий аналитического центра Institute for Progress, поддержал идею большей открытости исследований и разработок.

Ламберт и Зик надеются, что Trillium Labs добавит нюансов в широкую дискуссию о том, как лучше создавать ИИ. Ламберт считает, что сейчас её определяют несколько мировоззрений, а понять новое поведение моделей помогут научный метод и тщательное изучение недавних событий.