Встроенные оценщики ИИ не станут простым решением, предупреждает глава отдела политики Hugging Face

Как проверять результаты

ИИ-лаборатории связывают свою репутацию с бенчмарками — оценками, которые должны беспристрастно и точно показывать, лучше ли один продукт на основе ИИ другого.

Однако методы таких проверок сложны и всё ещё развиваются, сказала Ирен Солайман, главный специалист по политике Hugging Face, на дискуссии в рамках TechCrunch Disrupt на прошлой неделе. Чтобы отрасль могла полагаться на результаты, оценивание должно стать более последовательной научной практикой.

Можно ли доверять тестам, которые публикуют сейчас? Солайман отметила, что само слово «доверие» предполагает многое. Один из главных вопросов — можно ли повторить оценку и достаточно ли у исследователей доступа к самой модели. Здесь важную роль играют открытые веса.

Воспроизводимость результатов давно остаётся одной из самых сложных проблем бенчмаркинга и предметом активных споров в отрасли. Есть и другой вопрос: как сопоставлять между собой результаты разных тестов, если надёжность каждого из них оценивается отдельно.

Солайман назвала оценивание развивающейся научной областью: пока непонятно, как содержательно сравнивать тесты друг с другом. Кроме того, проверки сравнительно быстро теряют эффективность, а необходимой развитой экосистемы пока нет.

Интерес к встроенным оценщикам растёт, но критерии, по которым можно определить, кто способен качественно проверять разные задачи, нужно гораздо лучше стандартизировать.

Кто будет оценивать безопасность

Идея встроенных оценщиков — независимых наблюдателей, которых размещают внутри организаций, занимающихся ИИ, — стала популярной за последние месяцы. Лаборатории столкнулись с чередой инцидентов, связанных с безопасностью, и опасениями по поводу возможного вреда от их технологий. Hugging Face тоже стала мишенью одного из таких инцидентов.

Вместо активного государственного регулирования, которое помогало бы выявлять и снижать риски моделей, лаборатории выступают за решение с участием третьих сторон. Но остаются сомнения, насколько такие оценщики действительно независимы и эффективны.

Решение Anthropic нанять Accenture в качестве первого оценщика вызвало заметную критику. Некоторые сомневались, что у консалтинговой компании есть нужная квалификация для этой работы.

Проверяют уже всю систему

Оценивание постепенно выходит за рамки тестирования самой модели: теперь проверяют всю систему вокруг неё, включая обвязку и агента. Обвязка — инструмент, с помощью которого пользователь обращается к модели, — заметно влияет на результат. По словам Солайман, более слабая модель с лучшей обвязкой может легко превзойти передовую модель.

Оценивать агентов сложно и дорого. При этом для моделей уже существует больше тестов, чем для обвязок. Для целостных агентов разрабатывают более подходящие методы проверки, поскольку именно от таких систем многие пользователи получают пользу.

Пока оценивание напоминает область без единых правил. Чтобы бенчмаркинг и дальше оставался полезным инструментом для руководителей отрасли, может понадобиться общий подход, который позволит всем участникам работать по одним стандартам.