Источник: the-decoder.com
В новой версии индекса Kimi K3.1 Pro оказалась на девятом месте, хотя при запуске занимала четвёртое. По мнению Artificial Analysis, прежняя методика могла завышать результаты некоторых моделей. Разрыв между открытыми моделями и верхними строчками рейтинга вырос с 3 до 12 баллов.
Закрытые тесты теперь составляют 60% индекса. Это должно затруднить «накрутку бенчмарков» — обучение моделей специально на известных тестовых вопросах.
Исследователь ИИ Натан Ламберт считает, что дело не только в такой подгонке. Сегодня многие улучшения при обучении достигаются в средах обучения с подкреплением, где задачи похожи на бенчмарки. Чтобы поддерживать результаты сразу в нескольких областях, нужна развитая инфраструктура для обучения с подкреплением, которой располагают не все лаборатории.
У закрытых тестовых наборов есть и обратная сторона: внешние исследователи больше не могут находить ошибки в формулировках вопросов. Тест на знания AA-Omniscience показал, что такие ошибки встречаются. Для новой версии индекса Artificial Analysis пришлось исправить в этом бенчмарке неоднозначные и некорректные вопросы.
Читайте также
Риелторы Илона Маска запугивают местных жителей, чтобы те не судились из-за оглушительного шума дата-центров
Disruptive привлекла $10 млрд в фонд, чтобы сделать крупные ставки как минимум на 10 компаний
Google DeepMind выпустила Gemini 4 Carbon всего через две недели после Argon — модель прибавила по всем направлениям
Женщина умерла после того, как ChatGPT убедил её снизить дозу назначенного врачом лекарства
General Compute привлекла $100 млн в раунде серии A, бросив вызов нарративу о крахе неооблаков
Salesforce дополняет Agent Fabric ИИ-проверками, которые отключают сбойных агентов
Google открыла Android для сторонних ИИ-агентов и представила новые API Gemini
Стартап, связанный с Илоном Маском, утверждает, что его ИИ-агенты взломали Anthropic за несколько часов
Первые результаты: как Claude ускоряет разработку лекарств
Лаборатории передового ИИ заявили, что их модели опровергли гипотезу экспоненциального времени. Что это значит?
Nvidia и Oracle расширяют облачную инфраструктуру Vera Rubin, обещая эффективнее загружать GPU, простаивающие у корпоративных клиентов
Claude for Legal автоматически проверяет источники, а затем передаёт файл юристу
Ведущий исследователь безопасности ИИ заявил, что перестал копить на пенсию, потому что уверен: мы все погибнем
Anthropic расширила партнёрство с GSA, чтобы предоставить Claude всем уровням власти США
Genie 4 от Google добавила звук, более реалистичные миры и управление сценой в реальном времени
Новые модели LFM3 от Liquid AI переносят браузерных агентов, голосовые команды и распознавание изображений на локальные устройства
Обзор «Стен замка»: на Prime вышел первый полностью созданный ИИ сериал — размазанная вазелином каша
OpenAI дразнит Европу скорым запуском Dots, но DevDay в Берлине был посвящён созданию платформы
Шарнир складного iPhone, который постоянно ломается, «создали с помощью ИИ»
Anthropic расширяет программу AI for Science на фонды и научные учреждения
Ежедневные новости об ИИ
Каждый день отбираем важные новости об ИИ и рассказываем главное — без хайпа и воды. Если хотите понимать, что происходит в ИИ раньше остальных, — подписывайтесь.
Только важное — каждый день
В Telegram