Точность моделей ИИ при выполнении бухгалтерских задач в исследовании по сравнению с бухгалтерами, работавшими без помощи ИИ, в разбивке по датам выпуска моделей
Источник: the-decoder.com
Полная версия бенчмарка APEX Accounting включает 160 заданий по 10 смоделированным компаниям. Её подготовили более 40 специалистов со средним опытом работы 11 лет. Сейчас лидирует Claude Opus 5.5: модель выполнила 61,8% критериев оценки. Следом идут Fable 5.1 с результатом 61,0% и GPT-6 Astra с 57,9%. При этом, по данным Mercor, ни одна модель не решила полностью почти 60% заданий.
Mercor отмечает, что задания исследования проверяют именно те навыки, в которых ИИ особенно хорош: поиск деталей и точное следование инструкциям. В исследование не вошли важные части работы бухгалтера — общение с клиентами, взаимодействие с коллегами и использование контекста, накопленного за годы. Поэтому, считает Mercor, бухгалтеров нельзя заменить, хотя ИИ может заметно повысить производительность во всей отрасли.
Читайте также
Медики устали разгребать бардак, который устроила Palantir
Уязвимость в приложении ChatGPT для Mac могла открыть хакерам доступ к личным данным
Microsoft AI выпустила новые модели для распознавания и синтеза речи в голосовых ИИ-агентах
Не обманывайтесь: большие языковые модели не рассуждают
Индекс Ramp AI Index: компании используют ИИ активнее, но платят за него меньше
Black Forest Labs выпустила Flux 3 Image: модель редактирует изображения поэтапно, не затрагивая остальную картинку
Не стоит паниковать из-за ИИ — нужно привлекать его создателей к ответственности, когда что-то идёт не так
Shopify представила Canvas — интернет-магазины можно создавать в диалоге с ИИ
Что бы ни подразумевали под безопасностью ИИ, это точно не она
Стартап Legato выпустил очки с ИИ для помощи людям с нарушениями слуха
У ИИ-индустрии серьёзная проблема: большинство людей не мечтают доверить ИИ-агенту всю свою жизнь
В Сингапуре мужчине грозит до трёх лет тюрьмы за ИИ-фейк, вызвавший массовую панику
Google: для запуска космических дата-центров Starship должна совершить 1 800 полётов
Теперь ChatGPT может виртуально примерить на вас одежду
Ideogram: новая модель редактирует часть изображения, не портя остальное
The Wall Street Journal: OpenAI рассталась с тремя исследователями по безопасности
Калифорния направила OpenAI повестку в рамках расследования взломов, совершённых вышедшими из-под контроля агентами
Почти половина участников теста приняла видеоаватар ИИ Tavus за человека после минутного звонка
Похоже, Цукерберг может случайно довести Meta до корпоративного самоубийства
Opus 5.5 обожает повторять «это важно» — и другие приметы текстов ИИ
Ежедневные новости об ИИ
Каждый день отбираем важные новости об ИИ и рассказываем главное — без хайпа и воды. Если хотите понимать, что происходит в ИИ раньше остальных, — подписывайтесь.
Только важное — каждый день
В Telegram