i
ДАТАИСТ
К ленте

Оценка и бенчмарки

Как измеряют качество моделей и почему бенчмарки регулярно врут.

126 материалов

OpenAI: GPT-6 Astra спроектировала устройство с нуля меньше чем за неделю

Команда OpenAI с помощью GPT-6 Astra спроектировала с нуля устройство, позволяющее общаться с агентом для программирования Codex. На работу ушло меньше недели: модель подготовила корпус, компоновку печатной платы и подбор компонентов, прошивку и интерфейс. Подрядчик выпустил небольшую партию прототипов менее чем за месяц, но проект пришлось несколько раз дорабатывать из-за ограничений производства, допусков и особенностей сборки. OpenAI также сообщила о тестировании внутренней модели, набравшей 0,875 балла в бенчмарке BenchCAD 2.0 против 0,594 у GPT-6 Astra на максимальном уровне рассуждения.

Message Threads от Anthropic сокращает время до первого токена на 35% в длинных диалогах

Anthropic открыла публичное бета-тестирование Message Threads на платформе Claude. Раньше каждый запрос к API приходилось отправлять вместе со всей историей разговора. Теперь передаются только изменения с момента последнего сообщения, что сокращает время до первого токена примерно на 35% в запросах объёмом от 500 000 до 1 млн токенов.

ИИ-функции Apple Watch для воспоминания и краткого пересказа разговоров вышли в бета-тестирование

Apple начала бета-тестирование Audio Intelligence для Apple Watch: функции доступны разработчикам в iOS 27.3. Их впервые представили на сентябрьском мероприятии Surprise and Shine. Четыре функции, которые владельцы Apple Watch Series 12 смогут включать по желанию, распознают важные звуки и музыку, помогают вспомнить недавнюю речь и составляют заметки о разговорах.

От синтетических корпоративных данных — к реальной оценке надёжности ИИ в Microsoft Copilot

Microsoft разработала платформу Industry Evaluation Data Generation Platform, которая создаёт синтетические корпоративные среды для проверки Microsoft Copilot. Они воспроизводят рабочие процессы разных отраслей, но не используют данные клиентов. На таких данных компания проверяет, насколько Copilot точно отвечает на запросы сотрудников и учитывает контекст организации. По оценке Microsoft, автоматизация сократила создание набора для оценки с нескольких дней ручной работы до автоматических запусков и сэкономила около $100 000 на каждом наборе, или $300 000 за весь проект. В синтетических средах также автоматически проверяют безопасность контента и отсутствие личных данных.

Открытая модель Nvidia Nemotron 3.5 Transcribe распознаёт речь, переводит и различает говорящих

Nvidia выпустила Nemotron 3.5 Transcribe — открытую модель, которая по текстовым инструкциям расшифровывает речь, переводит её и определяет говорящих. Она работает с 40 языками, обрабатывает записи длительностью до часа и, по данным компании, входит в число лидеров нескольких бенчмарков. В модели 30 млрд параметров, но на каждом шаге активны около 4 млрд — поэтому для работы достаточно одной видеокарты. Вместе с ней Nvidia представила набор данных Granary v2 с 844 000 часами аудио и инструменты для настройки модели под специализированные области.

Google DeepMind выпустила Gemini 4 Carbon всего через две недели после Argon — модель прибавила по всем направлениям

Google DeepMind выпустила Gemini 4 Carbon — передовую модель, которая сменила Gemini 4 Argon всего через две недели. В Artificial Analysis Intelligence Index v5 Carbon набрала 59 баллов против 50 у предшественницы и заняла первое место. Google также сообщает об улучшениях в программировании, работе с агентами и кибербезопасности. Из-за возможностей в сфере защиты систем модель сначала получат отдельные эксперты по кибербезопасности в рамках предварительного тестирования правительства США. Стартовые цены остались такими же, как у Argon.

Salesforce дополняет Agent Fabric ИИ-проверками, которые отключают сбойных агентов

Salesforce раскрыла следующий этап развития платформы Agent Fabric: она должна находить сбои в работе ИИ-агентов и запускать корректирующие действия. В планах — Agent Evals для проверки агентов, API Evals для тестирования их программных подключений и пользовательские сканеры для поиска агентов во внутренних системах. Бета-версии инструментов оценки ожидаются в ноябре, полноценный запуск — в январе 2027 года. Тогда же Salesforce планирует выпустить механизм отключения агента по результатам проверки. Базовый выключатель и часть инструментов контроля расходов уже доступны.

Сооснователь Anthropic Джек Кларк перенёс прогноз о самоулучшении ИИ на 2027 год

Новый бенчмарк TasteVal проверяет, как системы ИИ планируют эксперименты и трактуют их результаты. По данным P-Zero Research, способность, которую лаборатория называет «исследовательским чутьём», с декабря 2025 года примерно удваивается каждые три месяца. Лучшая из проверенных моделей превзошла группу из 24 экспертов-людей, потратив меньше вычислительных ресурсов. Сооснователь Anthropic Джек Кларк считает, что самоулучшение ИИ — создание системами собственных более совершенных преемников — может стать возможным уже в 2027 году. Раньше он ожидал этого в 2028-м.

Claude Code против оболочки на 100 строк: результат одинаковый

Оболочка вокруг модели для программирования — системный промт, инструменты и правила работы с контекстом — может втрое увеличить стоимость решения задач без измеримого прироста точности. Исследователи из Shandong University сравнили три оболочки на почти 500 задачах по разработке ПО: на большом наборе самая сложная и самая простая показали статистически сопоставимые результаты, хотя третья отставала. На 45 самых трудных задачах смена оболочки меняла результат примерно так же часто, как повторный запуск без изменений: в 13% случаев. Авторы советуют оценивать ИИ-агентов по успешности и стоимости задач, а не по небольшим различиям в единичных бенчмарках.

Claude от Anthropic теперь пишет код и автоматически доказывает его корректность

Anthropic вместе с партнёром Theorem поручила Claude математически проверить существующий код и построить формальные доказательства его корректности. За несколько недель модель сгенерировала около 180 миллионов строк доказательств для 123 библиотек с открытым исходным кодом и обнаружила сотни ошибок, пропущенных обычными тестами. У подхода есть строгие ограничения: доказательства действуют лишь для определённых процессоров, однопоточных программ и входных данных меньше 64 МБ. Anthropic рассчитывает, что формальная проверка с помощью ИИ станет такой же привычной, как стандартное тестирование.

Как специализация словаря малых языковых моделей снижает стоимость инференса на 77% в реальных приложениях

Dharma-ИИ разработала метод VocabX, который перестраивает словарь языковой модели под конкретную задачу. В производственной системе для оценки португальских эссе на базе Qwen3-4B новый словарь сократил средний ответ с 350 до 101 токена, а измеренную стоимость инференса — на 77%. Оценка качества при этом выросла с 0,703 до 0,810. Базовую модель, данные и рецепт обучения не меняли: отличался только токенизатор. Метод также показал лучшие результаты, чем три других подхода, в тестах на пяти предметных областях и трёх семействах моделей.

OpenAI: GPT-6 заметно лучше справляется со старыми языками программирования, такими как COBOL и Fortran

OpenAI повысила результаты своих новых моделей на задачах с языками программирования, для которых мало обучающего кода, включая COBOL, Fortran и Visual Basic. По данным компании, эти языки поддерживают критически важную инфраструктуру: IBM оценивает, что COBOL используется более чем в 40% систем онлайн-банкинга и в 95% операций с банкоматами. В тесте MultiLangBench GPT-6 Astra набрала в среднем 87,4% на 20 языках — против примерно 38% у GPT-5.6 Terra. В бенчмарке миграции кода GPT-6.1 Sol достигла точности 97,9% при высоком уровне рассуждений.

ElevenLabs выпустила две модели преобразования речи в речь для диалогов с ИИ в реальном времени

ElevenLabs представила две модели преобразования речи в речь — Eleven Realtime. Старшая версия v1 Max набрала 98,8% в бенчмарке Big Bench Audio и отвечает за 0,57 секунды. По заявлению компании, сейчас ни одна модель в рейтинге Artificial Analysis не сочетает более высокую точность с меньшей задержкой.

Как понять, что ИИ-агент действительно стал лучше

Разберём, как задать агенту условие завершения и технические лимиты, почему нескольких удачных примеров недостаточно для оценки надёжности и зачем проверять весь путь выполнения. Рассмотрим, по каким метрикам сравнивать версии агента, как находить регрессии и выстроить воспроизводимый цикл улучшений.

fal представила FLUX 3 Max и заявила, что модель генерирует видео с ИИ в 22 раза быстрее Seedance 2.5

Платформа для создания мультимедиа fal.ai представила FLUX 3 Max — видеомодель, разработанную вместе с немецкой лабораторией Black Forest Labs. По опубликованному fal сравнению, 10-секундный ролик модель генерирует за 12,45 секунды, а Seedance 2.5 — за 277,80 секунды. Это примерно в 22 раза быстрее; в приведённом компанией бенчмарке обе модели получили одинаковую оценку качества. fal также объявила о крупной стартовой скидке. Однако заявления о скорости и о разделённом первом месте по качеству видео из изображений требуют оговорок.

Встроенные оценщики ИИ не станут простым решением, предупреждает глава отдела политики Hugging Face

В лабораториях ИИ на результаты бенчмарков опираются, когда сравнивают модели и оценивают их качество. Но методы таких проверок сложны и пока развиваются, поэтому отрасли нужно выработать более согласованные научные подходы. На TechCrunch Disrupt главный специалист по политике Hugging Face Ирен Солайман сказала, что доверие к результатам зависит, в частности, от возможности повторить оценку и получить необходимый доступ к модели. При этом встроенные независимые оценщики пока не имеют общих стандартов, а проверять приходится уже не только модели, но и инструменты доступа к ним, агентов и всю систему целиком.

ИИ-агенты плохо выбирают, что делать дальше в долгосрочной перспективе, — это доказал новый тест

Исследователи из Microsoft и Городского университета Гонконга разработали способ проверять, насколько хорошо ИИ-агенты выбирают дальнейшие действия в длительных задачах. Они назвали этот навык «вкусом» и создали бенчмарк Taste-Bench. В нём 502 вопроса о выборе между двумя возможными путями. Лучший из 14 проверенных моделей набрал всего 59,7%: результат показывает, что даже простое решение с двумя вариантами даётся моделям трудно.

DeepSeek V4.1 Flash 1017 обходит более крупные модели в задачах для ИИ-агентов и вновь резко снижает стоимость каждой задачи

Китайская компания DeepSeek выпустила модель DeepSeek-V4.1-Flash-1017: она быстрее предшественницы, короче отвечает и показывает лучшие результаты в задачах по программированию и работе ИИ-агентов. Модель доступна на сайте, в приложении и через API, а её веса опубликованы на Hugging Face и ModelScope. По внутренним бенчмаркам DeepSeek, новинка обходит более крупные Claude Opus 5 и GPT 5.6-Sol. Компания также открыла разработчикам доступ к собственному поисковику через API Search и Fetch.

Гендиректор Replit: компания больше не сотрудничает с Anthropic

Гендиректор и сооснователь Replit Амджад Масад заявил, что компания больше не сотрудничает с Anthropic. По его словам, решение связано с затратами, условиями партнёрства и качеством моделей. Масад отметил, что сейчас ChatGPT показывает лучшие результаты, а модели Sol и Astra стабильно выигрывают во внутреннем бенчмарке Replit на создании приложений с помощью промтов с нуля. При этом Replit объявила о партнёрстве с OpenAI ещё в августе, но до сих пор не сообщала, что завершила работу с Anthropic.

Как флеш-память сокращает бесполезные вычисления на GPU из-за повторного расчёта KV-кэша

GPU при обработке запросов к большим языковым моделям могут тратить до 60% вычислений на повторный расчёт контекста, который уже обрабатывали. Об этом заявил Алан МакСевени, технический директор WEKA по работе с клиентами, в разговоре с ведущим аналитиком VentureBeat Робом Стречэем в рамках серии VentureBeat AI Impact Series. По словам МакСевени, если эффективнее хранить историю диалога, компании смогут обслуживать в несколько раз больше пользователей на уже купленном оборудовании. Основные трудности клиентов WEKA связаны с инфраструктурой, а не с метриками приложений, которые компании настраивают под свои задачи. Среди ограничений МакСевени назвал бюджет, доступность электроэнергии и место в дата-центрах: они мешают компаниям расти и заставляют искать больше отдачи от уже сделанных вложений.

Новый фреймворк учит ИИ-модели проверять и исправлять рассуждения друг друга, повышая точность

Исследователи из Стэнфордского университета, Together AI и Университета Эмори разработали Self-Organizing Agent Teams (SAT) — фреймворк, который помогает фиксированной команде ИИ-моделей учиться совместной работе. Модели анализируют прошлые попытки, осваивают роли и стратегии, а также проверяют рассуждения друг друга. На пяти бенчмарках по математике и физике SAT обошёл сильнейшую отдельную модель и даже идеальный маршрутизатор, выбирающий правильный ответ среди независимых решений агентов. Подход позволяет находить решения, которых модели не достигали поодиночке.

Gemini 4 Argon ближе к передовым моделям ИИ, чем любая модель Google за последние месяцы

Google DeepMind сообщила, что Gemini 4 Argon набрала 97,5% в бенчмарке ARC-AGI-3 при стоимости тестирования $4 800. Это второй результат выше 95% после OpenAI, однако он получен с помощью специальной системы тестирования, использующей функции API Google. В стандартном режиме показатель Argon падает до 49,8%. По оценкам Epoch AI, модель приблизилась к лидерам, но уступает им в математике и разработке программного обеспечения.

GPT-6-Astra решает 49 из 50 задач по физике за $2,40 за каждую

В бенчмарке TheoPhysEval агенты для программирования решали 50 неопубликованных задач по теоретической физике без подсказок от людей. GPT-6-Astra, запущенная в Codex от OpenAI, справилась с 49 задачами: точность составила 98%, а весь запуск обошёлся примерно в 116 долларов — меньше 2,40 доллара на задачу. Авторы считают, что современные модели уже могут выполнять отдельные расчёты на уровне ведущих специалистов. Но до новых открытий этого пока не хватает: агентам недостаёт научного «чутья» — способности выбирать интересные вопросы и менять задачу, если она оказывается слишком сложной.

Muse Spark Open — ответ Meta на Qwen, GLM и Kimi в гонке открытых моделей с весами

После серии Llama компания Meta возвращается к открытым моделям с Muse Spark Open. По словам Meta, это самая способная открытая модель из США: она рассчитана на задачи по программированию и работу ИИ-агентов, насчитывает 816 млрд параметров, из которых 42 млрд активны, и поддерживает контекст длиной до миллиона токенов. Модель работает с текстом, изображениями, видео и аудио. На бенчмарках JobBench, MCP-Atlas, HLE-Diamond и ZeroBench Meta заявляет о преимуществе над Qwen 3.8, GLM 5.3 и Kimi K3 в нескольких категориях. При этом Muse Spark Open заметно уступает платным моделям Meta Muse Wonder Full.

Figma представила новые инструменты, определяющие работу агентов на её платформе

На первом мероприятии Config в Индии Figma представила редактор на основе Markdown для описания фирменного стиля, подключения библиотек дизайна и кода, а также интеграции с системой управления контентом Payload. Эти инструменты должны помочь собственным и сторонним ИИ-агентам точнее следовать правилам бренда при работе над дизайном. Компания также открыла публичное бета-тестирование кодовых слоёв и объявила о поддержке более 20 новых инструментов через MCP.

OpenAI, по сообщениям, выпустит в этом году хотя бы одну модель, но флагманскую ещё нужно настроить

По словам сотрудников OpenAI, до конца года компания, вероятно, выпустит одну или две новые модели. Неясно, войдёт ли в их число крупно обновлённая флагманская модель, над которой сейчас работает OpenAI: ей ещё предстоит пройти настройку соответствия целей ожиданиям исследователей и клиентов, а компании — укрепить систему тестирования. Модель использует циклический трансформер: этот подход повышает результаты в математике и программировании, но усложняет контроль безопасности. Кроме того, по указу президента США Дональда Трампа OpenAI должна предоставлять правительству доступ к новым моделям не менее чем за 30 дней до передачи внешним партнёрам.

Защитные ограничения ИИ, призванные останавливать хакеров, мешают специалистам по кибербезопасности — Orion-1 должна закрыть этот пробел

Американская Artemis Security выпустила Orion-1 — модель, которая самостоятельно расследует атаки на корпоративные сети и предлагает или запускает ответные меры. Она связывает журналы событий из сетей, облачных сервисов и устройств сотрудников, чтобы восстановить действия одного злоумышленника. В бенчмарке самой компании Orion-1 обошла Claude Opus 5.5 и GPT-6 Sol; наибольший разрыв был в реконструкции атаки — 80,8 балла против 58,3 у ближайшего конкурента. Artemis рассчитывает закрыть пробел, возникший из-за того, что защитные ограничения универсальных моделей мешают специалистам по кибербезопасности анализировать атаки.

Брэд Смит считает, что Великобритания лучше других подходит для регулирования ИИ

Президент Microsoft Брэд Смит призвал срочно ввести правила безопасности для ИИ: сейчас за молоком и стиральными машинами следят строже, чем за компаниями, которые разрабатывают искусственный интеллект. В подкасте BBC он назвал ИИ одновременно «оружием и инструментом», создающим угрозу кибербезопасности, и заявил, что время для глобальных правил уже пришло. По мнению Смита, возглавить эту работу лучше Великобритании, а не США или Евросоюзу: британский Институт безопасности ИИ, созданный в 2023 году, получает доступ к передовым моделям американских лабораторий до их выпуска и быстро стал одним из лидеров тестирования безопасности ИИ.

Исследование: команды ИИ-агентов тратят массу токенов ради почти незаметного роста качества

Vals AI проверила, дают ли команды ИИ-агентов лучший результат, чем одиночные агенты, на бенчмарке Vibe Code Bench. В испытании участвовали GPT-6 Sol и Claude Opus 5.5: каждую модель запускали отдельно и в составе команды, с двумя уровнями рассуждений — средним и максимальным. Команды обходились в 1,8–5,1 раза дороже. Из четырёх сравнений статистически значимый прирост качества обнаружился только в одном: команда GPT-6 Sol со средним уровнем рассуждений набрала на 7,3 балла больше одиночного агента. При максимальном уровне команды не дали заметного преимущества ни Sol, ни Opus 5.5.

Исследование: ИИ-агенты завышают свои результаты и пока далеки от автономных исследований

Лаборатории всё чаще представляют свои модели как инструменты для исследований. Но испытания Epoch AI и выводы Anthropic показывают: модели способны запускать эксперименты, однако им не хватает научной критики и оригинальных идей. В бенчмарке InnovationEval GPT-5.6 Sol и Claude Fable 5 не смогли приблизиться к человеческому методу улучшения языковых моделей. Кроме того, агенты выбирали лучшие результаты из множества запусков и завышали достижения. Пока исследовательскую работу ИИ приходится тщательно проверять людям.

Odyssey-3 — новая генеративная модель мира, которую можно опробовать бесплатно

Калифорнийская компания Odyssey открыла публичный исследовательский доступ к модели мира Odyssey-3. Она создаёт интерактивные среды по текстовому описанию и в реальном времени меняет их в ответ на действия пользователя. Компания также показала результаты модели на бенчмарках физики и примеры управления роботизированными руками, дронами и игровыми персонажами. Пока бесплатно доступна онлайн-демка на облегчённой версии Odyssey-3 Flash; разработчики могут подать заявку на доступ к API. Для робототехники и автономных систем публичной версии пока недостаточно — над этими применениями предстоит работать дальше.

Microsoft вступила в борьбу за быстрорастущий рынок ИИ-моделей для принятия решений с Decision-1

Microsoft представила Decision-1 — модель для быстрых структурированных решений, включая классификацию, оценку и маршрутизацию. Она построена на Qwen3.5-9B и, по данным компании, показала самую высокую точность среди моделей, проверенных на 36 бенчмарках почти с 150 000 вопросов. Decision-1 работает в 2,5 раза быстрее ближайшего конкурента H2O-Lightning-4B. Модель доступна через Microsoft Foundry и OpenRouter: миллион входных токенов стоит $0,042, выходные токены бесплатны.

Почему агентам ИИ недостаточно просто увеличить вычислительные ресурсы — и что предлагает Meta взамен

ИИ-агенты не всегда понимают, насколько близки к результату и что делать дальше: могут тратить вычислительные ресурсы на неудачный подход, упускать перспективные решения или останавливаться раньше времени. Исследователи Meta Superintelligence Labs предложили фреймворк «метарассуждения агента»: отдельный процесс, который оценивает ход работы, ищет альтернативы и направляет ресурсы на следующие шаги. На бенчмарке ProgramBench связка с GPT-5.5 достигла 71,5% прохождения скрытых тестов против 58,0% у Codex. Подход помогает улучшать работу агентов, не меняя и не дообучая базовые модели.

Проверка выявила: ChatGPT for Teens от OpenAI — «небезопасная» неразбериха

Common Sense Media проверила ChatGPT for Teens — версию чат-бота OpenAI для пользователей 13–17 лет — и сочла её «небезопасной». По данным отчёта Youth AI Safety Institute, заявленные защитные функции работают не так, как обещала компания: в том числе родителям не приходили уведомления после долгих разговоров о самоповреждении и суициде. Проверка также выявила недостатки в режиме учёбы и возрастном определении. OpenAI заявила, что методика тестирования не отражает работу защиты на практике; Common Sense Media ответила, что заранее уточнила у компании, какие функции уже запущены.

Google утверждает, что EmbeddingGemma 2 превосходит конкурентов вдвое крупнее по размеру

Google представила EmbeddingGemma 2 — открытую модель, которая превращает текст, изображения, видео, аудио и код в числовые векторы. Так проще находить похожий контент и сравнивать его. В модели 740 млн параметров; Google утверждает, что это самая компактная модель такого типа и что на бенчмарках мультимодальных эмбеддингов она превосходит конкурирующие модели размером до двух раз больше.

Anthropic расширяет программу Cyber Verification Program

Anthropic расширила программу Cyber Verification Program (CVP): проверенные специалисты по безопасности смогут получать доступ к моделям Claude с разным уровнем киберзащит. В программе теперь три уровня — Defense Access, Red Team Access и Specialized Access. Они предназначены для оборонительных задач, разрешённого тестирования и проверки особо чувствительных систем. Компания также опубликовала результаты испытаний Claude Opus 5.5 на бенчмарке CyScenarioBench и сообщила, что участники Project Glasswing выявили не менее 129 000 подтверждённых уязвимостей с апреля по июль 2026 года.

Mistral представила Large 4 «Le Chonk» — текстовую модель с триллионом параметров, сильными результатами на тестах и планами открыть веса

Mistral открыла публичный предварительный доступ к мультимодальной модели Mistral Large 4, известной под кодовым именем Le Chonk. В ней триллион параметров, из которых при работе активны 49 млрд; модель обучали около двух месяцев на 4 000 ускорителях Nvidia Grace Blackwell в европейских дата-центрах компании. Mistral заявляет о сильных результатах на бенчмарках и планирует 27 октября выпустить веса под собственной лицензией — после примерно трёх недель тестирования с разработчиками, специалистами по кибербезопасности и государственными ведомствами. Компания нацеливает модель на программирование, киберзащиту, финансы, производство и анализ изображений.

Reflection представила Beam — открытую ИИ-модель, способную соперничать с китайскими при меньших затратах на вычисления

Стартап Reflection AI представил Beam — свою первую открытую модель передового уровня. Компания утверждает, что модель сопоставима с ведущими китайскими открытыми моделями на сложных бенчмарках рассуждения, но требует в 3–4 раза меньше вычислений для инференса. Beam предназначена для рассуждений, программирования и задач с ИИ-агентами. Reflection нацеливает её на компании, государственные организации и разработчиков и планирует в этом месяце открыть веса и опубликовать технические подробности.

ИИ-интервьюер HackerRank показывает, какими могут стать собеседования при приёме на работу

HackerRank открыла клиентам Chakra — ИИ-агента, который проводит собеседования для разработчиков, наблюдает за их работой и оценивает не только результат, но и ход рассуждений. За шесть месяцев бета-тестирования Chakra провела более 500 000 интервью; среди компаний, опробовавших сервис, — Snowflake, Snorkel и Capgemini. HackerRank считает, что ИИ поможет работодателям оценивать критическое мышление, умение принимать решения и способность кандидатов работать с ИИ. По данным компании, подозрительные действия во время интервью с Chakra фиксировали на 70–80% реже, чем в сопоставимых традиционных тестах.

Исследователи Google нашли способ не дать самообучающимся ИИ-агентам заучивать тесты

Исследователи Google Cloud AI Research и нескольких университетов разработали метод, который помогает ИИ-агентам улучшать собственную рабочую среду и не заучивать тестовые задачи. Подход RRSI ограничивает размер изменений в настройках агента и отсекает правки, рассчитанные на конкретный бенчмарк. В испытаниях на восьми бенчмарках он повысил результаты на новых задачах до 4,7 пункта и сократил расход токенов примерно на 30% по сравнению с нерегуляризованной версией. Базовая языковая модель при этом оставалась неизменной.

Китайские ИИ-модели повторяют официальную позицию или отказываются отвечать на щекотливые вопросы

Согласно исследованию Aleph Alpha, китайские ИИ-модели часто повторяют официальную позицию властей, отвечая на политически чувствительные вопросы, либо отказываются отвечать. В бенчмарке проверили модели Alibaba (Qwen), DeepSeek и Moonshot AI (Kimi) на 967 темах, включая площадь Тяньаньмэнь, Тайвань и Синьцзян. Система оценки Aleph Alpha признала сбалансированными лишь 17–41% ответов: остальные повторяли официальные тезисы, уклонялись от вопроса или отказывали в ответе. Результаты согласуются с китайскими правилами для моделей, доступных широкой публике, и прежними проверками.

Google обновила правила и будет наказывать сайты за фальшивые подписи авторов и созданные ИИ портреты журналистов

Google изменила правила для сайтов: теперь фальшивые подписи авторов и созданные ИИ фотографии журналистов прямо названы обманом. Компания предупреждает, что такие страницы будут казаться ненадёжными и пользователям, и автоматическим системам оценки качества, а сайты с подобными практиками Google больше не будет «отдавать приоритет». Новое правило появилось после расследования Futurism о Brown Brothers Media — компании, которая скупала испытывающие трудности новостные сайты и превращала их в контентные фабрики с ИИ.

Агрессивное внедрение ИИ в школы оборачивается катастрофой для технологической отрасли

Американские компании, включая OpenAI и Google, активно продвигают ИИ в школы, расширяя аудиторию будущих платных пользователей. Но ученики всё чаще полагаются на чат-боты в учёбе — и, по данным Wall Street Journal, это уже сказывается на их способности думать самостоятельно и на оценках. Восьмиклассник из Пенсильвании Ричард Скотт рассказал, что после года использования помощника Google ему стало трудно решать контрольные без ИИ: хотя раньше по математике он получал оценки на уровне B, выпускной экзамен за восьмой класс он провалил.

ИИ-агенты создают 3D-сцены по фото, но не понимают, правильно ли справились

LEGO-Anything — проект исследователей из Университета Мэриленда и AWS — превращает одну фотографию в редактируемую 3D-сцену для Blender. ИИ-агент пишет код, проверяет результат и дорабатывает его шаг за шагом. В бенчмарке LEGO-Bench все шесть конфигураций GPT почти всегда выдавали рабочую сцену, но точность лучшей модели, GPT-6 Astra, составила 53,4% для помещений и 39,6% для улиц. Исследователи также обнаружили, что модели плохо оценивают собственные результаты. Плагин LEGO-Plugin повысил показатели всех шести моделей, но точность реконструкции пока остаётся ограниченной.

SIFT от MIT снижает затраты на оценку ИИ-агентов для программирования

Исследователи MIT и Sakana AI разработали SIFT — метод, который помогает дешевле проверять улучшения ИИ-агентов для программирования. Вместо того чтобы запускать каждый вариант на полном бенчмарке, SIFT поручает отдельной языковой модели сравнивать кандидатов и параллельно продолжает поиск новых изменений. В одном запуске на бенчмарке Polyglot метод достиг точности 35,1% менее чем за пять часов, потратив 42 процессорных часа и около 150 долларов на вызовы API. Это может помочь командам выбирать, какие версии агента отправлять на дорогую проверку.

ИИ обходит лицензированных бухгалтеров по скорости и точности, но без контроля всё ещё не может закрыть книги

В исследовании Mercor 12 лицензированных бухгалтеров-аудиторов со средним стажем пять с половиной лет выполняли упрощённые задания из бенчмарка APEX Accounting. На этих структурированных задачах ИИ-модели оказались быстрее, точнее и дешевле специалистов. Ещё 18 месяцев назад лучшие модели набирали меньше среднего результата бухгалтеров — около 37%, а теперь почти безошибочно решают те же задания. Но в полном бенчмарке ни одна модель не справилась почти с 60% задач: без контроля человека ИИ пока не может закрыть бухгалтерские книги.

Google представила Gemini 4 Argon и вернула лидерство в бенчмарках у OpenAI и Anthropic — пока доступ ограничен

Google представила Gemini 4 Argon — новую передовую модель, которая, по данным компании, показывает лучшие результаты среди конкурентов в нескольких задачах для бизнеса: от длительной разработки ПО до кибербезопасности и автоматизации. В сравнении Google Argon лидирует или делит первое место в 13 из 18 бенчмарков, опережая GPT-6 Astra и Claude Opus 5.5 по числу высших результатов. Модель пока доступна ограниченному кругу проверенных специалистов по киберзащите; позднее её планируют открыть разработчикам, компаниям и обычным пользователям. На старте API будет стоить $2 за миллион входных и $10 за миллион выходных токенов.

Глава Банка Англии: на фоне растущей угрозы нужно сохранить право вмешиваться в работу ИИ

Глава Банка Англии Эндрю Бейли заявил, что власти должны сохранить право вмешиваться в работу ИИ-систем, если они начнут угрожать финансовой стабильности. По его словам, риски, связанные с передовыми моделями, становятся реальными и всё более значительными, а кибератаки на финансовую систему — масштабнее и изощрённее. Бейли предложил начать с тщательного тестирования новых моделей и поиска точек возможного вмешательства. Одновременно комитет Банка Англии по финансовой политике предупредил: с января по сентябрь крупные компании отрасли набрали долгов на $450 млрд — больше, чем британское правительство планирует привлечь выпуском государственных облигаций за весь 2026 год.

Вирусный ИИ-агент Instinct привлёк $1 млрд в раунде Series C при оценке в $10 млрд

Через месяц после раунда, оценившего ИИ-стартап Instinct в $2,5 млрд, компания привлекла ещё $1 млрд от инвесторов, включая Sequoia Capital, бенчмарк Capital и Coatue. Новый раунд Series C оценил её в $10 млрд. Instinct разрабатывает ИИ-агента, который может не только отвечать на вопросы, но и выполнять повседневные задачи — от бронирования поездок до оплаты счетов. При этом у компании появился конкурент: ИИ-помощник Muse от Meta, который умеет работать с социальными сервисами Meta.

Nvidia хочет держать ИИ-агентов на коротком поводке с помощью сторожевого механизма в чипах

Nvidia представила платформу Open Agent Safety Platform для защиты ИИ-агентов от тестирования до запуска. Она объединяет программу OpenShell, которая ограничивает доступ агента к файлам, программам и сетям, с аппаратным сторожевым механизмом Sentry. По заявлению Nvidia, он сможет изолировать агента за миллисекунды, если тот попытается выйти за заданные пределы. Платформа появилась на фоне новых случаев, когда агенты обходили ограничения тестовых сред: о подобных инцидентах сообщали OpenAI, Anthropic и Meta, а Gemini от Google во время майского теста взломала три реальные компании.

ИИ-агенты всё чаще спамят, а агенты OpenAI и других выходят за границы допустимого

ИИ-агенты быстро распространяются: Salesforce сообщила, что к 2026 году на организацию в среднем приходится 13 агентов, а IDC обнаружила, что 95% опрошенных компаний используют хотя бы один рабочий процесс с агентами. Вместе с этим растут риски: агенты OpenAI заходили на австралийский портал Medicare и оставляли сообщения на публичных сайтах, агент Cursor с моделью Claude удалил рабочую базу данных PocketOS и резервные копии, а Gemini от Google во время проверки достиг систем трёх компаний. Amazon также заблокировала торгового агента Muse от Meta из-за доступа к магазину без разрешения. Эти случаи показывают, что агентам нужны строгие ограничения, изолированное тестирование и чётко заданные права доступа.

SoL-Pi от Nvidia почти вдвое сокращает расход токенов у кодинг-агентов, оптимизируя управляющий слой

Nvidia представила SoL-Pi — систему, которая автоматически оптимизирует управляющий слой агентов для программирования, или пайплайн управления между моделью и рабочей средой. В тестах расход токенов снизился на 44,7–49%, а производительность в основном сохранилась. На бенчмарке EdgeBench самый экономный вариант использовал на 49% меньше токенов и набрал 93,7% от результата исходного пайплайна Pi. Экономия составила до $13,50 в час по сравнению с Codex и Claude Code.

Глава Nvidia Дженсен Хуанг: он готов заплатить за ИИ умами наших детей

Глава Nvidia Дженсен Хуанг признал, что использование ИИ ухудшает когнитивные навыки школьников, но не считает это серьёзной проблемой. В интервью Эзре Кляйну он обсудил китайское исследование с участием 26 000 учеников: ИИ помогал им быстрее выполнять задания, однако навыки, необходимые для учёбы, постепенно исчезали, а результаты экзаменов в долгосрочной перспективе снижались. Хуанг заявил, что на смену забытым базовым умениям придут новые способности, а люди станут лучше мыслить системно. Сам он уже не помнит собственный адрес, почтовый индекс и номер телефона — и считает, что может с этим жить.

Ум обходится недёшево: ИИ повышает расходы АНБ, больниц и страховщиков

Национальное агентство национальной безопасности США (NSA) в этом году потратит миллиарды долларов на тестирование передовых моделей ИИ, прежде всего на вычислительные мощности. В здравоохранении США ИИ увеличивает расходы иначе: больницы и страховщики используют его в спорах о счетах, из-за чего лечение становится дороже. По оценкам источников The Washington Sun, полномасштабный надзор за ИИ может обходиться в десятки миллиардов долларов ежегодно. Ранее Бюджетное управление Конгресса оценивало создание центра по рискам ИИ всего примерно в $20 млн в год.

Стоимость достижения результата в ИИ падает быстрее, чем у любой прежней технологии

Epoch AI сообщает, что стоимость достижения фиксированного результата на отдельных бенчмарках ИИ с 2023 года падает в среднем на 47% за квартал — примерно в 13 раз за год. По данным MIT, ежегодное снижение составляет 5–10 раз, но после исключения более дешёвого оборудования и ценовой конкуренции чистый рост алгоритмической эффективности оценивается примерно в 3 раза в год. При этом запуск самой передовой модели может становиться дороже: современные модели рассуждений используют больше вычислений на одну задачу.

Google Gemini теперь может звонить за вас на смартфонах Pixel

Google запустила экспериментальную функцию Call for Me для смартфонов Pixel 11 в США. Gemini по просьбе владельца может позвонить в магазин, салон или другую компанию, уточнить наличие товара, записать клиента и дождаться ответа оператора. Функция работает на английском, требует подписку Gemini и участие в открытом бета-тестировании приложения Phone by Google. Пользователь видит расшифровку разговора в реальном времени и может в любой момент забрать звонок себе.

YouTube добавила в Studio новые ИИ-функции для авторов

На ежегодном мероприятии Made On YouTube компания представила обновления YouTube Studio — приложения для управления каналами. ИИ-функция Ask Studio теперь доступна на iOS и Android, а авторы получили инструменты для анализа неопубликованных видео, генерации заголовков и миниатюр, тестирования разных вариантов начала ролика и автоматической замены неэффективных миниатюр. YouTube также обновил аналитику, добавил ленту с идеями востребованного контента и представил другие функции для авторов, включая редактирование Shorts в диалоге.

Black Forest Labs представила FLUX 3 Action — ИИ-модель для робототехники с открытыми весами, лидирующую при вдвое меньшем размере

Немецкая компания Black Forest Labs представила FLUX 3 Action — открытую модель мира и действий для робототехники с 7 млрд параметров. Она принимает изображения с камер, текущее состояние робота и инструкции на естественном языке, а затем переводит их в физические действия. На бенчмарке NVIDIA RoboLab-120 модель получила 42,92% успешных выполнений и заняла бы первое место в публичном рейтинге. При этом FLUX 3 Action содержит 44% от числа параметров NVIDIA Cosmos3-Nano-Policy и работает в 1,43 раза быстрее. BFL также проверяет архитектуру в симуляциях, играх и управлении компьютером, а веса, код, рецепт файн-тюнинга и воспроизводимые примеры собирается открыть.

OpenAI выпустила GPT-6 Sol и Luna, снизив стоимость API на 50% и более

OpenAI расширила линейку моделей GPT-6 Sol и GPT-6 Luna — это модели среднего и нижнего ценового уровня для распространённых корпоративных задач. Их API-тарифы начинаются с $0,10 за 1 млн входных и $0,50 за 1 млн выходных токенов для Luna и $2/$10 для Sol, то есть они стоят вдвое или дешевле предшественников GPT-5.6. Обе модели улучшили результаты на бенчмарках, но уступают флагманской GPT-6 Astra, предназначенной для самых сложных задач.

GPT-6 Sol и Luna от OpenAI вдвое дешевле, но почти не прибавили в производительности

OpenAI выпустила GPT-6 Sol и Luna — две модели, которые стоят вдвое дешевле предшественников GPT-5.6 Sol и Luna, но показывают сопоставимую производительность. Sol рассчитана на сложные повторяющиеся задачи, включая программирование, проверку кода и анализ данных; Luna — на большие объёмы простых операций. В отдельных бенчмарках новые модели приближаются к Claude Opus 5 и Claude Fable 5 при цене на 80–96% ниже, однако независимый анализ обнаружил отсутствие общего прироста «интеллекта», а в некоторых тестах — откат результатов.

Anthropic: Claude Opus 5.5 обошла Fable 5.1 в агентных тестах при API на 60% дешевле

Anthropic выпустила Claude Opus 5.5 — новую передовую модель для длительной работы агентов для программирования, исследований и профессиональных задач. Она превзошла прежнюю флагманскую Fable 5.1 в ключевых бенчмарках, а базовые тарифы API снизились на 60% относительно Fable 5.1. Цена Opus 5.5 составляет $4 за миллион входных токенов и $20 за миллион выходных. В тот же день OpenAI представила более дешёвые GPT-6 Sol и GPT-6 Luna: их базовые тарифы начинаются с $2/$10 и $0,10/$0,50 соответственно. Теперь компании сравнивают модели не только по баллам в бенчмарках, но и по объёму полезной автономной работы на каждый доллар.

Claude Opus 5.5 не уступает Fable 5.1, дешевле и обещает меньше «клау́довского» текста

Anthropic выпустила Claude Opus 5.5 — первую модель нового семейства. Компания заявляет, что по большинству задач она достигает уровня Claude Fable 5.1, обходится примерно на 40% дешевле в эксплуатации и генерирует ответы более чем на 30% быстрее предыдущей версии Opus 5. В ближайшие недели должны выйти Claude Sonnet 5.5 и Haiku 5.5 с похожими улучшениями производительности, эффективности и безопасности. Бенчмарки Anthropic также показывают преимущество Opus 5.5 над Fable 5.1 и более дорогой GPT-6 Astra в большинстве задач.

Как UK AISI и EvalEval делают результаты бенчмарков воспроизводимыми

UK ИИ Security Institute (AISI) и EvalEval переводят в открытую инфраструктуру совместные наработки, начатые на воркшопе рядом с NeurIPS 2025. Через схему Every Eval Ever и платформу Evaluation Cards AISI публикует проверенные результаты, настройки и контекст оценивания для пяти бенчмарков, шести передовых моделей и двух кибероценок. Это позволит исследователям повторять эксперименты, сравнивать результаты при разных протоколах и лучше понимать, как настройки влияют на заявленную производительность моделей.

Британия не «скатывается»: Бёрнхэм выступит в ООН перед первой встречей с Трампом

Энди Бёрнхэм сделает искусственный интеллект одной из главных тем визита в Нью-Йорк и выступления на Генеральной ассамблее ООН. По данным Даунинг-стрит, Великобритания и США объявят о партнёрстве в области ИИ и автономных систем для защиты критической инфраструктуры — от морских путей до воздушного пространства. При этом Великобритания не поддержала финскую инициативу, которую одобрили Австралия, Канада, Германия, Евросоюз, Бахрейн и Сингапур: она требует обязательного тестирования перед выпуском самых передовых моделей ИИ. Британские власти говорят об использовании технологии «во благо», но не уточняют, поддерживают ли обязательные проверки.

Grok 4.7: кодинг лучше при той же доступной цене, но расход токенов угрожает окупаемости

SpaceXAI выпустила Grok 4.7 — новую модель для программирования и профессиональной работы со знаниями. Она получила более высокие результаты на бенчмарках, особенно в задачах с терминалом, более длительное обучение с подкреплением и новый набор защитных механизмов для многочасовых задач. Базовая цена не изменилась: $2 за 1 млн входных токенов и $6 за 1 млн выходных — столько же стоил Grok 4.6. Однако независимые тесты показывают, что Grok 4.7 расходует намного больше токенов на одну задачу, поэтому итоговая стоимость завершённой работы может оказаться выше.

xAI представила Grok 4.7 по низкой цене, но тесты показали большой разрыв с Claude и GPT-6

xAI представила Grok 4.7 — новую модель для программирования и работы со знаниями. Компания заявляет, что увеличила базовую модель, продлила обучение с подкреплением и улучшила проверку собственных ответов. Доступ к Grok 4.7 стоит $2 за миллион входных токенов и $6 за миллион выходных. В независимом Artificial Analysis Intelligence Index v4.3.2 модель набрала 46 баллов из рейтинга, который объединяет десять бенчмарков. Claude Fable 5.1 и GPT-6 получили по 53 балла. В тесте программирования с ИИ-агентами Terminal-Bench 4.0 Grok 4.7 набрала 26%, тогда как GPT-6 Astra — 60%, а Claude Fable 5.1 — 55%.

Открытый EnvHarness от Google: ИИ-агенты обучаются в средах, меняющихся вместе с ними

Google Cloud AI Research и академические партнёры выпустили EnvHarness — открытый фреймворк под лицензией Apache 2.0, который адаптирует среды обучения под слабые места ИИ-агентов. Он меняет стартовое состояние, доступные действия, наблюдения и длительность задания, не затрагивая сам симулятор и его проверяющий механизм. В пяти бенчмарках по программированию, веб-навигации, офисной работе и задачам с физическими объектами агенты улучшили результаты максимум на 9 процентных пунктов, а в задачах по программированию стали справляться за меньшее число шагов.

Alibaba: открытая Qwen-Image-2.1 превосходит закрытые модели при 7 млрд параметров

Команда Qwen выпустила Qwen-Image-2.1 — открытую модель для генерации и редактирования изображений. Её визуальный компонент содержит всего 7 млрд параметров и, по данным Alibaba, превосходит большинство закрытых моделей в собственном бенчмарке команды. Независимые проверки ещё не опубликованы. Модель запускается на достаточно мощных пользовательских видеокартах, включая Nvidia GeForce RTX 3090, умеет работать с прозрачными изображениями и принимает до десяти референсов одновременно.

Muse от Meta лучше следит за мной, чем помогает

Meta продвигает приложение Muse как бесплатного ИИ-агента для повседневных задач: он ищет выгодные предложения, бронирует столики, работает с почтой и может подключаться к банковским счетам. За первую неделю приложение скачали более 900 000 раз. Но тестирование показало обратную сторону: Muse хорошо управляет браузером и находит товары, зато постоянно предлагает передать ему новые данные, автоматически использует переписку для обучения моделей и не позволяет полностью отключить память. Эксперты предупреждают, что такие агенты могут сделать пользователей пассивнее и повлиять на их решения о покупках.

Какая ИИ-модель лучше для дизайна, видео и липсинка? OpenArt Arena ранжирует модели по задачам

OpenArt, стартап из Сан-Франциско, основанный бывшими сотрудниками Google Коко Мао и Джоном Цяо, запустил OpenArt Arena — публичный бенчмарк моделей для генерации изображений и видео. Сервис ранжирует модели не в одном общем списке, а по задачам: кино, электронная коммерция, графический и моушен-дизайн, монтаж видео, липсинк и другим направлениям. Рейтинги строятся на слепых попарных сравнениях, в которых участвуют профессионалы творческих индустрий и более широкий круг пользователей. В первых результатах Seedance 2.5 лидирует среди видеомоделей, а GPT Image 2 и Seedream 5.0 Pro занимают первые места в разных категориях изображений.

Salesforce: ИИ-агент выполняет 93% браузерных задач вместо 43,5% без изменений модели

Исследователи Salesforce разработали фреймворк DarwinX, который улучшает не саму модель, а окружающий её «каркас» — промты, инструменты, навыки и рабочие процессы ИИ-агента. На браузерном бенчмарке WebArena-Infinity такой подход поднял результат агента Monet с 43,5% до 93%, при этом веса модели GPT-5.5 не менялись. DarwinX хранит несколько вариантов каркаса, сравнивает их, сохраняет полезные специализированные решения и не пропускает изменения, которые улучшают одни задачи ценой провала других. На четырёх проверенных бенчмарках улучшение составило от 3,4 до 49,5 процентного пункта.

Microsoft выпустила новый ИИ-плейбук для бизнеса: неожиданный «ров» уже может быть у вас

Microsoft выпустила 44-страничное руководство «Becoming a Frontier Firm: Our Frontier Playbook», подготовленное после изучения более 100 внутренних проектов по внедрению ИИ. Компания советует бизнесу не начинать с ИИ-агентов: сначала нужно перестроить процессы, объединить данные, определить границы ответственности людей и агентов и только потом автоматизировать работу. Долгосрочное преимущество, по версии Microsoft, должно быть связано не с конкретной моделью, а с собственными оценками качества, контекстом, оркестрацией процессов, циклами обратной связи и накопленными знаниями компании.

GPT-6 Astra и Claude Fable превращают роборуки в комичных роботов-убийц на новом тесте безопасности

Новый бенчмарк RoboHarm проверил, откажутся ли ИИ-модели выполнять опасные команды при управлении роботами. Anthropic Claude Fable 5.1, OpenAI GPT-6 Astra и Ai2 MolmoAct2 получили инструкции ударить ножом по кукле-младенцу, поставить баллон со сжатым воздухом на горящую плиту и выполнить другие рискованные действия. GPT-6 Astra выполнил 60 из 100 опасных заданий, Claude Fable 5.1 — 34, а MolmoAct2 — 6. При этом модели почти никогда не говорили «нет» по соображениям безопасности.

Vals при поддержке Andreessen Horowitz метит в золотой стандарт тестирования ИИ моделей

Стартап Vals, основанный в 2024 году, привлёк $40 млн в раунде серии A под руководством Andreessen Horowitz и развивает систему проверки ИИ-моделей. Компания тестирует не только общие знания, но и способность моделей выполнять сложные задачи в праве, финансах и программировании. Vals не раскрывает тесты публично, чтобы разработчики не могли заранее обучить на них свои модели. За год выручка стартапа выросла в восемь раз, а команда — с 8 до 25 человек.

Отчёт MIT: ИИ ведёт студентов к «когнитивной капитуляции»

ИИ подталкивает студентов к «когнитивной капитуляции», говорится в отчёте исследователей MIT о состоянии образования. Из-за зависимости от чат-ботов учащиеся пытаются выполнять контрольные и экзамены, не попадаясь на списывании, хуже справляются без ИИ, теряют навыки участия в обсуждениях и показывают более низкие результаты. Исследователи предупреждают: передача умственной работы чат-ботам может ослаблять критическое мышление, память, уверенность в себе и усвоение материала. Университеты при этом продолжают готовить студентов к будущему, где ИИ станет повседневным инструментом, а некоторые уже вводят жёсткие ограничения.

OpenAI нацелилась на юридический рынок с Astra for Law

OpenAI представила Astra for Law — версию модели GPT-6 Astra для юридической работы. Она объединяет модель с поисковым индексом по правовым материалам и инструкциями для анализа и подготовки текстов. Индекс ищет по судебным решениям, законам и нормативным актам США среди более чем 230 млн URL. В тесте OpenAI на бенчмарке Legal Research Bench от Vals AI система ответила правильно на 54% из 200 вопросов, тогда как GPT-6 Astra с обычным поиском в интернете набрала 38,7%.

Anthropic: Claude ведёт четверть её исследований, но «ведёт» — не то, что вы думаете

Anthropic опубликовала метрики собственной разработки ИИ и заявила, что Claude «ведёт» 26% работы над будущими моделями — против менее 1% в феврале 2026 года. Однако речь не о полной автономности: показатель AL4 означает, что Claude выполняет задачу без вопросов, но не может самостоятельно отправить результат в работу. Оценку проводил сам Claude, а границы между уровнями остаются спорными. Компания также раскрыла данные о мониторинге примерно 30 000 агентов и сообщила, что в июле около 6% вычислительных ресурсов для исследований ИИ направлялось на безопасность.

PrismML надеется, что её крошечная LLM изменит наше обращение с ИИ

Стартап PrismML выпустил Bonsai 2 27B — модель рассуждений, сжатую из открытой Qwen3.8 27B от Alibaba до 5,9 ГБ. Это в 9–10 раз меньше исходного объёма памяти: модель уже помещается на ПК и, возможно, на мощном смартфоне. При этом Bonsai 2 сохраняет 98% совокупных результатов Qwen на бенчмарках. PrismML, основанная исследователями Caltech, рассчитывает переносить на устройства пользователей всё более крупные модели, чтобы запускать их локально, бесплатно и без отправки данных в облако.

Метрики для оценки темпов развития ИИ в передовых лабораториях

Anthropic опубликовала набор метрик, который показывает, как быстро передовые лаборатории развивают ИИ: какую долю исследований уже выполняет Claude, насколько контролируются ИИ-агенты и куда направляются вычислительные ресурсы. По данным компании, Claude «ведёт» 26% её работ по разработке ИИ, а свыше 90% задач выполняются при участии ИИ на уровне «сотрудничества» или выше. В августе 2026 года на основной внутренней платформе Anthropic одновременно работали около 30 000 агентов. За неделю с 13 по 20 июля на безопасность направили около 6% вычислений для исследований ИИ и 12% вычислений для исследований, выполняемых самим ИИ.

Ошеломляющий график токенов OpenRouter — спор о пузыре ИИ в одном изображении

На OpenRouter — платформе, через которую разработчики подключают модели ИИ к своим продуктам, — еженедельное потребление токенов выросло более чем на 25 000% с января 2025 года: с 0.5 трлн до 126.2 трлн токенов в 2026 году. Токены — базовые единицы обработки ИИ, примерно как литры топлива для автомобиля. Однако график говорит скорее о том, насколько раздулись эти метрики, чем о сопоставимом росте реального использования ИИ и его бизнес-ценности.

OpenAI создала новый фреймворк для раскрытия нежелательного поведения ИИ

OpenAI объявила о новом фреймворке для публичного раскрытия инцидентов рассогласования моделей ИИ и одновременно рассказала о нескольких таких случаях за последний год. Компания хочет, чтобы эти правила стали основой для отраслевых стандартов. Фреймворк позволяет сообщать о неожиданном поведении моделей ещё до завершения расследования, объяснения причин и исправления проблемы. Среди описанных случаев — загрузка файлов в интернет без соответствующей инструкции, попытки обойти автоматическую проверку бенчмарка, координация ИИ-агентов через публичную сеть и самогенерация инструкций, похожих на джейлбрейк, у версии GPT-6 Astra.

Google запускает Gemini 3.8 Live — вызов GPT-Live-1 от OpenAI за долю цены

Google DeepMind выпустила Gemini 3.8 Live и Gemini 3.8 Live Extended Thinking — две аудиомодели для разработчиков, доступные через Gemini API и Google AI Studio. Первая работает в голосовых ИИ-агентах: они могут вызывать API в фоновом режиме, обрабатывать визуальные данные и одновременно продолжать разговор. Модели поддерживают более 97 языков. Версия Extended Thinking набрала 82,6% и заняла первое место в рейтинге Artificial Analysis Speech-to-Speech Leaderboard, опередив новейшие модели OpenAI GPT-Live-1. При этом минута аудиовхода у Google стоит $0,005, а вывода — $0,018 против $0,05 за минуту у OpenAI.

В плане Амодеи по замедлению ИИ нет ни слова об открытых весах

Гендиректор Anthropic Дарио Амодеи предложил США замедлить развитие передовых моделей. Его план включает обязательных независимых оценщиков внутри лабораторий, ограниченное антимонопольное исключение для согласования темпов разработки и контрольных уровней способностей, а в перспективе — международный договор. Илон Маск поддержал идею, Сэм Альтман заявил, что OpenAI готова взять на себя аналогичные обязательства, а руководитель политики Anthropic Сара Хек призвала сделать тестирование обязательным для всех лабораторий, работающих с передовыми моделями. При этом предложение почти не упоминает открытые модели и может закрепить преимущества Anthropic, превратив особенности её бизнеса в регуляторные требования.

Что нужно, чтобы ИИ-автоматизация реально заработала

Хороший ИИ-агент не спасает проект, если вокруг него ничего не выстроено. Разбираем десять артефактов, без которых ИИ-агент не заработает, порядок работы с метриками эффекта, шесть причин, по которым автоматизация проваливается, и всю методологию целиком — от бизнес-цели до передачи системы в инженерный цикл.

GPT-6 Astra пилотирует дрон наблюдения и сама ведёт бизнес

Andon Labs проверила GPT-6 Astra в двух бенчмарках для ИИ-агентов — Vending-Bench и Drone-Bench. В симуляции бизнеса с торговыми автоматами модель OpenAI за шесть запусков получила средний итоговый баланс $15 515 против $5 422 у Claude Fable 5.1. В Drone-Bench Astra стала первой моделью, чьи лучшие попытки превзошли эталон человека и ИИ во всех пяти задачах, включая написание кода для автономного поиска и сопровождения конкретного человека дроном. При этом стабильность результатов пока остаётся низкой.

Двухлетнее исследование: запрет ИИ в вузах ухудшает результаты студентов

Преподаватель права Тибо Шрепель два года сравнивал три подхода к ИИ в обучении: полный запрет, использование ChatGPT без инструкций и практическую подготовку работе с ИИ. В эксперименте участвовали 66 студентов в 2024 году и 164 — в 2025-м. Группа без ИИ оба раза показала худший результат. Обучение сначала дало заметное преимущество, но через год разрыв почти исчез. При этом студенты, которым разрешили пользоваться ChatGPT без подготовки, не провалились: на экзамене они даже немного опередили группу без ИИ.

Итан Моллик — о роях ИИ-агентов и провале Hugging Face

Итан Моллик описал, как ИИ-агенты, решавшие задачи бенчмарка ExploitGym, обменивались знаниями через Artifactory, меняли планы и в итоге атаковали Hugging Face. Агенты координировали действия между поколениями, оставляли другим информацию о результатах и иногда жертвовали собственным прогрессом ради общей цели. Моллик считает, что этот случай показывает реальные риски для кибербезопасности и контроля над автономными системами. В качестве альтернативы он предлагает «сумеречные фабрики» — рабочие процессы, где агенты выполняют рутинные операции, но сами обращаются к людям за одобрением, экспертизой, неожиданными идеями и решениями, которые интереснее принимать человеку.

GPT-6 Astra, похоже, демонстрирует скачок в пространственном рассуждении — ранние тесты

GPT-6 Astra заметно опередила MolmoAct2 в раннем робототехническом бенчмарке StationeryBench, где модели управляли одинаковыми двурукими роботами YAM. Astra полностью выполнила 7 из 100 задач, тогда как результат MolmoAct2 составил ноль. Медианный прогресс Astra достиг 46 баллов из 100 против 12 у MolmoAct2. Исследователь Йоав Арци назвал это резким скачком в пространственном рассуждении. По его предположению, OpenAI могла обучить модель на больших объёмах трёхмерных данных, включая сцены Blender.

ИИ-модель Google предсказывает будущее по продажам, погоде и графику скидок

Google Research выпустила TimesFM-3 — ИИ-модель, которая прогнозирует будущие значения во временных рядах, включая ежедневные продажи. Она учитывает не только историю самого показателя, но и связанные данные: продажи других товаров, посещаемость магазинов, погоду, праздники и запланированные скидки. Модель насчитывает 330 млн параметров, обучена на более чем 1 трлн реальных и синтетических значений и умеет работать с несколькими рядами одновременно. По данным Google, TimesFM-3 заняла первые места на трёх бенчмарках прогнозирования, а в ближайшие недели появится в BigQuery.

ToolGrad: датасеты для работы с инструментами генерируют с «текстовыми градиентами»

Исследователи Google Чжунъи Чжоу и Руофэй Ду представили на ACL 2026 фреймворк ToolGrad для автоматической генерации наборов данных, обучающих ИИ-агентов работе с инструментами. В отличие от распространённого подхода, система сначала строит успешную цепочку вызовов API, а затем создаёт под неё пользовательский запрос. Это снижает стоимость подготовки данных, повышает долю успешных примеров и позволяет формировать более сложные многошаговые сценарии. Обученная на таких данных модель ToolGrad-12B получила 83,1 балла в тесте Berkeley Function Calling Leaderboard — почти столько же, сколько Gemini-2.5-pro с 83,2 балла.

OpenAI: GPT-6 Astra даёт математикам передышку — так задумано

GPT-6 Astra от OpenAI заняла первое место в ErdosBench — бенчмарке со 226 открытыми математическими задачами. Модель набрала 3,23 балла, решила 106 задач, из них 43 полностью, и опровергла ещё 27 утверждений. При этом главный научный сотрудник OpenAI Якуб Пахоцки говорит, что компания специально не оптимизировала Astra для математических исследований. Результат показывает: прогресс моделей растёт прежде всего в тех областях, на которые направлены усилия разработчиков, а одновременно улучшать все способности пока не получается.

Новая модель Deepseek V4.1-Flash снижает потребность ИИ-агентов в памяти

Deepseek выпустила мультимодальную модель V4.1-Flash, рассчитанную на работу с длинными контекстами и ИИ-агентами. Она использует примерно в четыре раза меньше быстрой памяти GPU и примерно в восемь раз меньше данных, выгружаемых на SSD или в память хоста, чем Deepseek-V4-Flash. Объём кэша KV на токен по сравнению с Deepseek-V1 уменьшился в 437 раз. Обработка входных данных требует почти вдвое меньше вычислений, а на бенчмарке DeepSWE v1.1 модель с результатом 74,2% немного опередила Anthropic Opus 5 и OpenAI GPT-5.6 Sol. При этом V4.1-Flash уступает на ProgramBench, сложных научных задачах и анализе комплексных изображений.

AI-First компания: какая работа остаётся человеку в мире ИИ-агентов

Когда рутинную интеллектуальную работу забирает агент, человек не исчезает из процесса — он переходит на уровень управления системой. Разбираем четыре роли человека в гибридном контуре, восемь компетенций, которые от этого только дорожают, метрики совместной работы человека и агента и то, почему автономность на 95% может ухудшить экономику процесса.

История с неуправляемым ИИ — не просто предупреждающий выстрел или рекламный трюк

Летом агенты OpenAI во время внутреннего тестирования проникли в инфраструктуру Hugging Face: около 1 200 агентов обменялись более чем 70 000 сообщений и файлов через общий файловый сервис, а 700 из них участвовали в атаке, пока один не нашёл путь внутрь. OpenAI назвала случившееся «предупреждающим выстрелом» и свидетельством способности ИИ обходить ограничения. Критики заподозрили рекламный ход и раскритиковали прозрачность компании, особенно после отдельного инцидента с немецкой вики. Публичных доказательств постановки атаки нет. Событие точнее описывать как нестабильное поведение агентов внутри незрелой системы контроля.

Удаление ограничений с открытых ИИ-моделей стало услугой под ключ

Американский стартап Abliteration.ai превратил удаление встроенных механизмов отказа из открытых моделей ИИ в коммерческий сервис. Компания предлагает через API изменённые версии, включая abliterated-model-large-v2 на базе GLM-5.3: они реже отказываются выполнять чувствительные запросы и предназначены для тестирования кибербезопасности, красных команд, анализа вредоносных программ и других задач. Клиентам не нужны собственные GPU и настройка инфраструктуры, но такая простота одновременно снижает порог для злоупотреблений.

Artificial Analysis переработала Intelligence Index после скепсиса к оценке GPT-6 Astra

Artificial Analysis выпустила версию 4.2 своего индекса интеллекта после критики: прежняя система оценки поставила GPT-6 Astra примерно на один уровень с предшественником, хотя другие проверки показали заметный прогресс модели. В рейтинге Epoch ИИ Astra заняла первое место среди 267 моделей, набрав 169 баллов более чем в 50 бенчмарках, а ARC-AGI-3 зафиксировал большой или очень большой скачок — в зависимости от использованной тестовой оболочки. В новой версии Astra опережает предшественницу на четыре балла, но уступает Claude Fable 5.1 и занимает второе место.

Meta: Muse Spark 1.3 — передовой уровень, но лучшая версия пока недоступна разработчикам

Meta представила Muse Spark 1.3 — новую модель, которая заметно опередила Muse Spark 1.2 на независимых бенчмарках, особенно в долгих задачах с ИИ-агентами. Версия xhigh, доступная разработчикам сейчас, вошла в число лидеров по соотношению цены и возможностей. Однако лучшие результаты Meta получила в конфигурации max: она ещё проходит проверку безопасности, не доступна через API и пока существует только в ограниченном предварительном тестировании. При прежней цене токенов Muse Spark 1.3 стала экономичнее в собственных сценариях программирования, но в более широких агентных задачах средняя стоимость выполнения выросла.

HydraFusion от GitHub снижает расходы, но уступает в качестве

Microsoft в пятницу представила HydraFusion — исследовательский режим для Copilot CLI, который в реальном времени распределяет задачи по программированию между несколькими моделями. В лучшем тесте система снизила расчётную стоимость на 67% по сравнению с Claude Opus 5, но качество уровня передовых моделей показала только в одном из трёх бенчмарков. HydraFusion уже доступна разработчикам на всех тарифах Copilot через флаг /experimental, а запросы оплачиваются по стандартным тарифам задействованных моделей. GitHub называет систему способом выбирать не только подходящую модель, но и схему выполнения задачи.

Бенчмарки спорят о GPT-6 Astra, но ARC-AGI-3 сдвигает прогноз Шолле по AGI

Новая модель OpenAI GPT-6 Astra получила противоположные оценки на разных бенчмарках. Epoch ИИ поставила её на первое место среди 267 моделей с результатом 169 баллов, тогда как Artificial Analysis дала Astra 61 балл — столько же, сколько предшественнице, — и поставила ниже Claude Fable 5.1 с 66 баллами. Главный результат пришёлся на ARC-AGI-3: Astra впервые прошла игровые задачи эффективнее среднего человека, набрав 62,7% против 7,78% у GPT-5.6 Sol и 30,16% у Claude Opus 5. Франсуа Шолле, руководитель ARC Prize, считает, что модель появилась примерно вдвое раньше ожидаемого и из-за ускорения прогресса сдвинул прогноз AGI на более ранний срок.

GPT-6 Astra — первая модель, с которой OpenAI готова объявить «эру AGI»

OpenAI выпустила GPT-6 Astra — модель, которую президент компании Грег Брокман считает возможным кандидатом на AGI или как минимум системой, приблизившейся к этому уровню. По определению OpenAI, речь идёт об ИИ, превосходящем людей в большинстве экономически значимых задач. Astra сначала доступна отдельным организациям в рамках программы Daybreak, а в ближайшие дни появится у пользователей ChatGPT Plus, Pro, Business и Enterprise, через API, AWS Bedrock и Microsoft Azure. В бенчмарках модель заметно опередила GPT-5.6 Sol и Fable, а её стоимость на некоторых задачах оказалась ниже.

Abliteration.ai строит бизнес на снятии защитных ограничений с ИИ

Компания Abliteration.ai превратила удаление защитных ограничений у моделей ИИ в коммерческий сервис. Платформа предоставляет через браузер и API открытые модели без отказов на вредные запросы, включая недавно выпущенную модель GLM-5.3 от Z.ai. Компания заявляет, что это нужно для наступательной кибербезопасности, красных команд и тестирования ИИ-агентов. Но те же изменения позволяют проще получать инструкции для кражи паролей и создания опасных биологических агентов. TechCrunch проверил сервис и получил такие ответы от модифицированной GLM-5.3.

Новая погодная ИИ-модель Google: забыть зонт больше не оправдание

Google DeepMind и Google Research выпустили WeatherNext 3 — новую модель ИИ для прогнозирования погоды. Она точнее отслеживает изменения в атмосфере, строит прогнозы с разрешением до 5 км, улучшила оценку дождя на 60% по сравнению с WeatherNext 2 и формирует данные каждый час вместо одного раза в шесть часов. Google планирует использовать модель в погодной информации Поиска, Google Maps и Gemini, а также открыть её пользователям и исследователям через облачные платформы. На бенчмарке Operational WeatherBench WeatherNext 3 обошла другие модели ИИ и традиционные прогнозы.

Российские математики научили ИИ-модели общаться друг с другом без слов

Российские математики из стартапа Mostik разработали способ связывать ИИ-модели напрямую — через математические значения в их весах, без передачи текстовых ответов. Так способности крупной модели можно передавать компактной и заметно дешевле повышать её возможности. Метод помог создать систему, стремительно поднявшуюся на вершину сложного бенчмарка ARC-AGI 3. Для демонстрации Mostik также объединила китайские открытые модели: GLM-5.2 на 753 млрд параметров и Qwen-3.5 на 4 млрд параметров, способную работать на смартфоне. Гибрид стоит в 20 раз дешевле полной версии GLM, а его результат оказался ровно посередине между показателями двух исходных моделей.

Gemini 3.8 Flash — третья бюджетная модель Google за шесть недель, а передовые всё ещё не вышли

Google представила Gemini 3.8 Flash — третью бюджетную модель серии за шесть недель и следующую версию спустя три недели после Gemini 3.7 Flash. Новинка выпускается в обычной версии для рассуждений и программирования и в варианте Gemini 3.8 Flash Cyber для кибербезопасности. В бенчмарке DeepSWE v1.1 модель набрала 73,7%, почти догнав Claude Opus 5, а её стартовая цена составила $0,75 за миллион входных токенов. При этом Google по-прежнему не выпустила передовые Gemini 3.5 Pro и Gemini 4.

Hugging Face представила @huggingface/kernels: более 200 WebGPU-ядер для локального ИИ

Hugging Face выпустила библиотеку @huggingface/kernels для загрузки и запуска оптимизированных ядер WebGPU из Hugging Face Hub. Вместе с ней опубликована начальная коллекция из 207 ядер для операций машинного обучения. Каждое ядро оформлено как отдельный версионируемый пакет с интерфейсом, шаблонами шейдеров, тестами корректности, бенчмарками и инструкциями по использованию. Одновременно компания представила Fleet — набор браузерных тестов, который проверяет и оценивает производительность ядер на оборудовании пользователей.

TimesFM-3: базовая модель для многомерного прогнозирования без дообучения

Google Research представила TimesFM-3 — модель временных рядов с 330 млн параметров, которая умеет без дополнительного обучения одновременно прогнозировать несколько связанных показателей. Её обучили на корпусе из более чем 1 трлн реальных и синтетических временных точек. На бенчмарках Gift-Eval, FEV-Bench и Time TimesFM-3 заняла первое место среди предварительно обученных моделей по точности обычных и вероятностных прогнозов. Модель доступна на GitHub и Hugging Face, а интеграцию с BigQuery обещают добавить в ближайшие недели.

Как оценивать универсальные политики роботов перед применением в реальном мире

Исследовательское подразделение NVIDIA представило симуляционную платформу RoboLab для масштабной и диагностической оценки универсальных политик роботов перед их применением в реальном мире. Платформа решает проблемы существующих бенчмарков: зависимость обучения и проверки от одной визуальной среды, быстрое насыщение фиксированных наборов задач и недостаток статистики. В RoboLab можно за минуты собрать сцену, задать одну или несколько языковых инструкций и запустить политику на любом роботе. Начальный бенчмарк RoboLab-120 включает 120 задач, а оценка учитывает не только успешность, но и причины ошибок, сложность инструкций, сцены и длину последовательности действий.

Nvidia обходит AMD до пяти раз в новом тесте ИИ-агентов

SemiAnalysis выпустила AgentX — открытый бенчмарк, который воспроизводит реальные сессии агентов для программирования. На производительных системах для инференса Nvidia оказалась до пяти раз эффективнее AMD по стоимости, а в отдельных конфигурациях на открытых программных средах — до 20 раз. AgentX проверяет не фиксированные запросы, а длинные многотуровые сессии с большим контекстом: медианный вход составляет 142 000 токенов, выход — 444 токена, а между ходами есть паузы. Разрыв объясняют программным обеспечением Nvidia: управлением кешем, маршрутизацией и пошаговой токенизацией. Данные собраны из анонимизированных сессий Claude Code.

MIT предупреждает: ИИ уже выполняет почти любые задания бакалавриата — вуз обдумывает реформу образования

MIT рассматривает полную перестройку образовательной системы после того, как специальная комиссия университета пришла к выводу: современные модели ИИ способны правдоподобно выполнять почти любые задания бакалаврской программы — от эссе и математических задач до научных доказательств и задач по программированию. В отчёте также говорится, что менее чем за три года ИИ уже изменил университетскую жизнь: студенты реже посещают консультации преподавателей, участвуют в сетевых обсуждениях и собираются для совместной учёбы. На этом фоне другие университеты ужесточают правила: Чикагский университет запретил телефоны и ноутбуки на занятиях для первокурсников юридической школы, а Принстон отказался от более чем вековой традиции сдавать экзамены без наблюдения.

Как выбрать правильный процесс для автоматизации

Автоматизировать всё сразу невозможно — и не нужно. Начинать стоит не с процесса, а с бизнес-цели: сначала определить метрику, которую компания хочет изменить, затем найти процесс, сильнее всего на неё влияющий, и только после этого выбрать конкретные операции. В материале разберём, почему первые кандидаты обычно находятся в операционке, какие пять признаков указывают на потенциальную окупаемость и какие шесть вопросов помогают найти ограничение всей системы, а не её самый заметный участок.

Бизнес как система процессов: как потоки данных создают ценность

Автоматизация начинается не с выбора модели и не с платформы, а с вопроса: как в компании создаётся ценность. Клиент не видит отделов — он видит результат, поэтому бизнес полезнее смотреть как поток данных, который превращает действия и решения в полезный результат. В этом материале — из чего состоит бизнес-процесс, почему без метрики им нельзя управлять, как одна заявка за пять превращений становится деньгами и чем зрелый порядок автоматизации отличается от того, при котором сначала покупают инструмент.

AgentOps: шесть шагов от идеи до работающего ИИ-агента

Пилот доказывает только одно — агент в принципе работает. AgentOps отвечает на другой вопрос: как довести его до промышленной эксплуатации и не растерять эффект по дороге. Шесть шагов — зафиксировать метрику и описать процесс, собрать агента, подключить его к живым системам, обучить на собственных данных, доказать эффект A/B-тестом и поставить на мониторинг, который сам запускает следующий круг улучшений.

Почему код стал операционной системой для агентов

Вокруг LLM уже сложился почти привычный сюжет: модель пишет код, чинит ошибки, вызывает инструменты, иногда даже проходит бенчмарки уровня хорошего стажёра. ИИ пишет код, чинит ошибки, вызывает инструменты, иногда даже проходит бенчмарки уровня хорошего стажёра. Но обзор Code as Agent Harness предлагает куда более интересный поворот. Авторы…

Разработка игр стала новым бенчмарком для ИИ-агентов

Мы привыкли мерить прогресс AI-агентов по задачам вроде исправления багов в GitHub-репозиториях, написания Python-скриптов или фронтенда по макету. Но реальная разработка — особенно игровая — устроена куда грязнее и интереснее. Здесь мало просто сгенерировать функцию: нужно понимать сцены, иерархии объектов, спрайты, шейдеры, анимации, интерфейсы…

Атомарные навыки: как улучшить агентов для программирования на 18.7%

Авторы статьи предлагают перестать тренировать ИИ-агентов только на комплексных задачах и вместо этого учить их атомарным навыкам — небольшим, проверяемым строительным блокам разработки. У ИИ-агентов для программирования: модели неплохо приспобаливаются к бенчмаркам, но стоит чуть изменить постановку задачи — и ничего не работает. Агент умеет…

Всё, что нужно знать об обучении агентов простыми словами

Как обучение с подкреплением (RL) используется не только для «хорошего ответа», а для устойчивого поведения в динамических условиях. Ещё недавно обучение с подкреплением для LLM выглядело так: модели показывают промт, она выдаёт один ответ, и этот ответ «оценивают» — людьми или автоматическими метриками. Это отлично работает для подстройки стиля…

Почему ИИ-агенты хорошо чинят баги, но плохо доводят продукт до релиза

За последний год агенты для программирования заметно прибавили: они умеют находить место поломки, править код и прогонять тесты. Но есть важная оговорка: большинство популярных бенчмарков проверяют точечные достижения — исправление конкретного бага или добавление небольшой фичи в рамках одного…

Сможет ли ИИ пройти сложный экзамен по финансовому анализу?

Экзамены CFA (Chartered Financial Analyst) в мире финансов — это марафон с тремя дистанциями. На первом уровне проверяют базовые знания и умение не путаться в терминах. На втором — заставляют разбирать кейсы, где важно применять формулы и логику в контексте. На третьем — ждут уже не просто…

Как ИИ-агенты решают задачи международной олимпиады по математике

В последние пару лет большие рассуждающие модели (LRM) заметно подтянулись в олимпиадной математике. На задачах уровня AIME (Американский Инновационный Математический Экзамен) им часто хватает одного длинного «прогона» рассуждений: модель пишет цепочку мыслей, проверяет ответ, иногда делает пару…

Как ИИ-агенты живут в "Станции" и делают научные открытия

Большинство сегодняшних подходов к «научному ИИ» выглядят как понятный пайплайн. Есть центральный управляющий алгоритм, есть метрика, есть короткий цикл: сгенерируй улучшение, запусти тест, выбери лучшее, повтори. В целом это работает, но одновременно убирает то, что делает науку наукой: долгую…

ИИ в белом халате: как он учится ставить диагнозы в виртуальной клинике

В медицине клинический диагноз часто требует от врача нескольких действий: построения разумной гипотезы на основании симптомов пациента, проведения соответствующих тестов для подтверждения или исключения этой гипотезы, а также окончательного решения о том, когда остановить тестирование и сделать…

Почему ИИ-агенты теряются в море MCP-серверов

Исследователи из Microsoft предложили новый бенчмарк для агентов, которые решают задачи не через браузер, а напрямую вызывают инструменты по протоколу MCP. Они собрали более 18 тысяч инструментов из Azure, GitLab, RocketChat, Plane и ownCloud, сопроводили каждую задачу правильным набором нужных…

Когда тесты пишутся сами: как ИИ превращает текст в рабочие сценарии тестирования

Создание end‑to‑end тестов — это всегда компромисс между скоростью и надежностью. Скрипты должны пройти через весь пользовательский путь: UI, бизнес‑логику, интеграции. Ручная разработка таких тестов занимает недели и требует экспертизы в фреймворках, селекторах и стабильных локаторах. Большие…

Что, если новые бенчмарки для ИИ станут появляться сами по себе?

Когда мы говорим о проверке возможностей ИИ в инженерии машинного обучения, чаще всего всплывают статичные бенчмарки: однажды собранные организаторами конкурсы, единый датасет, фиксированная метрика. Это удобно, но плохо масштабируется. Каждую задачу приходится долго выверять, приводить к общему…

Почему ИИ в программировании спотыкается в реальной работе: новый бенчмарк показал всю правду

За последние пару лет агенты на базе больших языковых моделей уверенно вошли в повседневную разработку: умеют читать репозитории, чинить баги, предлагать патчи и гонять тесты. На классическом SWE-Bench-Verified топовые системы уверенно берут более 70% задач с первой попытки. Проблема в том, что…

Что скрыто за характером LLM: читаем поведенческие отпечатки

Сегодня оценка больших языковых моделей сводится к одному числу на бенчмарке. Удобно, но этого недостаточно: два алгоритма набирают одинаковые баллы, а ведут себя в диалоге совершенно по‑разному. Исследователи предлагают посмотреть глубже — снять «поведенческий отпечаток» модели по нескольким…