OpenAI: GPT-6 заметно лучше справляется со старыми языками программирования, такими как COBOL и Fortran

OpenAI разработала два теста, чтобы измерить прогресс моделей.

Проверка на 20 языках

MultiLangBench предлагает моделям с нуля создать совместимый с SQLite движок базы данных. При максимальном уровне рассуждений GPT-6 Astra в среднем проходит 87,4% тестов на 20 языках. Для GPT-5.6 Terra показатель составляет около 38%.

Средний процент успешного прохождения тестов MultiLangBench на 20 языках программирования. GPT-6 Astra и GPT-6.1 Sol показывают результат около 87 процентов, тогда как более старые модели, такие как GPT-5.6 Terra, достигают максимум около 38 процентов

Источник: the-decoder.com

GPT-6 Luna набрала 40,3% — немного выше результата GPT-5.6 Terra, равного 37,9%, но при значительно меньшей стоимости.

Перенос кода с COBOL

В бенчмарке миграции COBOL нужно перевести на C++, Java, Kotlin, Python или Rust. GPT-6.1 Sol показала точность 86,6% при низком уровне рассуждений. Для GPT-5.6 Sol результат составил 5,4%. При повышении уровня рассуждений точность GPT-6.1 Sol вырастает до 97,9%.