ИИ пишет код, в котором не могут разобраться даже люди

Исследователи предупреждают, что широкое применение ИИ может ухудшать когнитивные способности и ослаблять профессиональные навыки, в том числе у специалистов по информатике. Разработчики опасаются, что инженеры всё реже пишут код сами и меньше учатся проектировать большие проекты, пока работодатели продолжают наращивать автоматизацию с помощью ИИ.

Проблема заметна даже в лабораториях передового ИИ. Ранее в этом году Джордан Нанос, технический сотрудник независимой исследовательской компании SemiAnalysis, рассказал в интервью, что инженеры OpenAI не понимали код собственного ядра для графических процессоров. Эта программа лежит в основе работы компании над более эффективным использованием доступного оборудования для обучения и запуска моделей ИИ.

По словам Наноса, инженеры, вместе с которыми он просматривал код, хорошо разбирались в оборудовании и принципах работы системы, но не понимали, что делает ядро MLA, созданное для DeepSeek. В интервью Мансура Карама для Fireside Alpha Нанос добавил, что при разборе кода строка за строкой инженеры не могли объяснить его работу. ИИ понимал и тестировал код, а результатом становились корректные и производительные ядра.

Тогда Нанос объяснял, что человеку необязательно глубоко рассуждать о самом коде: ИИ умеет управлять перемещением данных и вычислительными элементами предоставленного ему оборудования.

Один из рисков — ошибки и галлюцинации могут остаться незамеченными, если человеческий контроль ослабеет. Ранее в этом году после серии сбоев, нарушивших обработку заказов, Amazon пришлось запустить 90-дневную «перезагрузку безопасности кода». Компания оспаривала утверждения, что в сбоях виноват ИИ, однако из заметок внутренних совещаний следует, что руководители беспокоились о «большом радиусе поражения» изменений, созданных с помощью генеративного ИИ.

Согласно недавнему анализу компании Undo, переход к ИИ-агентам ускоряет распространение такого кода. По данным компании, 35% кода, созданного ИИ, команды разработчиков отправляют в рабочую среду, не разобравшись в нём полностью.

94% опрошенных инженеров видели такой случай хотя бы раз за последние шесть месяцев, а 29% сталкивались с потерей продуктивности из-за необходимости разбирать код, созданный ИИ, несколько раз в месяц.

Большую часть рабочего дня инженеры теперь могут тратить на проверку кода, созданного ИИ. Это поднимает вопрос, оправдывают ли результаты затраты времени.

Для Наноса это не обязательно признак некомпетентности. Исследователь ИИ Сергей Клефцов в недавнем посте на Medium назвал происходящее изменением парадигмы разработки программного обеспечения. По его мнению, ИИ продвинулся настолько, что разработчикам больше не нужно беспокоиться о многих деталях: им достаточно задать архитектуру и критерии корректности, а остальное сделает нейросеть.

Сработает ли такой оптимизм, пока разработка программного обеспечения становится всё менее узнаваемой, — открытый вопрос.

Исследователей также беспокоит, что новое поколение инженеров растёт в среде, которая снижает ценность понимания кода. Это вызывает опасения в мире, который всё сильнее зависит от цифровых систем и ставит ИИ в центр внимания.