Учёный представлял новую работу с вайб-кодингом, пока коллега не заметил промах

Астрофизик показал коллегам код от ИИ и обнаружил ошибку

Ошибка в коде

У генеративного ИИ есть известная проблема: он формулирует ответы уверенно, убедительно и подробно, даже когда полностью ошибается.

Астрофизик и научный популяризатор Пол Саттер столкнулся с этим лично и рассказал о случившемся в статье для Nautilus, опубликованной в начале месяца. В феврале он выступал перед группой коллег и показывал обновление алгоритма, который ищет пустоты — области между галактиками, где почти нет вещества.

Саттер вспоминал, что новая версия работала «в десять раз быстрее старой», гораздо сложнее учитывала особенности реального набора данных и могла обрабатывать обзоры, в сто раз превышающие прежние по размеру.

Часть обновления появилась после многочисленных сеансов работы с ИИ, помогавшим писать код. Такой подход называют программированием в диалоге с моделью — созданием программ с помощью переписки с ней. Саттер считал помощь ИИ незаменимой.

Но примерно через десять минут после начала презентации один из коллег остановил его: по его мнению, в работе алгоритма что-то было не так. Проверка показала, что программа неправильно обрабатывала границы наблюдательных обзоров.

Саттер подчёркивал, что речь шла не об опечатке, пропущенной ссылке или простой арифметической ошибке. Проблема была незаметной, но принципиальной: из-за неё неверными оказывались и все последующие результаты. Причём Саттер успел показать всю работу людям, которые ему доверяли.

Почему ИИ звучит убедительно

Эта история показывает, какой риск создают инструменты ИИ даже для опытных специалистов и даже в академической среде. Научные публикации уже заполняются плохо проверенными и неотредактированными материалами, созданными с помощью ИИ. Теперь исследователям приходится отвечать за всё, что они публикуют, включая нелепые выдумки моделей.

Использованный Саттером инструмент для программирования, по его словам, «звучал так, будто всё понимает», хотя на деле был лишь сложным предсказателем следующего слова.

Убедительная речь языковой модели не случайна и не является загадочным свойством, возникшим само по себе. Люди специально обучали такие системы звучать бегло и уверенно — примерно так же, как вывели собак из волков, способных следить за выражением лица человека в ожидании лакомства.

Саттер задаётся вопросом, как можно применять инструмент, который иногда ошибается, но всегда старается понравиться пользователю, и как в таком случае доверять ИИ. Его ответ прост: не доверять.

«Доисторический» этап ИИ

Астрофизик сравнил широкое использование ИИ с алхимией — древней практикой, которой занимались люди до появления современной науки.

По его мнению, сейчас ИИ находится на этапе, похожем на период до возникновения химии. При этом пользователи не собираются отказываться от инструмента, как алхимики не прекращали работать с закрытыми тиглями и прочими приспособлениями.

Чтобы добраться до истины, считает Саттер, нужно внимательно прослеживать цепочку рассуждений ИИ и проверять каждый результат. После февральского инцидента он изменил свой подход и теперь готов сразу относиться к любому утверждению модели с недоверием.

Эта история показывает, что привлекательность ИИ может сбить с осторожности даже очень способных специалистов.

Показательно, что когда авторы проверили последнюю статью Саттера для Nautilus с помощью инструмента обнаружения ИИ Pangram, тот оценил долю текста, вероятно созданного моделью, в 56%. Сам сервис далёк от совершенства, поэтому этот результат нельзя считать точным доказательством.