Учёный представлял «вайб-кодированную» работу, но коллега заметил крайне неловкую ошибку

Учёный показал код, созданный ИИ, а коллега нашёл ошибку в алгоритме

В феврале астрофизик и популяризатор науки Пол Саттер представил коллегам обновлённый алгоритм для поиска пустот — областей между галактиками. По его словам, новая версия работала в десять раз быстрее прежней и могла обрабатывать обзоры, в сто раз крупнее, но код во многом был написан с помощью ИИ. Уже через десять минут коллега заметил, что алгоритм неправильно работает на границах данных. Ошибка оказалась незаметной, но повлияла на все последующие результаты.

Ошибка в новом алгоритме

Саттер рассказал об этом случае в статье для издания Nautilus, опубликованной в начале месяца. По его словам, новая версия алгоритма была:

Часть обновления появилась после долгих консультаций с ИИ для написания кода. Такой подход часто называют программированием с помощью ИИ, и Саттер считал его незаменимым.

Через десять минут после начала выступления один из коллег остановил его: в работе алгоритма ему что-то показалось неправильным. Проверка показала, что программа ошибалась при обработке границ астрономических обзоров.

Ошибка не была опечаткой, пропущенной ссылкой или простой ошибкой в коэффициенте. Она была незаметной, но полностью меняла результат, а все последующие вычисления тоже оказывались неверными. При этом Саттер успел показать работу людям, которые ему доверяли.

Этот случай показывает, с каким риском сталкиваются пользователи ИИ-инструментов, в том числе учёные. Научная среда уже столкнулась с потоком плохо проверенных и неотредактированных текстов, созданных ИИ. Теперь исследователям приходится отвечать за всё, что они публикуют, включая неловкие ошибки и выдуманные моделью сведения.

Почему ИИ звучит убедительно

Инструмент для написания кода, которым пользовался Саттер, создавал впечатление, будто понимает задачу. На деле он был сложным предсказателем следующего слова.

Саттер объясняет, что беглость языковой модели — не случайность и не загадочное свойство, возникшее само собой. По его сравнению, люди специально вывели эту способность, как когда-то превратили волков в собак, которые следят за лицом хозяина, когда тот открывает пакет с лакомством.

Поэтому, спрашивает астрофизик, как можно использовать инструмент, который иногда ошибается, но всегда звучит приятно и убедительно? Его ответ прост: доверять ИИ не следует.

Эпоха до науки

Широкое применение ИИ Саттер сравнивает с алхимией — древней практикой, которой занимались, по его выражению, «предшественники учёных».

По его мнению, сейчас ИИ находится на этапе, похожем на период до появления химии. Однако люди не перестанут пользоваться этим инструментом, даже понимая его ограничения.

Чтобы добраться до истины, считает Саттер, нужно внимательно отслеживать ход рассуждений ИИ и проверять каждый результат. После ошибки в феврале он изменил свой подход и теперь готов сразу относиться с недоверием ко всему, что сообщает ИИ.

Эта история показывает, как легко даже очень способным специалистам поддаться привлекательности ИИ.

Показательно, что сервис проверки текста на наличие материалов, созданных ИИ, Pangram, который сам по себе далёк от совершенства, оценил последнюю статью Саттера для Nautilus. По его результатам, 56% текста могли быть написаны ИИ.