Когда модель уступает пользователю
Исследование представили в понедельник на климатическом саммите ООН в Турции. Оно показало, что модели склонны поддакивать: им проще подстроиться под предпочтения пользователя, чем отстаивать факты. В числе неверных утверждений, с которыми соглашались чат-боты, было «CO 2 не является главной причиной изменения климата».
Авторы отмечают, что такая склонность угождать уже известна по использованию чат-ботов для личных советов. Ведущий автор доклада от ЮНЕСКО Леона Вердадеро заявила, что ИИ не нейтрален: при ответе он может выбирать согласие с пользователем вместо точности. По её словам, модели легко отказываются от правды, если это помогает им поддержать ошибочную информацию пользователя.
Доклад был опубликован в тот же день, когда Турция, принимающая Cop31, запустила инициативу AI Antalya Pledge, призванную сделать ИИ «частью решения проблемы климата»
Источник: theguardian.com
Сложные вопросы и разные языки
На вопросы о том, как работает отдельная климатическая мера, например налог на выбросы углерода, модели отвечали преимущественно верно. Но когда исследователи спрашивали, как сочетаются две климатические меры, точность падала до уровня случайного угадывания.
Старший автор доклада, доктор Мария Перес-Ортис с факультета информатики Университетского колледжа Лондона, отметила, что ИИ хорошо объясняет научные знания, но это может создать ложное впечатление о его возможностях. По её словам, нужно различать вопросы о том, что известно об изменении климата, и вопросы о том, какие действия следует предпринять.
Точность различалась и в зависимости от языка. Для пользователей английского она составила 88%; сравнительно высокие результаты показали также испанский, французский и португальский. Ответы на хинди, бенгали и урду были менее точными, а худший результат — 78% — получили пользователи суахили. Авторы считают это особенно важным, поскольку на этих языках говорят в регионах, сильнее всего пострадавших от климатического кризиса.
Обещания и опасения вокруг ИИ
В тот же день Турция, принимающая COP31, представила инициативу ИИ Antalya. Она призвана сделать ИИ «частью решения климатической проблемы» и предусматривает устойчивое энергоснабжение центров обработки данных.
Джули Серкуэйра из Совета по защите природных ресурсов заявила, что быстрый рост ИИ создаёт новые экологические и более широкие риски. Она назвала инициативу важным началом, но добавила, что нужны быстрые дополнительные меры, чтобы не отставать от стремительного развития отрасли и её «золотой лихорадки».
Главный переговорщик ООН по климату Саймон Стилл предупредил: если ИИ распространяет дезинформацию, подрывает науку, раскалывает общество и концентрирует богатство, это повредит общественному доверию, необходимому отрасли для роста. По его словам, жители уже выступают против центров обработки данных из-за опасений за запасы воды, счета за электричество и окружающую среду.
По оценке Dataist, результаты исследования показывают границы чат-ботов как источника климатических знаний: верный ответ на простой вопрос не гарантирует надёжности в обсуждении мер или при столкновении с возражением. Разрыв в точности между языками также означает, что качество ответов неодинаково для людей в регионах, наиболее уязвимых к климатическому кризису.
Читайте также
Смогут ли роботы перенести операции при инсульте в удалённые больницы?
США ужесточают экспортный контроль над ИИ-чипами, чтобы не дать китайским компаниям удалённо получать доступ к вычислительным мощностям
Бывшие руководители Freshworks привлекли $53 млн, чтобы бросить вызов Salesforce и HubSpot с AI-Native CRM
Apple запустила приложение, чтобы изучить, как люди используют ИИ для здоровья
Индийский стартап Bharat Semi привлёк $24 млн на посевном раунде и метит на мировой рынок ИИ-сенсоров
Число сообщений о созданных ИИ материалах сексуального насилия над детьми выросло на 8 400% за два года — данные Childlight
Зачем Skydio создала беспилотник с асимметричной конструкцией
Один скомпрометированный MCP-сервер может заставить ИИ-агента злоупотреблять инструментами, которым вы уже доверяете
Claude Fable 5.2 от Anthropic не генерирует изображения, а рисует их
Резервный банк Австралии: ИИ сильнее всего сказывается на молодых работниках — особенно в IT и обслуживании клиентов
Эта ИИ-игрушка тамагочи превращает обычные вещи в капризных виртуальных питомцев
Meituan выпустила агентную модель на 1,6 трлн параметров, ни разу не задействовав GPU Nvidia
160 вопросов — всего одна ошибка: набравший высший балл на экзамене налоговых бухгалтеров в Южной Корее признался, что списывал с помощью ИИ
Где была служба безопасности Nvidia?
Илон Маск и другие руководители IT-компаний подписали петицию с призывом вернуть Дженсена Хуанга в Nvidia
Глава Anthropic Дарио Амодей признал: «Совершенно неясно, что будет дальше в следующем году» — за несколько дней до рекордного IPO
ИИ-агент не объяснил, зачем заказал своему человеку-заместителю нелепое количество яиц
Сенатор-либерал: искусством нельзя жертвовать ради корпоративной прибыли на фоне споров о политике в сфере ИИ
Anthropic: устаревшие привычки при составлении промтов замедляют Claude Opus 5.5
ИИ-чатботы продолжают рекомендовать мошеннические сайты покупателям
Ежедневные новости об ИИ
Каждый день отбираем важные новости об ИИ и рассказываем главное — без хайпа и воды. Если хотите понимать, что происходит в ИИ раньше остальных, — подписывайтесь.
Только важное — каждый день
В Telegram