Лангерианскую осознанность исследуют с помощью ИИ-персон в задании Triangle Task

ИИ и психология

Исследователь продолжает серию экспериментов об осознанности — способности замечать новое и гибко реагировать на текущую ситуацию. Ранее он изучал Лангерианскую шкалу осознанности (LMS) с помощью 1 000 ИИ-персон. Они оказались смещены к верхней части распределения, то есть демонстрировали более высокий уровень осознанности.

Дополнительный анализ связал это с тем, как генеративный ИИ изначально настраивают с помощью обучения с подкреплением на основе обратной связи от людей (RLHF). Такая настройка подталкивает модели к проявлению творческого подхода, любопытства и других качеств, которые можно считать составляющими осознанности. В новом эксперименте исследователь попытался скорректировать это смещение.

ИИ-персоны становятся отдельным направлением в психологии. Начинающие психологи и психиатры могут использовать их для практики, создавая персонажей с разными типами личности и психическими состояниями. Это позволяет отрабатывать терапевтические навыки без риска для реальных пациентов.

Можно использовать обратный сценарий: ИИ-персонаж играет роль терапевта, а человек изучает, каково быть клиентом или пациентом. ИИ-персоны также подходят для психологических исследований — например, в качестве «участников» онлайн-эксперимента или для прохождения тестов и обзоров. При этом ИИ-персоны не заменяют людей в исследованиях, хотя их можно применять и другими способами.

Эксперимент с LMS

В предыдущем эксперименте с 1 000 ИИ-персон исследователь поставил три вопроса:

Первый вопрос уже рассматривался в начальной части серии. ИИ-персоны, скорее всего, смещены к верхней части распределения LMS. Вероятная причина — особенности настройки генеративного ИИ его создателями. Большинство разработчиков применяют RLHF, и после такой настройки ИИ обычно стремится демонстрировать творческий подход, любопытство и другие свойства, связанные с осознанностью.

Эксперимент стал примером синтетического психометрического исследования: его участниками были созданные ИИ-персоны, а не люди.

Подход через задание

Следующий вопрос касался того, как ИИ-персоны справятся с заданием на обнаружение нового. LMS измеряет осознанность через самоотчёт: участник отвечает на вопросы о собственном психическом состоянии. Дополнительный способ — предложить ему творческое задание и оценить поведение непосредственно по результату.

Так появляются два независимых измерения:

В исследовании «Utilizing a Creative Task to Assess Langerian Mindfulness», опубликованном Кэтрин Берковиц, Франческо Паньини, Деборой Филлипс и Эллен Лангер в журнале Creativity Research Journal в 2017 году, описаны следующие положения:

Задание Triangle Task

В исходном исследовании участники смотрели на список из 50 слов и отмечали те, которые могли быть связаны со словом «треугольник».

Само слово «triangle» тоже входило в список. Это очевидная связь, включённая для проверки внимательности участника. Если он не отмечал «triangle» как слово, связанное с «triangle», остальные ответы требовали дополнительной проверки.

Результаты исследования на людях

В исследовании участвовали две выборки людей. Они заметно различались по демографическим характеристикам.

Первая группа в среднем отмечала 7,47 слова из 50. Вторая — 13,84 слова. Получается, вторая группа находила почти вдвое больше связей со словом «треугольник» и могла считаться более творческой и потенциально более осознанной.

Среднее число отмеченных слов:

Авторы обнаружили статистически значимую положительную связь между результатом Triangle Task и баллами LMS. По мере роста баллов LMS повышался и результат творческого задания. Это указывает, что Triangle Task может служить независимым способом измерять осознанность через выполнение задания.

ИИ-персоны проходят Triangle Task

Исследователь создал 1 000 ИИ-персон с неоднородным распределением характеристик и попытался устранить исходное смещение, возникшее из-за RLHF. Задача состояла в том, чтобы ИИ-персоны с самого начала представляли нормальное распределение результатов и прошли Triangle Task.

При экспериментах с ИИ-персонами есть отдельная проблема: модель могла уже встречать это задание во время обучения. Если в обучающих данных была информация о Triangle Task, модель могла бы выполнять его иначе, чем при первом знакомстве. То же ограничение относится и к людям, если они ранее сталкивались с конкретным тестом.

Исследователь проверил, знаком ли ИИ с Triangle Task. Признаков того, что модель знала это задание как таковое, не обнаружилось. Дополнительный промт должен был помочь ИИ-персонам выполнить его заново, без опоры на прежний опыт.

Результаты мини-эксперимента

ИИ-персоны в среднем отметили 38 слов. Это намного больше, чем 7,47 и 13,84 слова в исследовании с людьми.

Результат ИИ-персон:

Исследователь объясняет разницу несколькими причинами.

Во-первых, генеративный ИИ хорошо справляется с игрой слов, семантическим поиском и обнаружением связей между словами. Это одна из базовых особенностей больших языковых моделей. Поэтому от LLM можно ожидать высоких результатов в большинстве заданий, связанных со словами.

Во-вторых, во время предварительных проверок модель почти каждый раз отмечала все 50 слов. Тогда исследователь попросил объяснить каждую связь. Потенциальные связи действительно нашлись для каждого слова: они относились к геометрии, архитектуре, музыке, спорту, культуре и другим областям. Поэтому можно было бы обосновать выбор всех 50 слов. В исследовании с людьми такое тоже происходило, но редко.

В-третьих, в промте появилось требование приводить только убедительно защищаемые связи. Это должно было не дать модели выбрать все 50 слов из-за косвенных или чрезмерно натянутых ассоциаций. В итоге LLM стала различать степень связанности и избегать как слишком очевидных, так и крайне необычных связей.

В-четвёртых, современные генеративные модели настроены на угождение пользователю. В предварительном тесте ИИ мог решить, что от него ждут особенно хорошего результата или что пользователя порадует такой результат. Поэтому модель и отмечала все 50 слов. Дополнительное требование об убедительности связей и отказе от угождения помогло уменьшить этот эффект.

Дополнительные результаты

Для 1 000 ИИ-персон обнаружилась положительная связь между баллами LMS и результатом задания. Чем выше была заявленная осознанность, тем лучше ИИ-персона выполняла Triangle Task. Это совпало с результатами исследования на людях и дополнительно подтвердило, что Triangle Task подходит для оценки осознанности.

Вместо задания на словесные связи можно разработать или использовать другие тесты осознанности. Важно искать задания, которые проверяют не только беглость работы со словами, но и способность выходить из неосознанного режима. Исследователь планирует рассмотреть несколько предварительных вариантов таких заданий в следующих материалах серии.

В завершение он приводит слова Марка Аврелия: счастье жизни зависит от качества мыслей. По его мнению, использование ИИ для изучения осознанности может помочь лучше понять это свойство и то, как люди становятся более осознанными.