Всегда ли лучшая работа означает, что и специалисты стали лучше?

Что проверяли в эксперименте

Профессиональное суждение отличает опытных специалистов от начинающих. Оно формируется за тысячи часов работы: в том числе благодаря рутинным, но полезным для обучения задачам и наставничеству старших коллег. ИИ меняет этот процесс. Исследования в радиологии, решении бизнес-задач, написании текстов соискателями и юридическом образовании показывают, что продуманное включение ИИ в обучение помогает менее опытным сотрудникам лучше справляться с задачами самостоятельно.

Другие эксперименты — с программистами, управленческими консультантами, старшеклассниками и врачами — показывают обратную сторону: ИИ временно повышает результативность, но после отключения инструмента этот прирост часто не сохраняется. Чтобы понять, помогает ли ИИ развивать профессиональные навыки или мешает этому, нужны три условия, которые редко сочетаются в одном исследовании:

В исследовании «Помощь ИИ укрепляет или ослабляет экспертизу? Данные трёхмесячного полевого эксперимента по подготовке патентов», опубликованном Национальным бюро экономических исследований, авторы проверили, как ИИ влияет на краткосрочную продуктивность и развитие навыков в интеллектуальном праве — сфере, где требуется высокая квалификация.

Доступ к ещё не выпущенному ИИ-помощнику Google Labs для написания патентов случайным образом распределили между 133 юристами из 11 фирм по интеллектуальной собственности, которые регулярно, но не на эксклюзивной основе работают с Google. Две трети юристов в каждой фирме — экспериментальная группа — получили ранний доступ к инструменту, который теперь входит в Gemini Notebook. Остальные, контрольная группа, прошли обучение работе с ИИ, но до окончания трёхмесячного исследования пользоваться этим инструментом не могли.

Как ИИ повлиял на качество работы

Через 10 дней работы с ИИ всем юристам выдали материалы об изобретении и попросили подготовить патент. Через 90 дней они выполнили такую же задачу, но уже по другому набору вымышленных материалов.

ИИ повысил оценки за подготовку патентов в обеих проверках. Через 10 дней доступ к инструменту увеличил результат на 0,34 стандартного отклонения — это соответствовало подъёму на 10 процентильных пунктов относительно контрольной группы. Через 90 дней прирост достиг 0,38 стандартного отклонения, или 11 процентильных пунктов.

Оценки выставляли независимые юридические эксперты по пяти аспектам качества, используя шкалы Лайкерта. Улучшение наблюдалось по всем аспектам. Доля низких оценок снизилась, а хороших — выросла; доля отличных оценок не изменилась. Иными словами, юристы с доступом к ИИ чаще перемещались из нижнего диапазона оценок в нижнюю и среднюю части распределения, но выдающихся результатов стало не больше.

Особенно заметно качество работы улучшилось у младших юристов. Они также экономили время: например, на задаче через 10 дней справлялись на 18 минут быстрее контрольной группы, среднее время которой составляло 124 минуты.

Патентные юристы не только составляют документы, но и проверяют работу коллег, выявляя серьёзные ошибки — иногда их называют «патентной непристойностью». Такие ошибки могут сделать патент неисполнимым в суде, например если в нём чрезмерно широко заявлена новизна или область применения изобретения.

Поэтому через 90 дней участникам дали ещё одну задачу: вручную отредактировать вымышленный патент с содержательными и стилистическими ошибками. Эта проверка имитировала профессиональную работу, требующую суждения, которой старшие юристы обычно занимаются без помощи ИИ.

Для подготовки патентов юристам из экспериментальной группы разрешали пользоваться новым инструментом или любым другим ИИ. При редактировании готового документа ИИ использовать было нельзя. Результат этой задачи показывал, насколько развились навыки участников.

Для оценки обеих задач — подготовки и редактирования патентов — сторонние специалисты оценивали пять критериев:

Источник: research.google

Что произошло без ИИ

Когда на 90-й день ИИ отключили, выравнивающий эффект исчез. Участники с доступом к инструменту в целом опередили контрольную группу на 0,32 стандартного отклонения — это эквивалентно приросту на 9 процентильных пунктов. Но результат обеспечили старшие юристы: они превзошли контрольную группу на 0,45 стандартного отклонения, или 13 процентильных пунктов. У младших заметного улучшения не было.

Оценки младших специалистов разделились: стало больше очень низких и хороших результатов, меньше посредственных, а число отличных не изменилось.

Результаты указывают, что старшие юристы за три месяца использования ИИ заметно улучшили профессиональное суждение. У младших картина сложнее: часть из них стала работать лучше — возможно, ИИ ускорил обучение. Но оценки других участников сместились к нижней части распределения. В некоторых случаях ИИ помогал младшим выполнять работу на приемлемом уровне, однако более высокое качество с его помощью не ускоряло освоение навыков, которые отличают старших специалистов.

Анализ правок показал, как специалисты разного уровня использовали ИИ. И в экспериментальной, и в контрольной группе младшие юристы придерживались жёсткого формального порядка: шли по документу сверху вниз и нередко тратили время на редактуру малозначимых вводных частей, прежде чем добирались до главных патентных требований. Они также чаще подбирали поверхностные синонимы, чем улучшали коммерческий охват патента.

Даже заметив серьёзный дефект, младшие специалисты часто описывали проблему, но не исправляли её непосредственно в документе. Контрольные участники без ИИ вели себя так же. Значит, это исходная слабость младших юристов, которую три месяца использования ИИ для переписывания текста не устранили.

Старшие юристы, напротив, стабильно выигрывали от знакомства с ИИ. При редактировании они тратили больше времени, чем младшие, пропускали малозначимые фрагменты и полностью перестраивали патентные требования. Они убирали формулировки, которые могли непреднамеренно сузить юридические права или защиту, и подкрепляли многие правки конкретными правовыми доктринами.

На последующих интервью старшие юристы говорили, что воспринимали результат работы ИИ не как готовый документ, а как «проверку логики». Это помогало им меньше привязываться к исходным формулировкам и точнее объяснять, зачем и как нужно перестроить текст, активируя и оттачивая базовую экспертизу.

Что изучать дальше

Повышение качества работы и развитие устойчивого профессионального суждения — разные цели. Для младших специалистов они могут вступать в противоречие. Возможно, именно базовая экспертиза позволяет многократной практике с ИИ со временем превратиться в профессиональное суждение опытного юриста.

Такое суждение, вероятно, останется важным и по мере улучшения моделей: юристам всё равно придётся взаимодействовать с судьями, клиентами и коллегами, и не во всех ситуациях им будет доступен ИИ. Одна из сложностей нынешнего этапа — создавать инструменты, которые улучшают работу сегодня, но не мешают младшим специалистам стать экспертами завтра.

Изучать специалистов в реальной рабочей среде исследователям непросто. В эксперименте участвовало немного патентных юристов — это связано с высокой почасовой стоимостью работы ведущих специалистов в этой области. Наблюдение длилось всего три месяца, хотя на развитие устойчивой экспертизы уходят годы.

Кроме того, за последний год быстро менялись возможности моделей, знакомство людей с ИИ и распространённость ИИ-продуктов в юридической сфере. Если повторить эксперимент сейчас, эти изменения могут повлиять на результат. Ограничения исследования открывают направления для дальнейшей работы, которой авторы надеются заняться в ближайшие месяцы.

Тем не менее исследование показывает: чтобы понять влияние ИИ на профессиональные навыки, нужно отдельно проверять эффект использования инструмента и то, как человек справляется без его помощи.