13-летняя школьница спросила ИИ о самоубийстве на школьном ноутбуке — тревогу не подняли несколько недель

Как переписка перешла в школьный поиск

Согласно иску, школьный поиск Google направил Эмму к Gemini. Хотя школа заблокировала отдельный сайт чат-бота, девочка могла общаться с ним через режим ИИ в Google Search — он позволяет задавать дополнительные вопросы по запросу или начинать отдельный разговор.

С декабря прошлого года Эмма спрашивала о психическом здоровье, в том числе о тяжёлой депрессии и причинах жить. К концу января, утверждают родители, она уже задавала вопросы о самоубийстве. В течение двух дней около Дня святого Валентина девочка с помощью режима ИИ начала писать в Google Docs собственную панихиду объёмом 1500 слов. Документ назывался «Похороны». По иску, она работала над ним больше четырёх недель и за это время тысячи раз взаимодействовала с Gemini.

После занятий в День святого Патрика Эмма удалила большую часть документа и начала заново. Её адвокат Эндрю Лидделл говорит, что содержание её мыслей существенно не изменилось. Примерно в 19:30 мать получила сообщение школы о том, что дочь находится в непосредственной опасности. Она вошла с телефона в школьный аккаунт Эммы и, согласно иску, увидела, как та в реальном времени пишет предсмертную записку. Родители вмешались и остановили её.

Кому пришло предупреждение

По словам Лидделла, информация, которую школа предоставила семье, указывает: сигнал поступил на личный телефон бывшего консультанта, ушедшего из школы за девять месяцев до этого. Он передал предупреждение действующим сотрудникам, а те связались с матерью Эммы.

Семья просила не называть школу, чтобы защитить личную жизнь девочки. WIRED установило её название, но школа не ответила на запрос издания. По данным архива интернет-страниц, в последние месяцы на сайте школы появились ссылки на ресурсы по предотвращению самоубийств.

Лидделл говорит, что школа узнала о кризисе благодаря как минимум одной сторонней системе мониторинга активности учеников. По информации, которую, предположительно, ранее сообщили родителям, школа могла использовать продукты GoGuardian и Gaggle. Однако адвокат утверждает, что семья не получила точного ответа: период сотрудничества школы с родителями был коротким.

Представитель GoGuardian Наталья Свитала отказалась обсуждать конкретных учеников или школьные округа, сославшись на обязательства по защите личных данных. Gaggle не ответила на запрос WIRED к моменту публикации.

Что видят системы мониторинга

Такие системы обычно записывают нажатия клавиш или проверяют файлы, а затем используют алгоритмы и проверку людьми, чтобы выявить потенциально опасные материалы. Неясно, отслеживали ли инструменты школы переписку в режиме ИИ и насколько хорошо они могли это делать. В записи в блоге за июль 2025 года GoGuardian сообщила, что её основной продукт следит за разговорами с чат-ботами, в том числе с Gemini, но отдельно режим ИИ не упомянула.

Оценки педагогов говорят о пользе подобных инструментов, хотя их эффективность остаётся неясной. В опросе 1000 американских педагогов, работающих с учениками от детского сада до 12-го класса, проведённом Центром исследований EdWeek в 2022 году, 96% пользователей Gaggle считали, что система помогает защищать учеников от самоубийства и самоповреждения. Исследование финансировала Gaggle; похожие результаты получили и среди педагогов, пользовавшихся альтернативами.

В иске говорится, что тревожные разговоры Эммы с Gemini оставались незамеченными почти два месяца, хотя она прямо спрашивала о повешении, удушении и передозировке. Этот случай ставит вопрос о том, могут ли встроенные в Google Search разговоры с чат-ботом оставаться вне поля зрения школьных систем мониторинга.

Спор об ИИ и слежке в школах

Дело появилось на фоне споров о внедрении генеративного ИИ в школах. На прошлой неделе родительские и учительские объединения по всей стране раскритиковали новое требование Google: школы должны включить функции генеративного ИИ, если хотят пользоваться поиском. Сенатор США Эд Марки сослался на иск Эммы в письме Google и потребовал дать школам возможность отключать режим ИИ и ИИ-обзоры.

Правозащитные организации критикуют системы наблюдения за учениками за методы продвижения и вторжение в личную жизнь. Эксперты также опасаются, что слежка подрывает доверие учеников к учителям — людям, которые могут помочь ребёнку в кризисной ситуации.

Бенджамин Будро, исследователь политики в Rand, изучающей, среди прочего, наблюдение за учениками, опасается, что некоторые школы поспешили внедрить такие инструменты, не разобравшись в их ограничениях и не подготовив порядок действий при получении предупреждений. По его ожиданию, иск может усилить требования родителей, учителей и учеников к обучению без ИИ и слежки, но с большим вниманием к личному контакту и поддержке.

Представитель Google Хосе Кастаньеда сообщил, что компания серьёзно рассматривает утверждения из иска. По его словам, системы Google, включая режим ИИ, призваны предотвращать вредные разговоры, а при создании функций для молодых пользователей компания сотрудничала с медицинскими специалистами и экспертами из академической среды, чтобы помогать находить поддержку и надёжные ресурсы.

По оценке Dataist, дело показывает ограничение, которое нельзя устранить одним фактом наличия школьного мониторинга: сигнал должен не только обнаружить опасность, но и вовремя попасть к человеку, способному отреагировать. В этом случае оповещение прошло через бывшего сотрудника, а способность системы замечать опасные разговоры в режиме ИИ остаётся неясной. Если вы или кто-то рядом нуждается в помощи в США, можно круглосуточно и бесплатно позвонить по номеру 988 или отправить слово HOME на номер 741-741; за пределами США кризисные центры перечисляет Международная ассоциация по предотвращению самоубийств.