Мы расследовали Character.AI и обнаружили настоящий кошмар. Теперь компания обанкротилась.

Опасный контент на платформе

С самого начала Character.ИИ была популярна у детей. Но вскоре выяснилось, что многие чат-боты на платформе, заявленной как безопасная для пользователей от 13 лет, были откровенно неподходящими или опасными.

Вскоре после иска Гарсии мы обнаружили множество ботов, посвящённых самоубийству. В кратких описаниях персонажей часто говорилось, что они умеют предотвращать суицид и поддерживать людей с проблемами психического здоровья. Однако в ролевых диалогах они прославляли и романтизировали самоубийство. Не работали и защитные механизмы для таких разговоров: один персонаж — «Ангел к мёртвым» — обиделся, когда мы сказали, что хотим обратиться за помощью к людям, и отговаривал звонить на настоящую горячую линию по предотвращению самоубийств.

Боты о самоубийстве оказались лишь частью проблемы. Чем глубже мы изучали сервис, тем очевиднее становились серьёзные недостатки модерации и реактивный подход компании к безопасности.

Мы обнаружили множество чат-ботов, посвящённых педофилии. Они вовлекали несовершеннолетних в романтические и сексуальные ролевые игры, фетишизируя сцены жестокого обращения с детьми. Среди персонажей были священник, «лучший друг» отца и герой по имени «Андерли», которого описывали как склонного к педофилии и насилию, а также сочувствующего нацистам. На платформе не было даже простых текстовых фильтров, которые мешали бы создавать ботов, прямо заявляющих, что они педофилы.

Также мы нашли массу ботов о самоповреждении. В подробных ролевых сценах они изображали тяжёлое членовредительство, часто в романтическом контексте: например, парень или девушка утешали искалеченного партнёра. В центре таких сюжетов нередко были несовершеннолетние, а действие происходило в средних и старших школах — что указывало на молодую аудиторию Character.ИИ. Кроме того, на платформе работали боты, пропагандировавшие анорексию и выступавшие в роли наставников по расстройствам пищевого поведения: они подталкивали подростков к нездоровым пищевым привычкам.

Особенно возмутительным было обилие ботов о массовом насилии. Некоторые персонажи разыгрывали реальные школьные стрельбы, выдавали себя за настоящих массовых убийц или даже за детей, погибших во время школьных расправ. Этих ботов было легко найти; многие из них собрали сотни тысяч взаимодействий. Однажды на почту, привязанную к аккаунту Character.ИИ пользователя младше 18 лет, пришло уведомление с предложением вернуться к чат-боту, созданному на основе реального массового убийцы.

Во время расследования мы пользовались подставными аккаунтами, зарегистрированными на несовершеннолетних, и часто прямо говорили чат-ботам, что мы подростки. Это не мешало нам находить нужных персонажей и участвовать в ролевых играх о сексе, насилии и жестоком обращении. Редкие предупреждения сервиса сводились к всплывающим уведомлениям, которые было легко обойти. Мы неоднократно просили Character.ИИ обнародовать сведения о внутренних проверках безопасности, но компания отказалась. Для поиска опасных ботов не требовалось ни хитрых приёмов, ни специальных навыков: хватало обычного поиска.

Иски и попытки усилить защиту

В конце 2024-го и в 2025 году несколько семей подали новые иски против Character.ИИ, её сооснователей и Google. Истцы утверждали, что общение с ботами компании привело к психическим срывам, самоповреждению и самоубийствам несовершеннолетних. Character.ИИ пыталась добиться прекращения разбирательств, ссылаясь на Первую поправку к Конституции США и утверждая, что боты обладают правом на свободу слова. Судья отклонил этот довод.

На фоне множества исков Character.ИИ всё же начала серьёзно менять платформу. Сначала компания добавила родительский контроль, который оказалось легко обойти, а затем запретила несовершеннолетним общаться с ботами, оставив им только ограниченные заранее заданные ролевые сценарии. Также появились инструменты определения и подтверждения возраста. Эти меры вызвали резкое недовольство пользователей: многие сочли ограничения чрезмерными. Чем активнее Character.ИИ пыталась снизить риски, тем сильнее возмущались те, кто хотел сохранить на платформе «Дикий Запад».

Ранее в этом году иски о вреде пользователям и неправомерной смерти завершились соглашением сторон; сумму не раскрыли. Но компания продолжала быстро тратить деньги. Согласно изученным 404 Media документам о банкротстве, только вычислительные мощности обходились стартапу в десятки миллионов долларов ежемесячно, а доход от рекламы и подписок достигал максимум 5,3 миллиона долларов в месяц. В августе 2026 года расходы на вычисления, зарплаты сотрудников и существенные юридические издержки приводили к убыткам примерно в 8–9 миллионов долларов в месяц.

Что будет с Character.ИИ

Будущее Character.ИИ пока неясно. Теоретически компанию может купить кто-то, кто захочет сохранить сайт и чат-ботов. Сейчас ведущую заявку на покупку с минимальной ценой подала Disney. Другой вариант — распродажа активов по частям, при которой личные переписки пользователей достанутся тому, кто предложит больше.

В 2023 году Шазир в подкасте «No Priors» говорил, что главной целью его и де Фрейтаса было как можно быстрее дать продукт широкой аудитории. По его словам, они хотели выпустить сервис, предоставить пользователям самим решать, для чего он пригоден, и позволить им настраивать его под себя — для мозгового штурма, помощи, получения информации, развлечения или эмоциональной поддержки.

На пике успеха Character.ИИ ставила массовое распространение и вовлечённость выше безопасности. Когда компания наконец начала вводить защитные меры, она оттолкнула часть пользователей и так и не смогла выйти на прибыль.

Character.ИИ действительно действовала по принципу Кремниевой долины «двигайся быстро и ломай вещи». Семьи пострадавших утверждают, что в этой гонке сломались их дети. В итоге не выдержала и сама Character.ИИ.