Как ИИ может изменить модерацию контента с помощью моделей принятия решений

Как работает модель

Сооснователь и директор по ИИ Musubi Филип Янкович считает, что модель поможет платформам заранее размечать контент.

По словам Янковича, команды продуктов хотят лучше понимать, что происходит на их платформах, особенно на фоне быстрого роста объёма публикаций. Масштабная и настраиваемая разметка контента может быть для них полезна.

Модели принятия решений привлекли внимание в сфере ИИ после того, как в сентябре Typesafe AI выпустила Jev. Вскоре похожие модели представили OpenAI и Amazon. Вместо текста такая модель выдаёт вероятности исходов. PolicyLM-1.7B выносит бинарное решение: относится ли контент к заданной категории. Поскольку ответы ограничены заранее заданными вариантами, модели работают быстрее и обходятся дешевле больших языковых моделей, сохраняя гибкость архитектуры трансформера.

Одно из ранних применений таких моделей — ограничение нежелательного поведения ИИ-агентов. По той же логике их можно использовать для выявления нарушений со стороны людей.

Янкович говорит, что заинтересовался моделями принятия решений ещё до выхода Jev: в 2024 году он работал над проектом GLiNER — обобщённой моделью для распознавания именованных сущностей, в которой применялись многие из тех же методов.

Связь с Jev

Musubi не избегает сравнений с Jev и рассчитывает, что интерес к этой модели привлечёт внимание и к модерации контента. В анонсе PolicyLM-1.7B компания описывает её как модель того же типа, что Jev, но специально обученную для модерации контента и доступную для самостоятельного запуска.