小紅書の公式アカウント「シュチュージアオ」は9月3日に「AIによる医療美容や民宿などの偽りのコンテンツに対する管理公告」を発表し、AIで作成された偽りのコンテンツを全面的に日常的な管理対象に含め、ユーザーを誤導する行為であるAIで画像を合成または生成して現実を偽造したり、体験を捏造したりする行為に対して厳しく取り締まる方針を明らかにしました。

今回の特別な管理の重点は文化観光・宿泊、医療医療美容、教育および不動産などの高リスク分野に焦点を当てており、AIによって一括で同質化されたノートを作成したり、架空の体験を捏造したりする行為に対して深くクリーンアップを行います。同時に、AIで作成されない内容の検出戦略を追加し、未表示のAIコンテンツや複数アカウント間での素材の繰り返し利用など、新たな違反状況を厳しく制御します。

小紅書

データによると、今年6月から8月の間に、小紅書はAIで作成されて公開された偽りのノートを約12万件清理・処置しており、AIによる偽りの医療美容体験やAIによる偽りの民宿画像・文章、架空の教育背景で教材を販売するような典型的な違反コンテンツを集中して下架し、関連する違反アカウントに対して厳重な処置を行いました。特に重点管理の分野として、医療美容分野ではこの期間中に1日あたり4,000件以上の違反ノートが下架され、合計で4,200以上の違反アカウントが無効になりました。

生成型AI技術によりコンテンツ制作のハードルが大幅に低下した現在、偽りの体験が広がることによりUGCコミュニティの真実性とユーザーの信頼が深刻に損なわれています。小紅書はAIによる創作支援を明確に奨励しながらも、シーン別の管理の細分化、既存コンテンツの整理および動的な検出の3つのメカニズムを通じてAIの応用範囲を明確にしています。この管理措置は、プラットフォームが生成型AIコンテンツの法的規制を全面的にアップグレードしていることを示すだけでなく、AI時代におけるコンテンツエコシステムの健全な発展と信頼の再構築に業界のモデルを提供しています。