中央網信辦近日公佈了“清朗·整治AI應用亂象”專項行動第二階段的最新成果，針對利用人工智能技術製作發佈虛假信息、傳播暴力低俗內容、假冒仿冒他人以及侵害未成年人權益等突出問題展開了深度治理。截至目前，全國累計清理違法違規信息超過561萬條，查處違規賬號4.9萬餘個，處置違規網站及應用程序2400餘個，全方位遏制了AI技術被濫用和惡意操控的苗頭。

在此次專項行動中，多地網信部門結合自身實際推出了精準高效的治理舉措。北京指導各大平臺升級內容審覈策略，大幅提升對違規內容新型變體的識別與處置能力;上海督促企業開展自查自糾，並推出AI應用“知識普及包”來引導公衆增強防範意識;浙江對屬地重點平臺實施“一企一策”合規指導，依法查處了一批問題突出的AI應用;廣東則通過召開重點平臺工作例會，對多款應用的違規問題開展了點對點督促整改。與此同時，抖音、快手、微博、騰訊、百度、嗶哩嗶哩、小紅書、知乎、豆瓣和淘寶等主流平臺不斷強化技術賦能，通過優化多模態識別模型、動態擴充人臉與聲紋庫以及上線人臉實時治理系統等手段，大幅提升了違規內容的智能檢測效率，期間累計發佈了46期相關治理公告。

在源頭防範方面，豆包、元寶、千問和文心一言等頭部大模型平臺嚴格把關原始語料內容的審覈機制，全面落實AI生成合成內容的標識要求，從源頭上防範了違法違規信息的生成與傳播。同時，華爲、小米、OPPO和vivo等主流應用商店也進一步收緊了開發者准入規範和上架標準，對在架應用進行了頻繁的抽檢覆測，成功將大量違規App攔截在庫門之外。

爲了讓公衆清晰瞭解亂象的表現形式，官方此次還通報了多起具有代表性的典型違規案例。其中，部分賬號利用AI技術“魔改”《三國演義》《西遊記》等經典名著，惡意顛覆重要人物人設並虛構低質獵奇劇情來博取流量，這類內容被網信部門形象地稱爲“數字泔水”。部分賬號利用AI合成虛假災害現場與救援畫面來編造不實社會熱點，或者打造AI數字人進行虛假宣傳帶貨以誤導老年羣體。

還有部分賬號藉助AI“換臉”與“換聲”技術，冒公衆人物形象生成低俗舞蹈或擁抱接吻等視頻來進行營銷牟利。此外，一些平臺批量發佈詭異恐怖、暴力低俗內容，甚至針對未成年人炮製諸如懷孕、打架等不實場景，傳播夾雜暴力恐怖或軟色情的“毒動畫”和兒童“邪典”視頻，嚴重傷害和惡搞了未成年人形象。更有少數不法分子利用AI“託管”軟件模擬真人運營賬號、生成同質化文案來充當網絡水軍，甚至有部分智能體平臺的封面和對話內容涉嫌包含淫穢色情信息，相關部門已依法予以警告、罰款、下架或關停等嚴厲處置。

網信部門表示，下一步將在此次階段性成效的基礎上，持續密切關注AI生成合成內容帶來的新情況與新風險，常態化防範技術濫用行爲，爲構建清朗的網絡空間提供堅實保障。