第22回中国サイバーセキュリティ年会（国家サイバーセキュリティ宣伝週間のサイバー防御協調フォーラムを含む）において、国内で初めてAI大規模モデルに対するベータテストの結果が公表された。このイベントは中央ネットワーク情報弁公室のサイバーセキュリティ調整局の指導のもと、国家コンピュータネットワーク緊急対応技術処理調整センターが主催し、559人の白帽セキュリティ専門家が参加し、15種類のAI大規模モデルおよびアプリケーション製品に対して包括的なセキュリティ脆弱性テストが行われた。

このテストは、基本的な大規模モデルからスマートエージェントやモデル開発プラットフォームに至るまで多様な製品をカバーしており、攻撃者の視点から潜在的なセキュリティリスクを発見することを目的としている。その結果、さまざまな種類のセキュリティ脆弱性が合計281件発見され、そのうち大規模モデル特有の脆弱性が177件あり、割合は60%を超えた。これは、AI大規模モデルが従来のセキュリティ分野以外にも多くの新しいリスクを抱えていることを示している。

ハッカー、脆弱性

テストによって明らかにされた典型的な脆弱性リスクには、一部の製品で深刻な出力不適切な問題があり、情報漏洩に関する脆弱性が頻繁に発生し、プロンプトインジェクション型の脆弱性も一般的なリスクである。また、一部の大規模モデル製品は既に一定の保護能力を備えているものの、無制限の消費攻撃に対する対策はさらに強化する必要がある。注目すべきは、従来のセキュリティ脆弱性が依然として広く存在し、十分な注意が必要である。

テストに参加した主流の大規模モデル製品の中では、騰訊（テンセント）の混元大モデル、百度（バイドゥ）の文心一言、アリババグループの通義Appなどは、発見された脆弱性が比較的少なかったため、高いセキュリティ保護レベルを示している。この結果は、ユーザーと開発者にとって信頼感を与えるものとなった。

イベントの最後に、公式は4つのAI大規模モデルセキュリティガバナンスの要請を提示し、今後の保護措置や脆弱性管理の重要性を強調した。具体的には、セキュリティ保護の強化、脆弱性の分類基準の制定、社会的な白帽チームの参加の奨励、そしてAIシステムの全ライフサイクルにセキュリティ管理を統合することが含まれる。