最新の報道によると、イギリス政府のAI安全研究所と複数の著名な大学に所属するコンピュータサイエンティストたちが、新しい世代の人工知能（AI）モデルの安全性と効果性を評価するために使われているテストに広範な欠陥があることを発見しました。この研究では440以上のベンチマークテストを分析し、ほぼすべてのテストが何らかの弱点を持っていることがわかりました。そのような弱点は、最終的な結論の有効性に影響を与える可能性があります。

ロボットAI

図の出典：AI生成

研究の主要執筆者であるオックスフォードインターネット研究所のアンドリュー・ビーン氏は、これらのベンチマークテストは新規にリリースされるAIモデルの安全性や人間の利益に合致しているかどうかをチェックする重要なツールであると述べています。しかし、統一された基準や信頼できる測定方法がないため、これらのモデルが本当に進歩しているのか、それとも表面上だけが進歩しているのかを判断するのは困難です。

現在、イギリスとアメリカでは全国的なAI規制法がまだ制定されていない状況において、ベンチマークテストは技術企業が新しいAIをリリースする際のセーフティネットとなっています。最近、一部の企業はAIモデルによる危害のために製品を回収したり、制限を強化したりしています。例えば、グーグルは、米国の上院議員に関する虚偽の主張を捏造したことで大きな論議を巻き起こしたGemmaというAIを回収しました。

グーグルはGemmaモデルがAI開発者や研究者向けに設計されたものであり、一般消費者向けではないと説明し、非開発者が使用していることを知った後で回収しました。また、研究では多くのベンチマークテストが不確実性推定や統計的検定を使用しておらず、そのうち16%のみがこのような対策を講じていたことが明らかになりました。さらに、AIの「無害性」などの特徴についての定義はしばしば議論や曖昧さを伴っており、これによりベンチマークテストの実用性が低下しています。

この研究は、AIの安全性と効果性を評価する能力を向上させるために、共有される基準やベストプラクティスの構築を呼びかけています。

ポイント:  

🔍 過去440以上のAIセキュリティテストが、ほぼすべてに欠陥があり、結論の有効性に影響を与えている。

🚫 ジェッマAIが虚偽の主張を引き起こしたため、グーグルによって回収された。

📊 16%のテストのみが統計的方法を採用しており、共有される基準とベストプラクティスの構築が急務である。