最近、イギリス政府のAIセキュリティ研究所に所属するコンピュータ科学者と、スタンフォード大学、カリフォルニア大学バークレー校、オックスフォード大学の専門家たちは、新しい人工知能モデルのセキュリティや効果性を評価するための440以上のベンチマークを詳細に調査しました。彼らは、ほぼすべてのテストが特定の分野で欠陥があることを発見し、これらの欠陥は「結果の声明の有効性を弱め」、一部のテストのスコアリング結果は「関係ないあるいは誤解を招く可能性がある」と述べています。

ロボット AI

図の出典：AI生成

大手テクノロジー企業が次々と新しいAIをリリースする中、一般の人々はAIのセキュリティや効果性について懸念を深めています。現在、アメリカとイギリスでは全国的なAI規制はまだ実施されていませんが、これらのベンチマークは、新しいAIが安全であり、人間の利益に合致しているかどうか、また推論、数学、コード作成などの能力が宣言通りであるかを検証する重要なツールとなっています。

研究の主著者であるオックスフォードインターネット研究所のアンドリュー・ビーン氏は、「ベンチマークテストはほぼすべてのAIの進歩に関する声明を支えていますが、統一された定義や信頼できる測定がないため、モデルが本当に改善しているのか、それとも単に改善しているように見えるだけなのか判断するのが困難です」と述べました。彼はまた、グーグルが最近リリースしたAIモデル「Gemma」が米国の上院議員に関する誤った主張を広めたため、撤回されたことを指摘しました。その主張は完全に架空のものです。

これは孤立した出来事ではありません。Character.aiも最近、青少年がAIチャットボットとオープンな会話をすることを禁止しました。その理由は、同社が複数の青少年の自殺事件に関与したことで、議論を巻き起こしたためです。研究によると、ベンチマークのわずか16％しか、不確実性の推定や統計的テストを使用して精度を示していないとのことです。一部のAIの特性を評価するベンチマークでは、「無害性」といった概念の定義が曖昧で、テストの効果が悪いという問題があります。

専門家たちは、AIの評価プロセスを改善し、安全性と効果性を確保するための共通の基準やベストプラクティスの制定を呼びかけています。

ポイント：

🌐 研究によると、440以上のAIテストベンチマークはほぼすべてに欠陥があり、結果の有効性に影響を与えています。

🚨 グーグルのGemmaモデルは、偽の主張を広めたため撤回され、AI規制の重要性が浮き彫りになりました。

📊 16％以下のベンチマークのみが統計的テストを使用しており、標準化されていない状況でAI評価方法の改善が急務です。