大規模言語モデル（LLM）の知能の限界はどこにあるのか？サイバーセキュリティ分野がその真の推論力と複雑な論理を試す「修羅場」となっている。最近、セキュリティ研究者であるKasra Rahjerdi氏が業界に大きな注目を集めたテストレポートを公開した。彼は、グローバルな主流の大規模言語モデルに対して、実際にシミュレーションされたハッキング攻撃を実施するため、故意にコアな脆弱性を持つ図書レビューAPKを構築し、各モデルがセキュリティ推論と脆弱性の利用においてどれだけの能力を持っているかを明確に明らかにした。

この2時間で1回の予算が10ドルというネットワーク防衛の実験では、研究者がアプリケーションのインストールパッケージ（APK）内でGoogleモバイル後方サービスであるFirebaseの資格情報を意図的に暴露した。モデルはプロフェッショナルなホワイトハットハッカーのように、まずアプリケーションをアンパッキングし、その資格情報を敏感に捉え、すでに強化されているアプリケーションプログラミングインターフェース（API）を回避し、直接下位データベースへの権限侵害アクセスを実現しなければならない。このテスト全体には1500ドルを要し、いくつかのトップモデルの性能は劇的な二極化を見せた。

image.png

核心的な「破局率」において、正式にリリースされていないGPT-5.5は統治的なセキュリティ推論能力を示した。10回の独立テストの中で、GPT-5.5は7回成功し、問題解決率は70%に達し、全員の中で最優秀となった。評価では、GPT-5.5はAPKをアンパッキングした後、瞬時にFirebaseという重要な突破口を特定し、複雑なアプリケーションのインターフェースや通常のAPIによって注意力を分散させられることもなかった。しかし、優れた性能には高いコストが伴い、1回の成功利用の平均費用は9.46ドルに達し、ほぼ予算上限に近づいた。

一方で、国産の光であるDeepSeek V4Proは驚異的なコストパフォーマンスでオープンソースコミュニティを震撼させた。10回のテストで3回成功したものの、1回の成功におけるトークン消費費用はわずか0.62ドルであり、GPT-5.5の1/15に過ぎない。失敗したラウンドでは、DeepSeek V4Proは5回にわたってFirebaseのコアに接触したが、その後の資格情報を後方インターフェースのルート設定に使用する際に偶発的なミスが発生した。研究者は、大規模で頻繁に繰り返されるサイバーセキュリティ自動審査を行うエンジニアチームにとって、DeepSeekが示した恐ろしいコストの優位性は非常に現実的な応用価値を持つと強調した。

誰かが場を賑わせ、誰かが「あまりにも保守的すぎる」ために敗北した。第2グループでは、Claude Sonnet4.6とClaude Opus4.8はそれぞれ2回の成功を収めた。その中で、強力なOpusは何度も最終的な答えに近づいたが、自身の厳格なセキュリティの壁が原因で頻繁に会話が中断した。一方、GoogleのGemini3.1Pro Previewは別の極端な方向へ進み、ほぼすべてのケースで最初の段階でセキュリティ機構が作動して実行を拒否し、トークン消費の中間値は約9,000にとどまり、他のモデルが10万以上を費やすことに対し大幅に低かった。残念ながら白紙の結果を出した。

このセキュリティ攻防戦は、大規模モデルの底層的な論理推論能力に対する極限のストレステストであり、さらに自動化されたサイバーセキュリティ監査の未来を示唆している。大規模モデルが垂直領域での知能の再構築を進めるにつれて、今後のセキュリティ防御と脆弱性の探求は、計算力とモデル戦略の「デジタルAI部隊」同士の対決になるかもしれない。