AI企業のAnthropicが新しいモデル「Claude Fable5」を発表した後、業界で議論を呼ぶ隠れた制限措置が導入されたことが明らかになり、AI研究コミュニティからの強い反対を受けたため、公式に規則の調整と謝罪を発表しました。

Anthropic, クロード、claude

据悉、Claude Fable5 はもともと多重のセキュリティ保護機能を備えており、ネットワークセキュリティ、生物学、化学などの危険性の高い分野の質問には、性能が低いモデルに自動的に切り替える仕組みになっていました。これにより、技術の悪用リスクを回避する目的がありました。また、このモデルを使って競合AIを開発しようとする研究者に対して、ユーザーの知らない間にモデルの性能を意図的に低下させるという暗黙的な制限を講じていました。サービス契約によれば、このプラットフォームではユーザーがClaudeを用いて類似の競合モデルを訓練することを禁止しています。

このような隠れ制限は業界内で不満を招き、多くの研究者はこれが業界発展に悪影響を及ぼし、AI分野でのリソースの独占につながる可能性があると考えました。世論の圧力を受け、Anthropicは公式に謝罪し、修正を発表しました。

修正後、プラットフォームのセキュリティ保護措置はすべて公開されるようになります。ユーザーが高性能な競合AIを開発しようとしていることを検出した場合、システムは自動的にアラートを表示し、関連する要求を明確に拒否するか、直接低性能モデルに切り替えることになり、以前のような裏側での性能低下は行われなくなります。

重要なポイント：

🔧 Claude Fable5 は競品開発ユーザーのモデル性能を意図的に低下させていたが、この行動は業界から反対を受けた。

🙏 Anthropicはこの不適切な取り組みについて謝罪し、すべてのセキュリティ管理ルールを全面的に変更することを発表した。

👀 新しいルールでは、公開的なアラートや明確な拒否を行うようになった。すべての制限措置はユーザーにとって完全に見えるようにしている。