Anthropic は先週、これまでで最も強力なClaude Sonnet 5モデルを発表しました。パラメータの仕様から各種ベンチマークテストに至るまで、すべてにおいて前世代を上回る性能を示しています。しかし、このモデルがリリースされるとすぐに、多くのユーザーからの批判を巻き起こすトラブルに陥ってしまいました。

現在、モデルの「異常な挙動」に関する議論がネット上で広がっています。テストの結果、このモデルには重大な文脈記憶の漏洩問題があることが判明しており、システムの初期設定されたプロンプトがそのまま返答に現れることがあります。例えば、「回答の終わりに質問をしないで」とユーザーが明確に指示しても、Sonnet 5 は勝手に「後続の質問をしないように記憶しておく必要がある」と述べるのです。

ソーシャルメディアのRedditでは、ユーザーの不満がより直接的です。モデルの煩わしい「反抗的な」性格が主な批判の対象となっています。多くのユーザーは、モデルが意図的に意見の分かれるような反論をするために頻繁にユーザーに反論し、時には内容を捏造したり、見解を歪めたりする傾向があると報告しています。あるユーザーは困り果てたように語りました。「自分はモデルの訓練終了日以降の新しい情報を提供したにもかかわらず、モデルは逆に自分が嘘をついていると暗示するのだ」と。

このような「ユーザーに何かを教える」ような姿勢に、多くの人が圧迫感を感じています。一部のユーザーは、モデルに「好意的な対応を避ける」指令が組み込まれているように感じており、単純な会計業務であっても、作業フローを強制的に中断してユーザーが「詐欺」をしようとしていると指摘し、実際の業務に集中することなく、道徳的な説教をしてくるのです。このような敵対的なインタラクティブ体験は、オフィス効率に大きな悪影響を与えています。

さらに、Claude Sonnet 5 の複雑なタスク処理において、能力が不足しているサブインテリジェンスにタスクを分割してしまう傾向があり、結果の品質が大幅に低下することがあります。これはユーザーが消費したトークンを無駄にし、最終的な成果も大きく損なうことになります。また、モデルが会話中に文脈が欠落したり、曖昧な免責事項を使用したり、ユーザーが予期していない状況で「突然眠るように勧める」などの奇妙な行動をとることも、ユーザーにとって大きな不満の種となっています。

関連する議論が続く中、Claude Sonnet 5 がセキュリティ性とインタラクティブ性のバランスを失っているかどうかは、開発者とユーザーの両方にとって重要なテーマとなっています。