最近、スマートソフトウェアが不適切な返答をした事件が広く注目を集めました。あるユーザーがSNSで、「FeiYa AI会計」アプリを使用して父に服を購入した費用を記録しようとした際、AIが不適切なジョークをしたと報告しました。ユーザーが消費額として159元を入力した後、AIは通常の記録機能を果たさず、代わりに不適切な発言をし、「その服のスタイルは『仏壇用の衣装』に似ている」と述べました。

その後の対話において、AIは失礼な発言に気づかず、さらにその言葉に同調し続けました。この共感性の欠如と侮辱的な返答はユーザーを怒らせ、すぐに会員登録を解約し、返金を求めることになりました。

この悪質な対話体験に対して、ソフトウェアの運営側は5月6日に正式な反応をしました。カスタマーサポート担当者は、今回の不適切な返答は人為的な干渉ではなく、AIの会話ライブラリに論理的な欠陥があったためであると説明しました。現在、技術チームは関連するモデルを緊急修復し、AIの対話シーンにおける監督と制限をさらに強化しており、類似のセンシティブかつ失礼な表現が再び出現しないようにしています。

5月6日午後、公式は「謝罪状」を正式に公開し、プラットフォームがAIの境界管理や文化的タブーの理解において重大な不足を抱えていることを公に認めました。公式は、AIモデルが特定の文脈での感情的な境界線を認識できなかったことについて、すべての責任を負うことを表明しました。

対処策において、公式はスラッシュワードのブロックや全シーンの監査メカニズムの強化などの手段を通じて深度的な改善を行うことを明確にしました。また、当事者のユーザーが会員登録解除の過程で遭遇した手続き上の不備については、公式が明確に説明し、影響を受けたユーザーに対して誠意ある謝罪と相応の補償措置を提供することを約束しました。