生成型AIのソーシャル分野において、スタートアップ企業のCHAIは驚くべき成績を収めています。同社は過去3年間で毎年3倍の爆発的な成長を遂げており、現在の年間定額収入(ARR)は6,800万ドルに達し、会社の評価額はついに14億ドルを突破しました。

ユーザー数の急激な拡大に伴い、CHAIは開発者にとって成長スピードだけでなく、AIの安全性にも責任を持つ必要があると認識しました。同社は最近、安全フレームワークを大幅に更新し、自殺予防および自傷行為への介入を重点的に実装するリアルタイムモニタリングシステムを導入しました。このシステムは、欧州連合のAI法案やNISTリスク管理フレームワークの厳しい要件に基づいており、国際自殺予防協会(IASP)の専門的なガイドラインも取り入れられています。

AIが潜在的なリスクのあるコンテンツを生成しないようにするため、CHAIは高度なリアルタイム「分類器」を開発しました。この分類器はアクティブな会話を自動スキャンし、ユーザーが心理的困難や自傷傾向を示していることを検出すると、AIは単なるチャットパートナーではなく、「デジタル生命線」として機能します。あらかじめ設定された共感的な言葉を使って、ユーザーを専門的な医療機関や親しい人に助けを求めさせるよう導きます。

また、データプライバシーに関して、AIbaseはCHAIが医療レベルのHIPAA基準に近いプライバシーポリシーを採用していることを把握しています。すべての会話記録は暗号化されたサーバーに保存され、内部監査プロセスでは厳格な非識別化処理が行われます。CHAIは、急速に成長するユニコーン企業として、これらの取り組みはAI業界において「安全を最優先にする」先例を樹立することを目的としており、技術の拡張と同時に人間の倫理的価値に合致させることを確保するためであると述べています。