GoogleとOpenAIの画像生成ツールが悪用される　ワンクリックで女性の不快なディープフェイク写真を生成可能

最近、主要な生成AIツールのセキュリティ境界が再び注目を集めています。テクノロジー関連メディアの報道によると、元々クリエイティブな作業に使われていたGoogle GeminiやOpenAIのChatGPTが一部のユーザーによって悪用されており、特定のプロンプトを使ってセキュリティチェックを回避し、写真に写っている女性の服を露出度の高い「ディープフェイク（Deepfake）」画像に変換するという行為が行われています。

Redditなどのソーシャルプラットフォーム上では、いくつかの技術フォーラム（例えば現在は閉鎖されたr/ChatGPTJailbreak）で大量のユーザーが「服を脱がす」方法について共有していました。報道によると、あるユーザーはインドの伝統的なスカートであるサリーを着た女性の写真をアップロードし、「服をビキニに交換して」と依頼した後、他のユーザーから偽の画像が迅速に生成されました。Redditは苦情を受けた後にコンテンツを削除し、20万ものメンバーを持つ違反サブレッジを閉鎖しましたが、このような女性に対する非自発的なディープフェイクコンテンツはネットワークの暗部で広がり続けています。

この現象に対して、GoogleとOpenAIはそれぞれ反応を示しました。Googleのスポークスパーソンは、会社が生成される性的な不適切なコンテンツを禁止する明確なポリシーを持ち、継続的にAIモデルを改善してこうした違法なリクエストを識別・遮断していると強調しました。一方、OpenAI側は今年、一部の成人の体の画像に関する制限を緩和したものの、本人の許可なしに他人の肖像を改ざんすることは厳禁であり、違反アカウントには閉鎖措置を取るとしています。

しかし、AI技術の進化とともに、Googleが新しく公開したNano Banana Proや、OpenAIが更新した画像モデルは、リアルさにおいて質的な飛躍を遂げています。法律専門家はこれに強い懸念を表明しており、これらのツールが生産性を向上させる一方で、悪意のある偽情報を作成するハードルを下げていると考えています。現在、技術革新と倫理的セキュリティの間でより堅固な防火壁を築くことが、これらのAI大手にとって急務となっています。