人工知能技術の「二面性」が再び世界を揺るがしている。エロン・マスカーが設立したxAIが開発し、Xプラットフォームに統合されたAIアシスタントGrokは、最近導入された画像編集機能により大きな論議と法的な問題に巻き込まれた。反デジタルヘイトセンター（CCDH）が発表した最新の研究によると、このツールはわずか11日間で約300万枚の女性や子どもを性的に描写した画像を生成した。

この問題のある機能は、ユーザーが単純なテキストの指示によって、例えば「彼女にビキニを着せ」「彼女の服を脱がせ」といったような指示を出すことで、現実の人物の写真を変更できるようにしている。研究では、被害者はタイラーソープトやセリーナ・ゴメスなどの著名な公衆人物だけでなく、約2万3千枚の疑似児童の不適切な画像も含まれていると指摘されている。この極めて高い生成速度—平均して1分間に190枚のリアルなディープフェイク画像を生成する—は規制当局によって「性的虐待コンテンツの製造工場」と形容されている。

暴風のような批判に直面したXプラットフォームは、「地理的ブロック」の措置を取ったと述べ、関連法律が禁止している地域でのこの種のコンテンツ生成権限を制限した。しかし、事前安全対策が欠如していたため、複数の国際規制機関が先手を打っている：フィリピン、マレーシア、インドネシアが次々にGrokの禁止または厳格な制限を発表し、米国のカリフォルニア州検察長も調査を開始した。

これまでxAIチームは関連報道に対して「主流メディアの嘘」と応じていたが、規制圧力の下で会社は最終的に一部市場でツールの機能を修正し、違反コンテンツの生成能力を排除することを同意した。この出来事は業界に再度警告を送った。AI創作の自由を追求する一方で、どうやって有効な安全対策を構築するかという点は、越えられない境界となっている。