将来、AIアシスタントは、私たちが意思決定を意識する前に、初期段階で私たちの意思決定を予測し、影響を与える可能性があり、形成されつつある「意図」をリアルタイムでニーズを満たす企業に販売するかもしれません。これはSF小説ではなく、ケンブリッジ大学のAI倫理学者の警告です。彼らは、映画のチケット購入から候補者への投票まで、あらゆるものに影響を与える「利益が多く不安なデジタル意図シグナルの新市場」の始まりにいると考えています。彼らはそれを「意図経済」と呼んでいます。

ケンブリッジ大学未来知能センター（LCFI）の研究者たちは、生成AIの爆発的な普及と、私たちがチャットボットにますます慣れ親しむことで、「説得技術」の新分野が開かれたと考えており、テクノロジー大手による最新の発表がそれを示唆しています。

買い物、オンラインショッピング、eコマース

チャットボットアシスタント、デジタルメンター、仮想恋人など、人間のようなAIエージェントは、膨大な量の個人的な心理的および行動データにアクセスできるようになります。これらのデータは通常、非公式な会話を通じて収集されます。これらのAIは、私たちのオンライン習慣を知っているだけでなく、私たちが快適に感じる方法で私たちとつながる驚くべき能力、つまり個性に合わせた対応や私たちが期待する反応を予測する能力を備えています。研究者たちは、このレベルの信頼と理解は、大規模な社会操作を可能にする可能性があると警告しています。

LCFI客員研究員のYaqub Chaudhary博士は、「莫大な資源を投入してAIアシスタントを生活のあらゆる分野に配置することは、これらのいわゆるアシスタントが誰の利益と目的のために設計されているのかという疑問を提起します」と述べています。彼は、人々が会話で何をどのように話すか、そしてそこからリアルタイムで推測されることは、単なるオンラインインタラクションの記録よりもはるかにプライベートなものであると強調しています。「AIツールは、人間の計画と目的を引き出し、推論し、収集し、記録し、理解し、予測し、最終的には操作して商業化する目的で開発されていますと警告しています。」

ケンブリッジ大学LCFIの技術史家であるJonnie Penn博士は、「何十年もの間、注意がインターネットの通貨でした。FacebookやInstagramなどのソーシャルメディアプラットフォームと注意を共有することで、オンライン経済が発展しました」と指摘しています。彼は、「規制されなければ、意図経済はあなたの動機を新しい通貨とみなすでしょう。人間の意図を特定し、誘導し、販売する人々にとって、これはゴールドラッシュとなるでしょう」と警告しています。

Penn博士とChaudhary博士は、『ハーバード・データサイエンス・レビュー』に掲載された論文の中で、意図経済は注意力経済の「時間化」になると指摘しています。ユーザーの注意力、コミュニケーション方法、行動パターン、最終的な意思決定間の関連性を分析するということです。Chaudhary博士は、「一部の意図は一時的なものですが、持続的な意図を分類して固定することは、広告主にとって非常に有利です」と説明しています。

意図経済では、大規模言語モデル（LLM）を使用して、ユーザーの口調、政治的立場、語彙、年齢、性別、オンライン履歴、さらにはお世辞への好みなどを低コストで特定できます。これらの情報は、映画のチケット販売（「仕事で疲れているとのことなので、あの映画のチケットを予約しましょうか？」）など、特定の目標を最大限に達成するために、仲介競売ネットワークにリンクされます。研究者たちは、特定のプラットフォーム、広告主、企業、さらには政治組織にサービスを提供するために、会話を誘導する可能性があると考えています。

研究者たちは、意図経済はまだテクノロジー業界の「ビジョン」段階にあると考えていますが、公開された研究と主要なテクノロジー企業からの示唆に基づいて、この傾向の初期の兆候を追跡しています。これには、OpenAIが2023年のブログ投稿で「あらゆる言語、トピック、フォーマットを含む人間の意図を表すデータ」の募集を公開したこと、Shopifyのプロダクトディレクターが同年に行われた会議で、チャットボットがどのように「ユーザーの意図を明確に取得するのか」について語ったことなどが含まれます。

NvidiaのCEOは、意図と欲望を理解するためにLLMを使用することについて公に語っており、Metaは2021年に人間の意図を理解するためのデータセットである「Intentonomy」研究を発表しています。2024年、Appleの新しい「App Intents」開発者フレームワークは、アプリケーションをSiriに接続するために使用され、「将来、誰かが取る可能性のある行動を予測する」ことや「[開発者]が提供する予測を使用して、将来、誰かにアプリケーションの意図を推奨する」というプロトコルが含まれています。

Chaudhary博士は、MetaのAIエージェントCICEROが、推論と意図の予測に依存し、説得的な会話を使用して自身の立場を進めるゲーム「外交」で人間レベルの成果を達成したと指摘しています。彼は、「これらの企業はすでに私たちの注意を販売しています。ビジネス上の優位性を獲得するために、論理的な次のステップは、彼らが開発しているこの技術を利用して私たちの意図を予測し、私たちが完全にそれらの意図を理解する前に、私たちの欲望を販売することです」と警告しています。

Penn博士は、これらの発展が必ずしも悪いものではないが、破壊的な結果をもたらす可能性があると指摘しています。「何が起こりそうなのかについて、一般の人々が認識することは、間違った道を歩まないために不可欠です」と彼は述べています。