在人工智能領域，尤其是大語言模型（LLM）的應用中，準確性一直是一個備受關注的話題。爲了提升 LLM 在回答複雜問題時的表現，檢索增強生成(RAG)技術應運而生。這項技術允許模型在回答問題之前，先從知識庫中檢索相關信息，從而生成更加準確和有根據的答案。然而，RAG 技術也存在一些不足，尤其是在處理人類語言的多樣性方面。爲了解決這些問題，Lexical Diversity-aware RAG(DRAG)應運而生。

image.png

DRAG 技術針對 RAG 的短板，尤其是在檢索和生成階段，通過細緻的分析和靈活的校準來提升準確性。在檢索階段，DRAG 通過 “多樣性感知相關性分析器”（DRA），將問題拆分爲三類組件:不變組件、變體組件和補充組件。DRA 會根據不同組件的特性設定相關性評估標準，從而篩選出與問題核心內容更相關的文檔。

在生成階段，DRAG 引入了 “風險引導稀疏校準策略”（RSC），以降低無關信息對模型生成答案的影響。RSC 通過評估每個詞的風險，特別關注那些可能受到噪聲影響的高風險詞，並進行有針對性的校準，從而提高最終生成結果的質量。

通過這兩大創新，DRAG 技術在處理複雜問題時的準確性大幅提升，實際測試表明，使用 DRAG 的模型準確率比傳統 RAG 提升了45.5%。這一進展標誌着人工智能在理解和生成自然語言方面又邁出了重要一步，尤其在面對多樣化的語言表達時，DRAG 展現出了更強的能力。

隨着 DRAG 技術的不斷髮展，未來的人工智能模型有望在更多應用場景中提供更加精準和可靠的答案。

劃重點:  

📝 DRAG 技術通過細分問題組件，提升檢索準確性。  

🔍 DRA 分析器和 RSC 校準策略共同降低無關信息干擾。  

🚀 使用 DRAG 後，模型準確率提高了45.5%。