Meta研究人員提出輕量級微調方法RA-DIT提高語言模型知識檢索能力

最近,Meta的研究人員提出輕量級微調方法RA-DIT,用於提升語言模型的知識檢索能力。該方法通過兩階段調優,一是提升語言模型利用檢索信息的能力,二是優化檢索器提供更相關內容。實驗結果顯示,RA-DIT65B在知識密集的零樣本和少樣本測試中優於現有模型。它還顯著改善了對知識利用和語境理解要求較高任務的表現。研究證明了RA-DIT這種輕量級調優對檢索增強語言模型的有效性,尤其是需要訪問大規模知識源的場景。