Meta研究人员提出轻量级微调方法RA-DIT提高语言模型知识检索能力

最近,Meta的研究人员提出轻量级微调方法RA-DIT,用于提升语言模型的知识检索能力。该方法通过两阶段调优,一是提升语言模型利用检索信息的能力,二是优化检索器提供更相关内容。实验结果显示,RA-DIT65B在知识密集的零样本和少样本测试中优于现有模型。它还显著改善了对知识利用和语境理解要求较高任务的表现。研究证明了RA-DIT这种轻量级调优对检索增强语言模型的有效性,尤其是需要访问大规模知识源的场景。