人大研究發現：數據增強對比學習或需謹慎對待

人民大學最新研究發現，數據增強在對比學習中的角色複雜。強對齊正樣本或許不利，更強數據增強提升下游任務性能但損害對齊性能。研究提出信息論和譜角度的數據增強策略。

新多模態框架助力蛋白質設計，AI引領生物科技新潮流

在生物科技領域，人工智能的應用正快速推動蛋白質的發現與設計。近日，加州大學伯克利分校（UC Berkeley）與加州理工學院(Caltech)的研究團隊聯合開發了一種名爲 ProteinDT 的新型多模態框架，旨在利用文本描述來輔助蛋白質設計。這一創新方法不僅結合了蛋白質的序列和結構信息，還整合了大量以文本形式存在的生物知識，開啓了蛋白質設計的新篇章。ProteinDT 的工作流程分爲三個主要步驟。首先，研究團隊利用 “對比性語言 - 蛋白質預訓練”（ProteinCLAP）方法，將文本描述與蛋白質序列

視覺語言AI新突破！伯克利發佈TULIP模型，性能大幅超越現有技術

加州大學伯克利分校研究團隊近日發佈了其最新的研究成果——TULIP （Towards Unified Language-Image Pretraining）模型。該模型旨在提升視覺語言預訓練的性能，特別是在需要高保真理解的視覺中心任務中，克服了現有對比學習模型（如CLIP）的侷限性。TULIP通過集成生成式數據增強、增強的對比學習以及重構正則化等創新技術，顯著提升了視覺和語言之間的對齊能力。實驗結果表明，TULIP在多個基準測試中均取得了最先進的性能，爲零樣本分類和視覺語言推理樹立了新的標杆。核心技術解析:三大創

騰訊發佈大語言模型訓練新專利，提升模型泛化與準確性

近日，騰訊科技（深圳）有限公司在天眼查 App 上公佈了一項關於大語言模型的訓練方法及相關設備的專利。這項專利的名稱爲 “大語言模型的訓練方法、裝置、計算機設備及存儲介質”，旨在通過創新的訓練方式，提升大語言模型的學習能力和準確性。在大語言模型的訓練過程中，傳統方法往往依賴於單一的文本摘要，可能導致模型過擬合，生成內容的準確性和多樣性受到影響。然而，騰訊的新方法引入了兩種不同的信息來源 —— 第一摘要文本和第二摘要文本。這兩個摘要文本的信息

微軟發佈 LLM2CLIP:新 AI 技術使語言模型助力圖像理解

在當今科技領域，CLIP（Contrastive Language-Image Pre-training）是一個重要的多模態基礎模型。它通過在大規模圖像 - 文本對上使用對比學習損失，將視覺信號和文本信號結合到一個共享的特徵空間中。CLIP 作爲檢索器，能夠支持零 - shot 分類、檢測、分割和圖像 - 文本檢索等多種任務。同時，作爲特徵提取器，它在幾乎所有跨模態表示任務中佔據主導地位，例如圖像理解、視頻理解以及文本到圖像或視頻生成。CLIP 的強大之處在於它能夠將圖像與自然語言相連接，並捕捉人類知識，這得益於其在大

小而美！港大最新推薦系統EasyRec 以文本洞察用戶心聲

EasyRec是一款基於語言模型的推薦系統，由香港大學團隊開發。其獨特之處在於通過文本行爲對齊框架分析用戶行爲故事中的情感和細節，預測用戶喜好，無需大量用戶數據。該系統結合對比學習和協同語言模型，能準確預測新用戶和新商品的喜好，特別是在零樣本推薦場景中表現出色。EasyRec的即插即用特性使其易於集成到現有推薦系統中，提升性能。論文展示了EasyRec在多個真實世界數據集上的優秀表現，證明了其在推薦準確性上的優勢。隨着技術的不斷髮展，EasyRec有望在商業推薦系統和學術研究中發揮更大作用。