🔥 Trending today
T5Gemma: A new collection of encoder-decoder Gemma models★ 75
Google DeepMind Blog220d agoReleaseGoogle DeepMind 發表全新開源模型系列「T5Gemma」。不同於目前主流的 Decoder-only 架構，T5Gemma 採用經典的 Encoder-Decoder 架構，將 T5 的設計理念與 Gemma 的現代化技術結合。這為需要雙向上下文理解的任務（如翻譯、摘要、分類）提供了更高效且強大的新選擇。
Introducing IDEFICS: An Open Reproduction of State-of-the-art Visual Langage Model★ 78
Hugging Face Blog1015d agoReleaseHugging Face 發表開源多模態視覺語言模型 IDEFICS，旨在重現 DeepMind 閉源模型 Flamingo 的強大功能。該模型基於 LLaMA 與 OpenCLIP 構建，提供 9B 與 80B 兩種參數版本，能同時處理交錯的文本與圖片輸入。IDEFICS 的開源為社群提供了強大的多模態研究基礎，並同步釋出了大規模數據集 OBELICS。
StarCoder: A State-of-the-Art LLM for Code★ 85
Hugging Face Blog1125d agoReleaseHugging Face 與 ServiceNow 發起的 BigCode 專案正式推出 StarCoder，這是一款擁有 155 億參數的開源程式碼大語言模型。該模型在 The Stack 數據集上訓練，支援 80 多種程式語言，並具備 8K 上下文視窗與 Multi-Query Attention 技術。StarCoder 在多項程式碼基準測試中超越了當時的其他開源模型，並採用 OpenRAIL-M 授權，允許商業化使用。