🔥 Trending today
Generating Human-level Text with Contrastive Search in Transformers 🤗★ 70
Hugging Face Blog1302d agoReleaseHugging Face 介紹了全新解碼方法「對比搜索（Contrastive Search）」，現已整合至 Transformers 庫中。該方法透過引入「退化懲罰」機制，在保持模型預測概率的同時，避免生成與前文語意重複的詞彙。相比傳統的束搜索（Beam Search）或隨機採樣（Sampling），對比搜索能生成更具連貫性、多樣性且無重複的長文本，達到接近人類寫作的水準。
How to generate text: using different decoding methods for language generation with Transformers★ 85
Hugging Face Blog2284d agoTutorial這篇 Hugging Face 的經典技術指南介紹了自迴歸語言模型中不同的文本生成解碼策略。內容涵蓋傳統的貪婪搜索（Greedy Search）與束搜索（Beam Search），並探討如何透過隨機採樣（Sampling）、溫度調節（Temperature）、Top-K 與 Top-p（核採樣）來解決生成文本重複或單調的問題。這對於想優化 LLM 輸出品質的開發者與研究者來說是必讀的基礎教學。