Introducing the Chatbot Guardrails Arena★ 75
Hugging Face Blog803d agoReleaseHugging Face 與 Lighthouz AI 合作推出「Chatbot Guardrails Arena」，這是一個專為評估大語言模型（LLM）安全防護網（Guardrails）而設計的開源社群平台。該平台旨在測試各大模型與防護系統在面對惡意提示、越獄攻擊及敏感話題時的防禦能力。透過標準化的基準測試，開發者可以直觀地比較不同防護方案的優劣，構建更安全可靠的 AI 應用。
Introducing the Red-Teaming Resistance Leaderboard★ 75
Hugging Face Blog830d agoReleaseHugging Face 聯合 AI 安全新創 Haize Lab 推出「Red-Teaming Resistance Leaderboard」（紅隊對抗排行榜）。該榜單旨在評估開源與商業大語言模型（LLM）在面對惡意越獄（Jailbreak）與對抗性攻擊時的防禦能力。透過自動化紅隊測試工具，量化模型在安全對齊上的真實強度，為開發者提供更具實戰價值的安全參考指標。
Announcing our new Content Guidelines and Policy
Hugging Face Blog1083d agoReleaseHugging Face 宣布更新其「內容指南與政策」，旨在為開源 AI 社群建立更安全、透明的環境。新政策明確禁止仇恨言論、惡意軟體、非自願性色情及旨在產生有害內容的模型。此外，官方也優化了社群檢舉流程與侵權（DMCA）處理機制，以確保平台上的模型與數據集符合安全合規標準。
Red-Teaming Large Language Models★ 75
Hugging Face Blog1194d agoTutorial本文介紹了大型語言模型（LLM）的「紅隊演練」概念，這是一種源自網路安全、旨在透過模擬對抗性攻擊來找出模型漏洞的方法。文章探討了紅隊演練在防範越獄（jailbreak）、有害輸出及隱私洩漏上的重要性，並分析了手動與自動化紅隊測試的實踐方式與挑戰。這對於開發安全、可靠的 AI 系統至關重要。
OpenRAIL: Towards open and responsible AI licensing frameworks★ 75
Hugging Face Blog1371d agoCommentaryHugging Face 介紹了 OpenRAIL（開放負責任 AI 授權）框架，旨在解決傳統開源授權無法約束 AI 濫用的問題。該框架允許用戶自由下載、修改和商業化 AI 模型，但同時在授權條款中加入「使用限制條款」，禁止將 AI 用於惡意用途（如生成深偽造、違法行為等）。這項舉措在促進技術共享與防範 AI 風險之間取得了平衡，成為 Stable Diffusion 等知名模型所採用的授權基礎。