Import AI 457: AI stuxnet; cursed Muon optimizer; and positive alignment ★ 78
Import AI (Jack Clark)15d agoCommentary本期 Import AI 深入探討三個前沿議題：首先是「AI 版 Stuxnet」，分析自主 AI 代理如何被用於發動高精準度、具備適應性的網路攻擊；其次剖析近期在開源社群大放異彩的 Muon 優化器，探討其獨特的正交化機制及在實際應用中遇到的「詛咒」與挑戰；最後介紹「積極對齊（Positive Alignment）」概念，呼籲安全研究應從單純的「禁止有害行為」轉向「主動引導 AI 促進人類合作與福祉」。
GDS weighs in on the NHS's decision to retreat from Open Source
Simon Willison's Weblog16d agoCommentary英國國民保健署（NHS）因「Project Glasswing」回報的 AI 安全漏洞，決定關閉其開源程式庫。對此，英國政府數位服務局（GDS）罕見公開介入，發布指引強調公共部門應「預設保持開源」，指出將程式碼私有化會增加成本並減少外部監督。專家指出，這代表英國政府內部對於開源與安全政策產生了嚴重的公開分歧。
Import AI 441: My agents are working. Are yours? ★ 75
Import AI (Jack Clark)134d agoCommentary在本期 Import AI 中，Jack Clark 探討了 AI Agent 的實用化轉折點，分享他如何將 Agent 融入日常工作流，指出 Agent 已從「玩具」走向「實用工具」。此外，本期也介紹了一項安全研究「毒泉（Poison Fountain）」，展示了攻擊者如何透過持續注入惡意數據，污染 AI 系統的長期記憶與檢索機制，對當前日益普及的 Agent 安全性敲響警鐘。
Hugging Face and VirusTotal collaborate to strengthen AI security★ 75
Hugging Face Blog223d agoReleaseHugging Face 與知名安全平台 VirusTotal 展開合作，旨在提升開源 AI 生態系的安全性。雙方將針對託管在 Hugging Face 上的模型進行深度安全掃描，特別是防範利用 PyTorch pickle 格式等漏洞傳播的惡意代碼。此舉將幫助開發者更安全地下載與部署開源模型，降低供應鏈攻擊風險。
Hugging Face and JFrog partner to make AI Security more transparent★ 70
Hugging Face Blog455d agoBusinessHugging Face 與軟體供應鏈安全領導廠商 JFrog 展開戰略合作。雙方將整合 Hugging Face 的開源模型生態系與 JFrog 的安全平台，讓企業在引進 AI 模型時能進行自動化漏洞掃描與惡意代碼檢測。此舉旨在解決 AI 供應鏈中的安全隱憂，讓 AI 開發流程更加透明且符合企業合規要求。
Hugging Face Teams Up with Protect AI: Enhancing Model Security for the ML Community★ 75
Hugging Face Blog588d agoBusinessHugging Face 宣布與 AI 安全領導廠商 Protect AI 展開合作，旨在提升開源機器學習（ML）社群的模型安全性。雙方將共同應對日益嚴重的開源模型安全威脅，如惡意代碼注入與反序列化漏洞。透過整合先進的安全掃描技術，此合作將幫助開發者在 Hugging Face Hub 上更安全地分享與下載模型，降低供應鏈安全風險。
2024 Security Feature Highlights★ 75
Hugging Face Blog665d agoReleaseHugging Face 發布 2024 年安全功能亮點，展示其在保護開源 AI 生態系上的多項努力。平台引入了自動化惡意軟體與 Safetensors 安全掃描、敏感金鑰（Secrets）偵測，並與 Sigstore 合作推出模型加密簽章。此外，也強化了細粒度存取權限（Scoped Tokens）與多因素驗證（MFA），為開發者與企業提供更安全可靠的模型託管環境。
Shared network vulnerability disclosure★ 75
Replicate Blog740d agoIncidentAI 模型託管平台 Replicate 揭露了一項已修復的嚴重安全漏洞。該漏洞由雲端安全公司 Wiz 發現，源於多租戶環境下的共享網路配置缺陷。攻擊者可透過上傳惡意模型，繞過容器隔離並存取其他用戶的私有模型、輸入與輸出數據。Replicate 已於第一時間完成修復、加強網路隔離，並確認除研究人員的測試外，無其他用戶數據外洩。
AI Watermarking 101: Tools and Techniques★ 75
Hugging Face Blog827d agoTutorial隨著 AI 生成內容爆發，如何識別「AI 製造」成為關鍵。Hugging Face 發布的這篇指南深入探討了 AI 水印技術，涵蓋文字生成（如透過調整 Token 機率分佈的綠名單機制）與影像生成（如 Stable Signature 等隱形潛在空間水印）。文章不僅介紹了現有的開源工具，也客觀分析了水印技術在對抗剪裁、改寫等攻擊時的魯棒性限制與未來挑戰。
🐶Safetensors audited as really safe and becoming the default★ 75
Hugging Face Blog1106d agoReleaseHugging Face 宣布其開發的 Safetensors 格式已成功通過專業安全公司 Trail of Bits 的審計，確認其安全性。相較於傳統具有任意程式碼執行風險的 Pickle 格式，Safetensors 不僅安全，還具備極速載入（Zero-copy）的優勢。Hugging Face 已正式將其設為平台上的預設模型儲存格式，推動開源 AI 社群邁向更安全的生態。