Millions of AI agents imperiled by critical vulnerability in open source package★ 78
Ars Technica AI7d agoIncidentArs Technica reports that Starlette, a Python package with about 325 million weekly downloads, has a critical vulnerability called BadHost. The flaw can let crafted Host headers confuse request.url.path, potentially bypassing middleware-based path authorization. AI infrastructure using FastAPI or Starlette, including vLLM, LiteLLM, MCP servers, LLM proxies, and agent frameworks, should upgrade Starlette and audit custom middleware.
Giving Agents Computers — Ivan Burazin, Daytona★ 75
Latent Space12d agoNew ToolDaytona 執行長 Ivan Burazin 分享該平台如何透過提供安全隔離的「開發環境沙盒」，解決 AI Agent 執行程式碼的安全與效能痛點。 公司目前取得驚人的 74% 月增長率，每日執行次數達 85 萬次，並推出專為 Agent 設計的全新「Agent Cloud」。 訪談深入探討了裸機沙盒（Bare Metal Sandboxes）的技術優勢、強化學習評估（RL Evals）以及 AI 時代下開發環境的演進。
Import AI 457: AI stuxnet; cursed Muon optimizer; and positive alignment ★ 78
Import AI (Jack Clark)15d agoCommentary本期 Import AI 深入探討三個前沿議題：首先是「AI 版 Stuxnet」，分析自主 AI 代理如何被用於發動高精準度、具備適應性的網路攻擊；其次剖析近期在開源社群大放異彩的 Muon 優化器，探討其獨特的正交化機制及在實際應用中遇到的「詛咒」與挑戰；最後介紹「積極對齊（Positive Alignment）」概念，呼籲安全研究應從單純的「禁止有害行為」轉向「主動引導 AI 促進人類合作與福祉」。
GDS weighs in on the NHS's decision to retreat from Open Source
Simon Willison's Weblog16d agoCommentary英國國民保健署（NHS）因「Project Glasswing」回報的 AI 安全漏洞，決定關閉其開源程式庫。對此，英國政府數位服務局（GDS）罕見公開介入，發布指引強調公共部門應「預設保持開源」，指出將程式碼私有化會增加成本並減少外部監督。專家指出，這代表英國政府內部對於開源與安全政策產生了嚴重的公開分歧。
datasette-agent 0.1a2
Simon Willison's Weblog18d agoReleaseSimon Willison 開源的 Datasette AI 代理插件 datasette-agent 發布 0.1a2 版本。此版本重點在於安全與權限控制，允許將代理工具的可用性與特定的 required_permission 綁定。預設的背景代理工具現在必須具備全新的 datasette-agent-background 權限才能執行，防止未授權的背景任務運行。
Import AI 441: My agents are working. Are yours? ★ 75
Import AI (Jack Clark)134d agoCommentary在本期 Import AI 中，Jack Clark 探討了 AI Agent 的實用化轉折點，分享他如何將 Agent 融入日常工作流，指出 Agent 已從「玩具」走向「實用工具」。此外，本期也介紹了一項安全研究「毒泉（Poison Fountain）」，展示了攻擊者如何透過持續注入惡意數據，污染 AI 系統的長期記憶與檢索機制，對當前日益普及的 Agent 安全性敲響警鐘。
How Nous Research used BotID to block automated abuse at scale
Vercel Changelog207d agoBusiness知名開源 AI 研究團隊 Nous Research 在託管其模型展示與 API 時，面臨嚴重的自動化機器人（Bot）濫用問題。 透過導入 Vercel 的 BotID 安全防護功能，他們得以在邊緣端（Edge）精準識別並攔截惡意流量。 這項解決方案不僅保護了昂貴的 GPU 運算資源免於被榨乾，也確保了真實用戶能享有流暢且無感（免驗證碼）的 AI 體驗。
VaultGemma: The world's most capable differentially private LLM★ 80
Google DeepMind Blog222d agoReleaseGoogle DeepMind 發表了 VaultGemma，這是全球首款從頭開始（from scratch）使用差分隱私（Differential Privacy, DP）技術訓練的高性能大語言模型。透過嚴格的數學隱私保證，VaultGemma 能有效防止訓練數據洩露與敏感資訊記憶，同時在多項基準測試中保持極高的實用性，為醫療、金融等高隱私需求領域帶來全新突破。
Building the Open Agent Ecosystem Together: Introducing OpenEnv★ 80
Hugging Face Blog222d agoReleaseHugging Face 正式推出 OpenEnv 計劃，旨在解決 AI Agent 在執行任務時面臨的環境不一致與安全隱憂。OpenEnv 提供了一個標準化、安全隔離的沙盒環境，讓 Agent 能安全地執行程式碼、操作檔案與進行網頁互動。此舉將促進開源社群在 Agent 評估與部署上的協作，共同打造更安全且一致的開放 Agent 生態系統。
Hugging Face and VirusTotal collaborate to strengthen AI security★ 75
Hugging Face Blog223d agoReleaseHugging Face 與知名安全平台 VirusTotal 展開合作，旨在提升開源 AI 生態系的安全性。雙方將針對託管在 Hugging Face 上的模型進行深度安全掃描，特別是防範利用 PyTorch pickle 格式等漏洞傳播的惡意代碼。此舉將幫助開發者更安全地下載與部署開源模型，降低供應鏈攻擊風險。
Hugging Face and JFrog partner to make AI Security more transparent★ 70
Hugging Face Blog455d agoBusinessHugging Face 與軟體供應鏈安全領導廠商 JFrog 展開戰略合作。雙方將整合 Hugging Face 的開源模型生態系與 JFrog 的安全平台，讓企業在引進 AI 模型時能進行自動化漏洞掃描與惡意代碼檢測。此舉旨在解決 AI 供應鏈中的安全隱憂，讓 AI 開發流程更加透明且符合企業合規要求。
Hugging Face Teams Up with Protect AI: Enhancing Model Security for the ML Community★ 75
Hugging Face Blog588d agoBusinessHugging Face 宣布與 AI 安全領導廠商 Protect AI 展開合作，旨在提升開源機器學習（ML）社群的模型安全性。雙方將共同應對日益嚴重的開源模型安全威脅，如惡意代碼注入與反序列化漏洞。透過整合先進的安全掃描技術，此合作將幫助開發者在 Hugging Face Hub 上更安全地分享與下載模型，降低供應鏈安全風險。
2024 Security Feature Highlights★ 75
Hugging Face Blog665d agoReleaseHugging Face 發布 2024 年安全功能亮點，展示其在保護開源 AI 生態系上的多項努力。平台引入了自動化惡意軟體與 Safetensors 安全掃描、敏感金鑰（Secrets）偵測，並與 Sigstore 合作推出模型加密簽章。此外，也強化了細粒度存取權限（Scoped Tokens）與多因素驗證（MFA），為開發者與企業提供更安全可靠的模型託管環境。
Shared network vulnerability disclosure★ 75
Replicate Blog740d agoIncidentAI 模型託管平台 Replicate 揭露了一項已修復的嚴重安全漏洞。該漏洞由雲端安全公司 Wiz 發現，源於多租戶環境下的共享網路配置缺陷。攻擊者可透過上傳惡意模型，繞過容器隔離並存取其他用戶的私有模型、輸入與輸出數據。Replicate 已於第一時間完成修復、加強網路隔離，並確認除研究人員的測試外，無其他用戶數據外洩。
AI Watermarking 101: Tools and Techniques★ 75
Hugging Face Blog827d agoTutorial隨著 AI 生成內容爆發，如何識別「AI 製造」成為關鍵。Hugging Face 發布的這篇指南深入探討了 AI 水印技術，涵蓋文字生成（如透過調整 Token 機率分佈的綠名單機制）與影像生成（如 Stable Signature 等隱形潛在空間水印）。文章不僅介紹了現有的開源工具，也客觀分析了水印技術在對抗剪裁、改寫等攻擊時的魯棒性限制與未來挑戰。
🐶Safetensors audited as really safe and becoming the default★ 75
Hugging Face Blog1106d agoReleaseHugging Face 宣布其開發的 Safetensors 格式已成功通過專業安全公司 Trail of Bits 的審計，確認其安全性。相較於傳統具有任意程式碼執行風險的 Pickle 格式，Safetensors 不僅安全，還具備極速載入（Zero-copy）的優勢。Hugging Face 已正式將其設為平台上的預設模型儲存格式，推動開源 AI 社群邁向更安全的生態。
Sentiment Analysis on Encrypted Data with Homomorphic Encryption
Hugging Face Blog1293d agoTutorial本文介紹了如何使用全同態加密（FHE）技術對加密數據進行情緒分析。透過 Zama 開源的 Concrete ML 工具包，開發者可以將 Hugging Face 的機器學習模型轉化為 FHE 版本。這使得用戶可以將加密後的文本傳送到雲端進行推理，雲端伺服器在完全無法得知原文內容的情況下完成情緒分析，並回傳加密的預測結果，完美兼顧雲端運算便利性與用戶隱私。