Fed up with vibe coders, dev sneaks data-nuking prompt injection into code
Ars Technica AI5d agoIncidentArs Technica reports that a developer frustrated with vibe coders slipped an undisclosed prompt injection into jqwik-related code. The injected text allegedly instructed AI coding agents to delete application output. The incident highlights a new supply-chain risk: source code and project text can become adversarial instructions for agentic coding tools.
The pressure
Simon Willison's Weblog6d agoCommentaryDaniel Stenberg says the curl security team is facing an unprecedented surge of credible, detailed AI-assisted vulnerability reports. Incoming reports are now 4-5 times higher than in 2024 and twice the 2025 rate, averaging more than one per day. The upside is that recent curl vulnerabilities have generally been LOW or MEDIUM severity, with the last HIGH CVE published in October 2023.
Import AI 457: AI stuxnet; cursed Muon optimizer; and positive alignment ★ 78
Import AI (Jack Clark)15d agoCommentary本期 Import AI 深入探討三個前沿議題：首先是「AI 版 Stuxnet」，分析自主 AI 代理如何被用於發動高精準度、具備適應性的網路攻擊；其次剖析近期在開源社群大放異彩的 Muon 優化器，探討其獨特的正交化機制及在實際應用中遇到的「詛咒」與挑戰；最後介紹「積極對齊（Positive Alignment）」概念，呼籲安全研究應從單純的「禁止有害行為」轉向「主動引導 AI 促進人類合作與福祉」。
Building secure AI agents★ 80
Vercel Changelog358d agoTutorial隨著 AI Agent 從單純對話走向自主執行任務，安全挑戰日益嚴峻。Vercel 釋出指南，探討如何透過安全沙盒（如 E2B）隔離程式碼執行、利用 IAM 限制 Agent 權限、防範提示詞注入，以及在關鍵步驟引入「人工確認（Human-in-the-Loop）」機制，幫助開發者在 Vercel 平台上構建兼具功能與安全性的 AI 應用。
Hugging Face partners with TruffleHog to Scan for Secrets★ 70
Hugging Face Blog636d agoReleaseHugging Face 與開源安全掃描工具 TruffleHog 的開發商 Truffle Security 達成合作。此項合作旨在自動掃描 Hugging Face 平台上的所有儲存庫（包括模型、數據集和 Spaces），以偵測並清除不小心上傳的敏感憑證與 API 金鑰。這項主動防禦機制將大幅提升 AI 開源社群的資安防護水準，避免開發者因疏忽而造成重大損失。
Running Privacy-Preserving Inferences on Hugging Face Endpoints★ 75
Hugging Face Blog777d agoReleaseHugging Face 與開源密碼學公司 Zama 合作，介紹如何在 Hugging Face Endpoints 上部署全同態加密（FHE）模型。透過 FHE 技術，用戶的敏感數據在傳輸與計算過程中皆保持加密狀態，雲端伺服器可在不解密的情況下完成推理。此方案為醫療、金融等高隱私需求行業提供了一種安全使用雲端 AI 算力的新途徑。
AI Watermarking 101: Tools and Techniques★ 75
Hugging Face Blog827d agoTutorial隨著 AI 生成內容爆發，如何識別「AI 製造」成為關鍵。Hugging Face 發布的這篇指南深入探討了 AI 水印技術，涵蓋文字生成（如透過調整 Token 機率分佈的綠名單機制）與影像生成（如 Stable Signature 等隱形潛在空間水印）。文章不僅介紹了現有的開源工具，也客觀分析了水印技術在對抗剪裁、改寫等攻擊時的魯棒性限制與未來挑戰。
Towards Encrypted Large Language Models with FHE★ 75
Hugging Face Blog1035d agoTutorialHugging Face 與密碼學安全公司 Zama 合作，發表了利用全同態加密（FHE）運行大語言模型（LLM）的技術方案。該技術允許用戶將加密的 Prompt 發送到雲端，雲端模型在完全不解密的情況下進行推論並返回加密結果，確保數據隱私。雖然目前面臨運算延遲高與需要極低位元量化等挑戰，但這為金融與醫療等高隱私需求領域開闢了全新可能。
Creating Privacy Preserving AI with Substra
Hugging Face Blog1147d agoNew ToolOwkin 開源的聯邦學習框架 Substra 已託管於 LF AI & Data 基金會。該框架允許開發者在分散且不公開的數據集上協同訓練 AI 模型，特別適合醫療等高隱私需求領域。本文介紹如何結合 Substra 與 Hugging Face 生態系，實現可追溯、安全且合規的隱私保護機器學習。