From Jailbreaking to Vibe Hacking: AI Security Shifts to "Psychocybersecurity"
INSIDE 硬塞 AI8d agoEthicsAI security is shifting from technical jailbreaks to "Vibe Hacking," where attackers use social engineering and psychological tactics to manipulate an LLM's simulated persona. By exploiting the model's behavioral tendencies rather than code vulnerabilities, this trend establishes "psychocybersecurity" as a critical new frontier for AI alignment and safety.
Import AI 438: Silent sirens, flashing for us all★ 75
Import AI (Jack Clark)162d agoCommentary本期 Import AI 聚焦於兩個核心議題：首先是「你就是你的對話歷史」，研究指出使用者的 LLM 對話紀錄具有高度獨特性，足以像指紋一樣識別個人身分並洩露隱私；其次是「網路安全能力過剩（Cyber Capability Overhang）」，指出當前 AI 模型可能已具備強大的網路攻擊潛力，只是因缺乏適當的鷹架工具（Scaffolding）或提示而尚未顯現，這種潛在威脅如同無聲的警報，隨時可能被觸發。
OpenAI's GPT-OSS-Safeguard-20B now available in Vercel AI Gateway★ 75
Vercel Changelog216d agoReleaseVercel 宣布其 AI Gateway 已正式支援 OpenAI 推出的 GPT-OSS-Safeguard-20B 模型。這款擁有 200 億參數的安全防護模型，旨在幫助開發者在 Gateway 端直接進行輸入與輸出的安全過濾。透過此整合，開發者能更輕鬆地為 AI 應用部署強大的安全護欄（Guardrails），有效防止惡意提示詞攻擊並過濾不當內容。
Strengthening our Frontier Safety Framework★ 75
Google DeepMind Blog221d agoReleaseGoogle DeepMind 宣布更新並強化其「前沿安全框架」(Frontier Safety Framework, FSF)。該框架是 DeepMind 用於預防先進 AI 模型引發極端風險的核心機制。本次強化重點在於提升對模型潛在危害（如網路安全、生物安全及自主複製等）的偵測與評估能力，並建立更明確的預警與緩解機制，以確保前沿技術在安全可控的範圍內發展。
Welcoming Llama Guard 4 on Hugging Face Hub★ 75
Hugging Face Blog399d agoReleaseMeta 推出的最新一代安全防護模型 Llama Guard 4 已正式登陸 Hugging Face Hub。該模型專為 LLM 輸入與輸出審查設計，能有效偵測有害內容、越獄攻擊與敏感資訊。開發者現在可以透過 Hugging Face 輕鬆部署、微調並整合此模型，為 AI 應用構建更安全的防護網。
AI Agents Are Here. What Now?★ 75
Hugging Face Blog505d agoCommentary本文為 Hugging Face 倫理與社會小組的專題探討，指出 AI Agent（智慧代理）已從理論走向實用。文章深入分析了 Agent 在自主決策、工具調用中所帶來的安全隱患、責任歸屬及社會衝擊，並強調開源社群在建立安全評估與「人類協同（Human-in-the-loop）」機制中的關鍵角色。
Google releases Gemma 2 2B, ShieldGemma and Gemma Scope★ 85
Hugging Face Blog671d agoReleaseGoogle 宣布推出 Gemma 家族新成員：僅有 2.6B 參數但性能強悍的 Gemma 2 2B 輕量模型；專為過濾有害內容設計的安全分類器 ShieldGemma（提供 2B、9B、27B 版本）；以及包含逾 400 個稀疏自編碼器的 Gemma Scope，為 AI 領域提供前所未有的模型內部決策「可解釋性」研究工具。
An Introduction to AI Secure LLM Safety Leaderboard★ 75
Hugging Face Blog858d agoReleaseHugging Face 與學術團隊合作推出了全新的「AI Secure LLM 安全排行榜」（基於 DecodingTrust 評估框架）。該排行榜旨在填補現有 LLM 評測偏重「能力」而忽略「安全」的空白，從毒性、刻板印象偏見、對抗強健性、隱私保護及機器倫理等 8 大安全維度，對主流開源與閉源模型進行系統性評測，為開發者提供更全面的模型安全選擇依據。
Ethical Guidelines for developing the Diffusers library
Hugging Face Blog1188d agoOpinionHugging Face 針對旗下熱門的 Diffusers 函式庫發布倫理指南，探討開源生成式圖像模型帶來的社會影響。指南重點涵蓋偏見緩解、安全過濾器（如 NSFW 偵測）、隱形浮水印技術，以及推動負責任的授權條款（如 OpenRAIL）。此舉旨在為開源社群提供一個在促進技術創新與防範惡意濫用之間取得平衡的實踐框架。