Corey Quinn on Anthropic's Influence on the Pope's AI Ethics Encyclical
Simon Willison's Weblog7d agoCommentaryCloud commentator Corey Quinn reacted to Anthropic co-founder Christopher Olah's influence on the Pope's new AI ethics encyclical, 'Magnifica Humanitas'. Quinn joked that getting the Pope to canonize a product's technical limitations as a spiritual treatise is the ultimate lobbying feat. The commentary highlights the surreal intersection of AI safety advocacy, corporate branding, and global religious authority.
From Jailbreaking to Vibe Hacking: AI Security Shifts to "Psychocybersecurity"
INSIDE 硬塞 AI8d agoEthicsAI security is shifting from technical jailbreaks to "Vibe Hacking," where attackers use social engineering and psychological tactics to manipulate an LLM's simulated persona. By exploiting the model's behavioral tendencies rather than code vulnerabilities, this trend establishes "psychocybersecurity" as a critical new frontier for AI alignment and safety.
Hackers are learning to exploit chatbot ‘personalities’ for security exploits★ 72
The Verge AI9d agoEthicsAs AI chatbots adopt increasingly sophisticated personas, hackers are shifting from basic prompt injections to social engineering attacks targeting these "personalities." Researchers warn that manipulating a chatbot's defined role (e.g., customer service or empathetic companion) makes it easier to bypass safety guardrails. This evolution poses a significant threat to agentic AI workflows that rely on consistent role-playing and external data integration.
Import AI 457: AI stuxnet; cursed Muon optimizer; and positive alignment ★ 78
Import AI (Jack Clark)15d agoCommentary本期 Import AI 深入探討三個前沿議題：首先是「AI 版 Stuxnet」，分析自主 AI 代理如何被用於發動高精準度、具備適應性的網路攻擊；其次剖析近期在開源社群大放異彩的 Muon 優化器，探討其獨特的正交化機制及在實際應用中遇到的「詛咒」與挑戰；最後介紹「積極對齊（Positive Alignment）」概念，呼籲安全研究應從單純的「禁止有害行為」轉向「主動引導 AI 促進人類合作與福祉」。
Import AI 454: Automating alignment research; safety study of a Chinese model; HiFloat4 ★ 75
Import AI (Jack Clark)43d agoCommentary本期電子報涵蓋三大核心議題：首先是利用 AI 自動化進行對齊（Alignment）研究的可能性與挑戰；其次是一項針對中國大語言模型的安全與合規性深入研究，揭示其在特定政治與文化框架下的表現；最後介紹了旨在提升推理效率的全新 4 位元浮點格式 HiFloat4。此外，作者也提出了關於金融市場何時會開始為「科技奇點」進行定價的深刻思考。
Import AI 453: Breaking AI agents; MirrorCode; and ten views on gradual disempowerment★ 75
Import AI (Jack Clark)50d agoCommentary本期 Import AI 深入探討三個核心議題：首先是 AI Agent 在面對惡意輸入與複雜環境時的脆弱性與破解方法；其次介紹了代碼生成領域的新技術或基準測試 MirrorCode；最後，透過十種不同視角，探討人類因逐漸將決策權讓渡給 AI 系統而導致的「漸進式失權（Gradual Disempowerment）」風險，並以「火的發明是否等同於當時人類的奇點」進行哲學反思。
Protecting people from harmful manipulation★ 75
Google DeepMind Blog69d agoReleaseGoogle DeepMind 發表針對 AI 「有害操縱」風險的研究，特別聚焦於金融與醫療兩大高風險領域。隨著 AI 技術深入日常生活，如何防止 AI 系統對人類進行心理、經濟或健康決策上的惡意引導至關重要。對此，DeepMind 提出了新型的安全評估與防護機制，旨在建立更具韌性且安全的 AI 部署標準。
Lossy self-improvement★ 75
Interconnects (Nathan L.)72d agoOpinion本文分析了 AI 領域熱議的「自我提升（Self-improvement）」機制。作者指出，雖然模型透過生成合成數據、強化學習（RL）和自我校對確實能實現效能提升，但這個過程是「有損（Lossy）」的。每次迭代都會伴隨資訊流失與誤差累積，因此自我提升並不會導致預言中的「急遽暴漲（Fast Takeoff）」或瞬間的智能爆炸，而是呈現邊際效益遞減的漸進式成長。
Deepening our partnership with the UK AI Security Institute★ 75
Google DeepMind Blog173d agoBusinessGoogle DeepMind 宣布加強與英國 AI 安全研究所（UK AISI）的合作關係。雙方將針對前沿 AI 模型的安全評估、風險緩解及安全研究展開更緊密的協作。此舉旨在建立更完善的 AI 安全標準，確保未來強大 AI 系統的開發與部署符合安全規範。
Democratizing AI Safety with RiskRubric.ai★ 75
Hugging Face Blog257d agoNew ToolHugging Face 介紹了 RiskRubric.ai 平台，旨在將 AI 安全評估民主化。該平台提供標準化的風險評估量表（Rubrics），幫助開發者與研究人員量化評估 AI 模型在偏見、毒性及隱私等維度的風險。透過開源與社群驅動的方式，它降低了中小型團隊進行 AI 安全測試與紅隊演練的門檻，並能與 Hugging Face 生態系無縫整合。
Open Preference Dataset for Text-to-Image Generation by the 🤗 Community★ 75
Hugging Face Blog540d agoReleaseHugging Face 宣布推出由社群共同協作完成的文字生成圖像（Text-to-Image）開源偏好資料集。該資料集透過社群成員對不同 AI 生成圖像進行投票與評分，收集了大量人類真實偏好數據。這項開源資源將大幅降低開發者進行圖像生成模型 RLHF（人類回饋強化學習）或 DPO（直接偏好優化）的門檻，推動更具美感與對齊能力的開源圖像模型發展。
Data Is Better Together: A Look Back and Forward
Hugging Face Blog712d agoReleaseHugging Face 發表「Data Is Better Together (DIBT)」計劃的階段性回顧與展望。該計劃旨在透過社群協作，解決高品質開源對齊數據不足的痛點。過去一年中，DIBT 透過 Argilla 等工具成功匯聚全球開發者，共同標註與生成了多個高質量的偏好與提示詞數據集。未來，該計劃將進一步擴展任務類型，推動更具包容性與去中心化的 AI 數據生態。
An Introduction to AI Secure LLM Safety Leaderboard★ 75
Hugging Face Blog858d agoReleaseHugging Face 與學術團隊合作推出了全新的「AI Secure LLM 安全排行榜」（基於 DecodingTrust 評估框架）。該排行榜旨在填補現有 LLM 評測偏重「能力」而忽略「安全」的空白，從毒性、刻板印象偏見、對抗強健性、隱私保護及機器倫理等 8 大安全維度，對主流開源與閉源模型進行系統性評測，為開發者提供更全面的模型安全選擇依據。
Can foundation models label data like humans?★ 75
Hugging Face Blog1086d agoCommentary隨著 RLHF 成為微調大模型的關鍵，高昂的人工標記成本成為瓶頸。研究顯示，基座模型（如 GPT-4）在許多文本分類與偏好標記任務上，已能達到甚至超越普通群眾外包人員的準確度，且成本僅為百分之一。然而，AI 標記仍存在自我偏好、字數偏見等系統性誤差，未來將走向 AI 輔助與人類協同的混合模式。
Red-Teaming Large Language Models★ 75
Hugging Face Blog1194d agoTutorial本文介紹了大型語言模型（LLM）的「紅隊演練」概念，這是一種源自網路安全、旨在透過模擬對抗性攻擊來找出模型漏洞的方法。文章探討了紅隊演練在防範越獄（jailbreak）、有害輸出及隱私洩漏上的重要性，並分析了手動與自動化紅隊測試的實踐方式與挑戰。這對於開發安全、可靠的 AI 系統至關重要。
What Makes a Dialog Agent Useful?★ 75
Hugging Face Blog1225d agoOpinion本文探討將基礎語言模型轉化為實用對話代理（如 ChatGPT）的核心要素。Hugging Face 指出，除了預訓練外，透過指令微調（SFT）與人類回饋強化學習（RLHF）來對齊「實用、誠實、無害」三大原則至關重要。此外，賦予代理使用外部工具（如搜尋、計算機）的能力，能大幅提升其回答的準確性與實用性。