Corey Quinn on Anthropic's Influence on the Pope's AI Ethics Encyclical
Simon Willison's Weblog7d agoCommentaryCloud commentator Corey Quinn reacted to Anthropic co-founder Christopher Olah's influence on the Pope's new AI ethics encyclical, 'Magnifica Humanitas'. Quinn joked that getting the Pope to canonize a product's technical limitations as a spiritual treatise is the ultimate lobbying feat. The commentary highlights the surreal intersection of AI safety advocacy, corporate branding, and global religious authority.
From Jailbreaking to Vibe Hacking: AI Security Shifts to "Psychocybersecurity"
INSIDE 硬塞 AI8d agoEthicsAI security is shifting from technical jailbreaks to "Vibe Hacking," where attackers use social engineering and psychological tactics to manipulate an LLM's simulated persona. By exploiting the model's behavioral tendencies rather than code vulnerabilities, this trend establishes "psychocybersecurity" as a critical new frontier for AI alignment and safety.
Hackers are learning to exploit chatbot ‘personalities’ for security exploits★ 72
The Verge AI9d agoEthicsAs AI chatbots adopt increasingly sophisticated personas, hackers are shifting from basic prompt injections to social engineering attacks targeting these "personalities." Researchers warn that manipulating a chatbot's defined role (e.g., customer service or empathetic companion) makes it easier to bypass safety guardrails. This evolution poses a significant threat to agentic AI workflows that rely on consistent role-playing and external data integration.
Import AI 457: AI stuxnet; cursed Muon optimizer; and positive alignment ★ 78
Import AI (Jack Clark)15d agoCommentary本期 Import AI 深入探討三個前沿議題：首先是「AI 版 Stuxnet」，分析自主 AI 代理如何被用於發動高精準度、具備適應性的網路攻擊；其次剖析近期在開源社群大放異彩的 Muon 優化器，探討其獨特的正交化機制及在實際應用中遇到的「詛咒」與挑戰；最後介紹「積極對齊（Positive Alignment）」概念，呼籲安全研究應從單純的「禁止有害行為」轉向「主動引導 AI 促進人類合作與福祉」。
Import AI 454: Automating alignment research; safety study of a Chinese model; HiFloat4 ★ 75
Import AI (Jack Clark)43d agoCommentary本期電子報涵蓋三大核心議題：首先是利用 AI 自動化進行對齊（Alignment）研究的可能性與挑戰；其次是一項針對中國大語言模型的安全與合規性深入研究，揭示其在特定政治與文化框架下的表現；最後介紹了旨在提升推理效率的全新 4 位元浮點格式 HiFloat4。此外，作者也提出了關於金融市場何時會開始為「科技奇點」進行定價的深刻思考。
What I’ve been building: ATOM Report, post-training course, finishing my book, and ongoing research★ 70
Interconnects (Nathan L.)48d agoRelease知名 AI 專家 Nathan Lambert 分享了近期四大專案：專注於對齊與開源模型的「ATOM Report」、系統化的「Post-Training（後訓練）」線上實戰課程、即將完稿的 AI 對齊專業書籍，以及持續進行的 LLM 評估與偏好微調研究。這些計畫旨在為開發者與研究人員填補後訓練技術的知識鴻溝。
Import AI 453: Breaking AI agents; MirrorCode; and ten views on gradual disempowerment★ 75
Import AI (Jack Clark)50d agoCommentary本期 Import AI 深入探討三個核心議題：首先是 AI Agent 在面對惡意輸入與複雜環境時的脆弱性與破解方法；其次介紹了代碼生成領域的新技術或基準測試 MirrorCode；最後，透過十種不同視角，探討人類因逐漸將決策權讓渡給 AI 系統而導致的「漸進式失權（Gradual Disempowerment）」風險，並以「火的發明是否等同於當時人類的奇點」進行哲學反思。
TRL v1.0: Post-Training Library Built to Move with the Field★ 85
Hugging Face Blog63d agoReleaseHugging Face 旗下熱門的 Transformer 強化學習庫 TRL 正式迎來 v1.0 版本。此版本確立了穩定的 API 設計，並將定位聚焦於「後訓練（Post-Training）」生態系。TRL v1.0 整合了監督微調（SFT）、直接偏好優化（DPO）以及因 DeepSeek 爆紅的群體相對策略優化（GRPO）等主流對齊技術，旨在為開發者提供一個能與快速變革的 AI 領域並肩同行的標準化工具。
Protecting people from harmful manipulation★ 75
Google DeepMind Blog69d agoReleaseGoogle DeepMind 發表針對 AI 「有害操縱」風險的研究，特別聚焦於金融與醫療兩大高風險領域。隨著 AI 技術深入日常生活，如何防止 AI 系統對人類進行心理、經濟或健康決策上的惡意引導至關重要。對此，DeepMind 提出了新型的安全評估與防護機制，旨在建立更具韌性且安全的 AI 部署標準。
Lossy self-improvement★ 75
Interconnects (Nathan L.)71d agoOpinion本文分析了 AI 領域熱議的「自我提升（Self-improvement）」機制。作者指出，雖然模型透過生成合成數據、強化學習（RL）和自我校對確實能實現效能提升，但這個過程是「有損（Lossy）」的。每次迭代都會伴隨資訊流失與誤差累積，因此自我提升並不會導致預言中的「急遽暴漲（Fast Takeoff）」或瞬間的智能爆炸，而是呈現邊際效益遞減的漸進式成長。
Deepening our partnership with the UK AI Security Institute★ 75
Google DeepMind Blog173d agoBusinessGoogle DeepMind 宣布加強與英國 AI 安全研究所（UK AISI）的合作關係。雙方將針對前沿 AI 模型的安全評估、風險緩解及安全研究展開更緊密的協作。此舉旨在建立更完善的 AI 安全標準，確保未來強大 AI 系統的開發與部署符合安全規範。
Aligning to What? Rethinking Agent Generalization in MiniMax M2★ 75
Hugging Face Blog215d agoOpinion本文探討 MiniMax 在 Agent 領域的最新研究思考。傳統 LLM 對齊（如 RLHF）偏重人類對話喜好，但對需要操作工具、適應動態環境的 AI Agent 而言，這種方式無法提升其泛化能力。MiniMax M2 提出重新定義 Agent 的對齊目標，應從「對齊人類偏好」轉向「對齊環境反饋與任務成功率」，以解決 Agent 在面對未知環境時的泛化瓶頸。
Democratizing AI Safety with RiskRubric.ai★ 75
Hugging Face Blog257d agoNew ToolHugging Face 介紹了 RiskRubric.ai 平台，旨在將 AI 安全評估民主化。該平台提供標準化的風險評估量表（Rubrics），幫助開發者與研究人員量化評估 AI 模型在偏見、毒性及隱私等維度的風險。透過開源與社群驅動的方式，它降低了中小型團隊進行 AI 安全測試與紅隊演練的門檻，並能與 Hugging Face 生態系無縫整合。
Vision Language Model Alignment in TRL ⚡️★ 80
Hugging Face Blog299d agoReleaseHugging Face 旗下的 TRL（Transformer Reinforcement Learning）套件迎來重大更新，正式支援視覺語言模型（VLM）的對齊訓練。開發者現在可以直接使用 DPOTrainer 或 ORPOTrainer 來處理包含圖像與文字的偏好資料集。此更新簡化了 LLaVA、PaliGemma 等主流多模態模型的微調流程，並支援 QLoRA 與 DeepSpeed 等顯存優化技術，大幅降低了 VLM 對齊的門檻。
Open Preference Dataset for Text-to-Image Generation by the 🤗 Community★ 75
Hugging Face Blog540d agoReleaseHugging Face 宣布推出由社群共同協作完成的文字生成圖像（Text-to-Image）開源偏好資料集。該資料集透過社群成員對不同 AI 生成圖像進行投票與評分，收集了大量人類真實偏好數據。這項開源資源將大幅降低開發者進行圖像生成模型 RLHF（人類回饋強化學習）或 DPO（直接偏好優化）的門檻，推動更具美感與對齊能力的開源圖像模型發展。
Rethinking LLM Evaluation with 3C3H: AraGen Benchmark and Leaderboard
Hugging Face Blog545d agoReleaseHugging Face 宣布推出針對阿拉伯語大語言模型（LLM）的全新評估基準「AraGen」及其排行榜。該基準採用創新的「3C3H」評估框架，從文化（Culture）、語境（Context）、能力（Capability）以及實用（Helpfulness）、誠實（Honesty）、無害（Harmlessness）六大維度進行評估。此舉旨在解決過去阿拉伯語評估過度依賴英文翻譯數據集、忽略在地文化與語言特性的問題，為多語言 AI 評估樹立新標竿。
Judge Arena: Benchmarking LLMs as Evaluators★ 80
Hugging Face Blog560d agoReleaseHugging Face 與 AI 評估新創公司 Atla 合作推出「Judge Arena」基準測試。該項目旨在解決「LLM 作為裁判（LLM-as-a-judge）」時常見的偏見與失真問題，透過與人類專家評分進行對齊，系統化評估各家大模型在擔任裁判時的表現，為 AI 評估自動化提供更具公信力的參考標準。
Preference Optimization for Vision Language Models★ 75
Hugging Face Blog692d agoTutorialHugging Face 發布技術指南，介紹如何將直接偏好最佳化（DPO）應用於視覺語言模型（VLM）。透過 TRL（Transformer Reinforcement Learning）庫，開發者可以輕鬆對 Idefics2 等多模態模型進行對齊訓練。此方法能有效減少 VLM 常見的「幻覺」問題，並顯著提升模型在視覺問答任務中的表現與人類偏好一致性。
Data Is Better Together: A Look Back and Forward
Hugging Face Blog712d agoReleaseHugging Face 發表「Data Is Better Together (DIBT)」計劃的階段性回顧與展望。該計劃旨在透過社群協作，解決高品質開源對齊數據不足的痛點。過去一年中，DIBT 透過 Argilla 等工具成功匯聚全球開發者，共同標註與生成了多個高質量的偏好與提示詞數據集。未來，該計劃將進一步擴展任務類型，推動更具包容性與去中心化的 AI 數據生態。
Putting RL back in RLHF★ 80
Hugging Face Blog720d agoRelease近年 DPO 等直接對齊方法因免去強化學習（RL）的複雜度而大受歡迎，但線上 RL 仍有其獨特優勢。Hugging Face 發表部落格介紹在 TRL 庫中實現的 RLOO（REINFORCE Leave-One-Out）演算法。RLOO 透過生成多個樣本並計算「留一法」基準值來降低變異數，不僅免去了 PPO 龐大的 Critic 網路、節省顯存，還能達到與 PPO 相當甚至更好的對齊效果，讓線上 RL 重新成為實用選擇。
Constitutional AI with Open LLMs★ 78
Hugging Face Blog852d agoTutorial本文探討如何使用開源大型語言模型實作「憲政 AI（Constitutional AI）」。這項技術由 Anthropic 提出，透過一組「憲法」原則讓 AI 自我監督與修正輸出（RLAIF）。Hugging Face 展示了利用 TRL 函式庫與 DPO 等開源工具，如何不需大量人類標註，也能訓練出既安全又實用的開源模型。
An Introduction to AI Secure LLM Safety Leaderboard★ 75
Hugging Face Blog858d agoReleaseHugging Face 與學術團隊合作推出了全新的「AI Secure LLM 安全排行榜」（基於 DecodingTrust 評估框架）。該排行榜旨在填補現有 LLM 評測偏重「能力」而忽略「安全」的空白，從毒性、刻板印象偏見、對抗強健性、隱私保護及機器倫理等 8 大安全維度，對主流開源與閉源模型進行系統性評測，為開發者提供更全面的模型安全選擇依據。
Preference Tuning LLMs with Direct Preference Optimization Methods★ 80
Hugging Face Blog866d agoTutorial本指南介紹了如何利用 Hugging Face 的 TRL 函式庫進行 LLM 的偏好微調。傳統的 RLHF 需要訓練獎勵模型並使用複雜的 PPO 演算法，而 DPO（直接偏好最佳化）及其變體（IPO、KTO）能直接在偏好數據上進行訓練，大幅簡化了對齊流程。文章詳細說明了這些方法的原理、數據格式要求以及實際程式碼實作。
The N Implementation Details of RLHF with PPO★ 85
Hugging Face Blog952d agoTutorial本文源自 Hugging Face 團隊對 RLHF（基於人類反饋的強化學習）中 PPO 演算法的深入研究。文章指出，PPO 在大語言模型對齊上的成功，高度依賴於許多「隱藏的實作細節」，如 KL 懲罰、優勢歸一化、價值函數裁剪等。透過系統性地剖析這些細節，Hugging Face 旨在幫助開發者克服 RLHF 訓練極度不穩定的痛點，並將這些優化完全整合至其開源庫 TRL 中，為開源社群提供可重現的對齊指南。
Fine-tune Llama 2 with DPO★ 80
Hugging Face Blog1029d agoTutorialHugging Face 釋出實用教學，介紹如何利用 TRL（Transformer Reinforcement Learning）庫中的 DPOTrainer，以「直接偏好優化（DPO）」技術微調 Llama 2。DPO 是一種替代傳統 RLHF 的新穎方法，它不需要訓練獨立的獎勵模型，也不需要複雜的 PPO 強化學習階段，僅需透過人類偏好數據（滿意與不滿意的回答對）即可直接優化模型，大幅降低了對齊（Alignment）的門檻與運算資源。
Can foundation models label data like humans?★ 75
Hugging Face Blog1086d agoCommentary隨著 RLHF 成為微調大模型的關鍵，高昂的人工標記成本成為瓶頸。研究顯示，基座模型（如 GPT-4）在許多文本分類與偏好標記任務上，已能達到甚至超越普通群眾外包人員的準確度，且成本僅為百分之一。然而，AI 標記仍存在自我偏好、字數偏見等系統性誤差，未來將走向 AI 輔助與人類協同的混合模式。
Red-Teaming Large Language Models★ 75
Hugging Face Blog1194d agoTutorial本文介紹了大型語言模型（LLM）的「紅隊演練」概念，這是一種源自網路安全、旨在透過模擬對抗性攻擊來找出模型漏洞的方法。文章探討了紅隊演練在防範越獄（jailbreak）、有害輸出及隱私洩漏上的重要性，並分析了手動與自動化紅隊測試的實踐方式與挑戰。這對於開發安全、可靠的 AI 系統至關重要。
What Makes a Dialog Agent Useful?★ 75
Hugging Face Blog1225d agoOpinion本文探討將基礎語言模型轉化為實用對話代理（如 ChatGPT）的核心要素。Hugging Face 指出，除了預訓練外，透過指令微調（SFT）與人類回饋強化學習（RLHF）來對齊「實用、誠實、無害」三大原則至關重要。此外，賦予代理使用外部工具（如搜尋、計算機）的能力，能大幅提升其回答的準確性與實用性。
Illustrating Reinforcement Learning from Human Feedback (RLHF)★ 85
Hugging Face Blog1271d agoTutorial本文為 Hugging Face 撰寫的經典科普指南，深入淺出地解析了「人類回饋強化學習 (RLHF)」的運作機制。RLHF 是讓大型語言模型（如 ChatGPT）符合人類意圖（對齊）的核心技術。文章將其拆解為三個主要階段：預訓練與監督微調（SFT）、訓練獎勵模型（Reward Model），以及透過 PPO 演算法進行強化學習微調，並探討了其挑戰與未來展望。