LLMs believe false statements even after explicit warnings that they're false★ 74
Ars Technica AI4d agoPaperA new study describes “Negation Neglect,” where LLMs fine-tuned on documents that explicitly mark claims as false still learn the claims as true. Experiments with fabricated statements found models often absorb entity-event associations more strongly than surrounding warnings or negations. The finding raises concerns for fine-tuning pipelines, misinformation handling, and AI safety datasets that include harmful or false content with disclaimers.
Claude’s new model is more ‘honest’ when it messes up
The Verge AI5d agoReleaseAnthropic is releasing Claude Opus 4.8 and highlighting the model’s “honesty” as a key improvement. The company says it trains its models to avoid unsupported claims, addressing a broader issue where AI systems sometimes jump to conclusions. Based on the provided excerpt, the update is positioned around reliability and uncertainty handling rather than a specific new tool or benchmark result.
Google’s AI search is so broken it can ‘disregard’ what you’re looking for
The Verge AI10d agoIncidentGoogle 的 AI Overviews 搜尋功能近日被發現一項有趣的漏洞。當用戶在 Google 搜尋輸入「disregard」（忽略）時，AI 搜尋並非提供該單字的定義，而是將其誤判為「忽略先前指令」的系統提示詞（Prompt Injection）。這導致 AI 輸出類似傳統聊天機器人重設後的罐頭回覆，暴露出 Google 在區分「用戶查詢內容」與「系統控制指令」上仍有架構上的缺陷。
US scrambles to stop Internet users re-creating dead pilots’ voices★ 75
Ars Technica AI11d agoIncident美國國家運輸安全委員會（NTSB）依法不得公開空難調查中的駕駛艙語音記錄（CVR）音檔，以保護隱私。然而，近期有網路用戶利用公開的調查文字紀錄與 AI 語音複製技術，重新模擬並還原了罹難飛行員在墜機前的最後對話。此舉引發了嚴重的倫理與法律爭議，美國當局正緊急尋求對策，以阻止這種利用技術漏洞規避法律限制的行為。
Trump abruptly cancels EO signing event after top AI firm CEOs declined to go★ 75
Ars Technica AI11d agoBusiness根據外媒報導，美國總統川普突然取消了一項關於 AI 安全測試行政命令（EO）的簽署儀式。起因是多家頂尖 AI 公司的執行長拒絕出席該活動。在遭到科技界冷落後，川普隨後延遲了該行政命令的發布，並改口宣稱這項安全測試規範將會成為 AI 技術發展的「創新阻礙」。此舉反映出政府監管政策與科技巨頭之間的緊張關係。
You can no longer Google the word ‘disregard’★ 75
TechCrunch AI11d agoIncidentGoogle 搜尋在進行 AI 相關更新後，被發現存在一個嚴重的介面錯誤：只要使用者輸入「disregard」（意為忽略）這個單字進行搜尋，整個搜尋介面就會直接崩潰。這項問題疑似與 Google 為了防止 AI 遭遇「提示詞注入」（Prompt Injection）攻擊而設定的過度防禦機制有關。目前該單字已無法正常進行 Google 搜尋。
Trump delays AI security executive order, saying language ‘could have been a blocker’★ 80
TechCrunch AI12d agoBusiness美國總統川普延後簽署一項關鍵的 AI 安全行政命令。該命令原定要求 AI 開發商在發布新模型前，必須先通過政府的安全審查。川普表示，他對該命令目前的文字表述感到不滿，擔心這些條款可能會成為 AI 技術領先與創新的阻礙，因此決定暫緩簽署以進行調整。
The Path, founded by Tony Robbins and Calm alums, hopes to offer safer AI therapy
TechCrunch AI12d agoRelease由知名心靈導師 Tony Robbins 與冥想 App「Calm」前團隊成員共同創立的 AI 心理健康平台「The Path」正式亮相。該公司強調其 AI 模型在心理健康安全基準測試「Vera-MH」中獲得了 95 分的高分，遠高於一般消費級聊天機器人最高僅 65 分的表現。這項技術旨在解決當前 AI 進行心理諮商時可能產生的安全與倫理風險，提供更具臨床安全性的數位支持。
Google's SynthID AI watermarking tech is being adopted by OpenAI, Nvidia, and more★ 85
Ars Technica AI14d agoBusinessGoogle 開發的 AI 水印技術 SynthID 迎來重大突破，宣布獲得 OpenAI、NVIDIA 等多家科技巨頭採用。隨著 AI 生成的文字、影像與影音擬真度大幅提升，如何辨識真偽成為關鍵挑戰。此舉標誌著各大 AI 領導廠商在內容溯源與安全防護上達成罕見共識，有望建立統一的 AI 生成內容識別標準。
Making it easier to understand how content was created and edited★ 78
Google DeepMind Blog16d agoReleaseGoogle DeepMind 宣布擴大其內容識別工具，協助使用者了解網頁內容的建立與編輯過程。此舉包含在 Google 搜尋與廣告中整合 C2PA（內容來源和真實性聯盟）元數據，讓使用者能透過「關於此圖片」功能查看圖片是否由 AI 生成或經過編輯。同時，Google 也持續推廣其 SynthID 數位浮水印技術，以提升數位內容的透明度與可信度。
Import AI 455: AI systems are about to start building themselves.★ 85
Import AI (Jack Clark)29d agoCommentary本期 Import AI 聚焦於「自動化 AI 研究」的最新趨勢。隨著大語言模型與 Agent 技術的成熟，AI 系統已開始展現出自動撰寫程式碼、設計新演算法並進行自我訓練的能力。這種「遞迴自我提升（Recursive Self-Improvement）」不僅能極大地加速 AI 研發進程，也引發了關於安全控制、運算資源分配以及 AI 演進速度失控的深思。
AI and the Future of Cybersecurity: Why Openness Matters★ 75
Hugging Face Blog42d agoOpinionHugging Face 探討 AI 時代的網路安全，指出「隱晦安全」已無法應對現代威脅。文章強調開放模型與開源協作能讓全球研究人員共同審查漏洞、提升防禦彈性，並防止安全技術被少數巨頭壟斷。開放性才是建立安全、可信賴 AI 生態系的基石。
Import AI 454: Automating alignment research; safety study of a Chinese model; HiFloat4 ★ 75
Import AI (Jack Clark)43d agoCommentary本期電子報涵蓋三大核心議題：首先是利用 AI 自動化進行對齊（Alignment）研究的可能性與挑戰；其次是一項針對中國大語言模型的安全與合規性深入研究，揭示其在特定政治與文化框架下的表現；最後介紹了旨在提升推理效率的全新 4 位元浮點格式 HiFloat4。此外，作者也提出了關於金融市場何時會開始為「科技奇點」進行定價的深刻思考。
Import AI 453: Breaking AI agents; MirrorCode; and ten views on gradual disempowerment★ 75
Import AI (Jack Clark)50d agoCommentary本期 Import AI 深入探討三個核心議題：首先是 AI Agent 在面對惡意輸入與複雜環境時的脆弱性與破解方法；其次介紹了代碼生成領域的新技術或基準測試 MirrorCode；最後，透過十種不同視角，探討人類因逐漸將決策權讓渡給 AI 系統而導致的「漸進式失權（Gradual Disempowerment）」風險，並以「火的發明是否等同於當時人類的奇點」進行哲學反思。
Claude Mythos and misguided open-weight fearmongering★ 75
Interconnects (Nathan L.)53d agoOpinion本文探討了 AI 領域中圍繞 Anthropic Claude 所建立的「安全神話」，以及輿論對開源權重（open-weight）模型安全性的過度恐慌。作者 Nathan Lambert 指出，這種將開源模型視為重大威脅的論調缺乏實質依據，往往只是閉源陣營或特定政策倡導者重複上演的「開源恐懼之舞」。他呼籲大眾與決策者應理性看待開源的實際風險與巨大價值，避免因不理性的恐懼而扼殺創新。
Protecting people from harmful manipulation★ 75
Google DeepMind Blog69d agoReleaseGoogle DeepMind 發表針對 AI 「有害操縱」風險的研究，特別聚焦於金融與醫療兩大高風險領域。隨著 AI 技術深入日常生活，如何防止 AI 系統對人類進行心理、經濟或健康決策上的惡意引導至關重要。對此，DeepMind 提出了新型的安全評估與防護機制，旨在建立更具韌性且安全的 AI 部署標準。
ImportAI 449: LLMs training other LLMs; 72B distributed training run; computer vision is harder than generative text★ 75
Import AI (Jack Clark)78d agoCommentaryJack Clark 在本期電子報中探討了三個技術趨勢與一個社會政治議題。技術上，LLM 訓練其他 LLM（合成資料與自我提升）正成為主流；社群成功完成了 72B 參數模型的分散式訓練，展示了去中心化算力的潛力；同時指出電腦視覺因物理世界的複雜性，比文本生成更具挑戰性。最後，他思考了 AI 的快速崛起是否會導致現有政治體制進入混亂的「過渡期」。
Import AI 445: Timing superintelligence; AIs solve frontier math proofs; a new ML research benchmark★ 75
Import AI (Jack Clark)106d agoCommentary本期 Import AI 聚焦於三個核心議題：首先探討 2026 年是否將成為人類應對「技術奇點」與超級智能（Superintelligence）的關鍵轉折點；其次，分析 AI 在解決前沿數學證明上的最新突破，這象徵著推理能力的顯著提升；最後，介紹了一項評估機器學習研究能力的新基準，為衡量未來 AI 進展提供更客觀的尺度。
Import AI 443: Into the mist: Moltbook, agent ecologies, and the internet in transition★ 75
Import AI (Jack Clark)120d agoCommentary知名 AI 觀察家 Jack Clark 在本期電子報中探討了「Agent 生態系（Agent Ecologies）」的崛起與網際網路的轉型。隨著大量自主 Agent 投入網路，傳統由人類主導的網路正轉變為 Agent 互動的迷霧。此外，本期也收錄了一篇科幻短篇，描述 Agent 之間如何互相影響、甚至惡意串通與腐化的未來場景。
Open Responses: What you need to know★ 75
Hugging Face Blog138d agoOpinionHugging Face 發布「Open Responses」專題，整理其向全球政府機構（如美、歐監管單位）提交的政策諮詢回應。文章深入探討開源 AI 面臨的監管挑戰、版權爭議與安全評估，並說明這些政策將如何形塑未來的 AI 開發環境，呼籲社群共同關注與參與。
Import AI 440: Red queen AI; AI regulating AI; o-ring automation ★ 75
Import AI (Jack Clark)141d agoOpinion知名 AI 政策專家 Jack Clark 在最新一期電子報中提出三個核心觀點：首先是「紅皇后 AI」，指出 AI 的攻防與演化正陷入不斷奔跑才能維持原狀的競爭；其次是「AI 監管 AI」，隨著 AI 產出速度超越人類極限，未來必須依賴 AI 進行自動化合規與監管；最後是「O型環自動化」，探討在高度自動化的工作流中，最脆弱的單一環節將決定整個系統的成敗。
AprielGuard: A Guardrail for Safety and Adversarial Robustness in Modern LLM Systems★ 75
Hugging Face Blog161d agoReleaseServiceNow AI 在 Hugging Face 上發布了 AprielGuard，這是一個專注於安全與對抗防禦的 LLM 防護欄系統。它旨在幫助開發者過濾有害輸入、防止提示詞注入與越獄攻擊。此工具為現代 LLM 應用提供了一層關鍵的安全防禦機制，確保企業級 AI 部署的合規與安全。
Gemma Scope 2: helping the AI safety community deepen understanding of complex language model behavior★ 75
Google DeepMind Blog168d agoReleaseGoogle DeepMind 宣布推出 Gemma Scope 2，這是一套專為全新 Gemma 3 模型家族設計的稀疏自編碼器（SAE）工具包。Gemma Scope 2 旨在提供強大的「可解釋性」工具，讓研究人員能夠深入剖析模型內部的神經元激活狀態與決策邏輯。此舉將大幅降低 AI 安全與機制可解釋性（Mechanistic Interpretability）研究的門檻，協助社群理解複雜語言模型的行為。
Deepening our partnership with the UK AI Security Institute★ 75
Google DeepMind Blog173d agoBusinessGoogle DeepMind 宣布加強與英國 AI 安全研究所（UK AISI）的合作關係。雙方將針對前沿 AI 模型的安全評估、風險緩解及安全研究展開更緊密的協作。此舉旨在建立更完善的 AI 安全標準，確保未來強大 AI 系統的開發與部署符合安全規範。
Strengthening our partnership with the UK government to support prosperity and security in the AI era
Google DeepMind Blog174d agoBusinessGoogle DeepMind 宣布將進一步加強與英國政府的合作關係。此合作核心在於人工智慧（AI）快速發展的時代中，共同促進經濟繁榮並確保技術安全。雙方將攜手應對前沿 AI 技術帶來的機遇與挑戰，為未來的安全治理與科技創新奠定堅實基礎。
How we’re bringing AI image verification to the Gemini app★ 80
Google DeepMind Blog194d agoReleaseGoogle DeepMind 宣布將其先進的 SynthID 浮水印技術整合至 Gemini 應用程式中。這項技術能在不影響視覺品質的前提下，於 AI 生成的圖像中植入隱形浮水印，即使經過裁剪、壓縮或編輯也能被偵測。此舉旨在協助用戶辨識 AI 生成內容，應對深偽（Deepfake）與假訊息挑戰，並推動數位內容的透明度。
Voice Cloning with Consent★ 75
Hugging Face Blog217d agoNew ToolHugging Face 發表全新的「Voice Consent Gate」安全機制，旨在解決語音複製技術帶來的深偽（Deepfake）與盜用風險。該機制要求用戶在複製語音前，必須錄製一段特定的動態聲明以驗證身份與授權意願。這項開源工具將幫助開發者輕鬆在應用中整合語音授權驗證，推動更負責任的 AI 語音技術發展。
Democratizing AI Safety with RiskRubric.ai★ 75
Hugging Face Blog257d agoNew ToolHugging Face 介紹了 RiskRubric.ai 平台，旨在將 AI 安全評估民主化。該平台提供標準化的風險評估量表（Rubrics），幫助開發者與研究人員量化評估 AI 模型在偏見、毒性及隱私等維度的風險。透過開源與社群驅動的方式，它降低了中小型團隊進行 AI 安全測試與紅隊演練的門檻，並能與 Hugging Face 生態系無縫整合。
Introducing SynthID Text★ 85
Hugging Face Blog587d agoReleaseGoogle 與 Hugging Face 宣布將 SynthID Text 技術整合至 Transformers 庫中。這項技術能在不影響文本生成品質的前提下，於 LLM 輸出的機率分佈中嵌入隱形浮水印。開發者現在可以輕鬆在自己的模型中啟用此功能，以識別和追蹤 AI 生成的文本，應對虛假訊息與版權爭議。
Hugging Face partners with Wiz Research to Improve AI Security★ 75
Hugging Face Blog789d agoBusinessHugging Face 宣布與知名雲端安全廠商 Wiz Research 建立合作夥伴關係。雙方將共同致力於識別並修復 Hugging Face 平台上的安全漏洞，特別是針對模型託管、租戶隔離以及 Spaces 的容器安全。此合作旨在為開源 AI 社群建立更強大的安全防禦機制，防範惡意模型與潛在的雲端基礎設施攻擊。