Using synthetic training data to improve Flux finetunes★ 75
Replicate Blog620d agoTutorial微調 Black Forest Labs 的 Flux 模型雖然門檻低，但要達到頂尖效果仍需技巧。Replicate 官方分享了利用「合成數據」優充微調的技術，核心在於使用視覺語言模型（VLM）為訓練集自動生成極其詳盡的合成標籤（Synthetic Captions），以及利用 AI 生成多樣化圖像來擴充訓練集。這些方法能有效防止模型過擬合，並顯著提升 Flux 對複雜提示詞的理解與執行能力。
Fine-tune FLUX.1 with an API★ 75
Replicate Blog631d agoNew ToolReplicate 宣布支援透過其 HTTP API 微調 FLUX.1 [dev] 模型。開發者只需準備好訓練圖片並發送 API 請求，即可自動完成微調，並直接在 Replicate 上部署與運行專屬的客製化圖像生成模型。這項更新大幅簡化了自動化工作流與產品整合的難度，讓開發者能輕鬆將客製化 AI 繪圖功能嵌入自己的應用程式中。
Fine-tune FLUX.1 with your own images★ 80
Replicate Blog656d agoReleaseReplicate 宣布為熱門開源圖像生成模型 FLUX.1 推出微調（LoRA）支援。用戶現在可以透過 Replicate 的 API，僅需一行程式碼就能使用自己的圖片訓練專屬模型。這讓開發者與創作者能更輕易地在 FLUX.1 上實現特定人物、產品或藝術風格的客製化生成，大幅降低了商業應用的技術門檻。
FLUX.1: First Impressions★ 85
Replicate Blog669d agoRelease由 Stable Diffusion 原班人馬創立的 Black Forest Labs 推出全新圖像生成模型家族 FLUX.1。該模型包含 Schnell、Dev 和 Pro 三個版本，在文字生成、複雜指令遵循以及人體細節上展現出驚人實力。Replicate 平台第一時間上架並進行深度實測，認為其美學風格與寫實度已能與 Midjourney v6 匹敵，為開源 AI 繪圖立下新標竿。
Replicate Intelligence #9★ 85
Replicate Blog669d agoReleaseReplicate Intelligence 第 9 期彙整了近期三大 AI 技術突破。首先是 Black Forest Labs 推出的開源影像生成模型 FLUX.1，其品質直逼 Midjourney v6；其次是 Meta 釋出的 SAM 2，將物件分割技術從靜態圖片延伸至動態影片；最後是 fast.ai 創辦人 Jeremy Howard 推出專為快速開發設計的全新 Python 網頁框架 FastHTML。
Replicate Intelligence #6★ 75
Replicate Blog704d agoReleaseReplicate 發布第 6 期技術情報，重點介紹 Google 全新開源的 Gemma 2 模型（包含 9B 與 27B 版本）已可在平台運行，其性能逼近更大參數的模型。同時，本期也更新了語言模型排行榜，並針對熱門的 Stable Diffusion 3 提供具體的提示詞與參數優化指南，幫助創作者解決人體畸變等常見生成問題。
How to get the best results from Stable Diffusion 3★ 75
Replicate Blog714d agoTutorialStable Diffusion 3 (SD3) 引入了全新的架構與三種文字編碼器。本指南介紹如何透過自然語言描述（而非標籤堆疊）來獲得最佳圖像、如何精準渲染文字，以及如何調整 CFG 比例（建議 4.5-6.0）與步數等關鍵參數，幫助開發者與創作者在 Replicate 上發揮 SD3 的最大潛力。
Run Stable Diffusion 3 on your Apple Silicon Mac
Replicate Blog714d agoTutorial本教學指導搭載 Apple Silicon（M 系列晶片）Mac 的使用者，如何利用 PyTorch 的 MPS（Metal Performance Shaders）硬體加速技術，在本地端部署並運行 Stable Diffusion 3 圖像生成模型。這讓開發者與創作者無需依賴雲端 API，即可在個人電腦上進行高效、隱私且免費的本地 AI 繪圖。
Run Stable Diffusion 3 on your own machine with ComfyUI
Replicate Blog718d agoTutorialReplicate 發布了簡易教學，指導使用者如何在本地 GPU 設備上透過 ComfyUI 運行最新發布的 Stable Diffusion 3 (SD3)。讀者只需在終端機複製並貼上幾行指令，即可快速完成環境部署，開始體驗 SD3 的本地圖像生成能力。這對於想要避開雲端限制、進行本地客製化創作的設計師與開發者非常實用。
Push a custom version of Stable Diffusion 3★ 70
Replicate Blog718d agoNew ToolReplicate 宣布支援用戶部署自定義版本的 Stable Diffusion 3 (SD3)。開發者可以使用開源工具 Cog 將微調後的 SD3 模型、自定義權重（如 LoRA）打包，並上傳至 Replicate 平台。部署完成後，即可透過直觀的網頁介面進行測試，或利用生產級的 API 進行大規模圖像生成，大幅降低了雲端 GPU 部署、自動擴展與維護的門檻，非常適合新創團隊與獨立開發者快速將 AI 應用落地。
Run Stable Diffusion 3 with an API★ 70
Replicate Blog720d agoNew ToolStability AI 的最新文字生成圖像模型 Stable Diffusion 3 已正式上架雲端託管平台 Replicate。此版本模型在圖像生成品質、文字排版精準度、複雜提示詞理解能力以及資源運行效率上，皆比前代有顯著的提升。開發者現在可以透過 Replicate 提供的雲端 API，僅需編寫一行程式碼，就能輕鬆將其整合至應用程式中。
Diffusers welcomes Stable Diffusion 3★ 80
Hugging Face Blog720d agoReleaseHugging Face 宣布其 diffusers 函式庫已正式整合 Stability AI 的 Stable Diffusion 3 (SD3)。本次更新全面支援 SD3 Medium 模型，並引入多項關鍵的記憶體優化技術（如 CPU offloading、float16 精度與可選的 T5-XXL 編碼器），讓開發者能在消費級 GPU 上流暢運行。此外，官方也同步釋出了 DreamBooth 與 LoRA 的微調腳本，大幅降低了客製化圖像生成模型的門檻。
Unlocking the conversion of Web Screenshots into HTML Code with the WebSight Dataset★ 75
Hugging Face Blog809d agoReleaseHugging Face 宣布推出 WebSight 數據集，專為訓練視覺語言模型（VLM）進行「截圖轉網頁程式碼（Screenshot-to-Code）」而設計。該數據集包含約 200 萬個由合成技術產生的網頁截圖及其對應的乾淨 HTML/CSS 程式碼。透過 WebSight，開發者與研究人員能更有效率地微調多模態模型，加速自動化前端開發與設計稿轉程式碼的技術落地。
SegMoE: Segmind Mixture of Diffusion Experts★ 75
Hugging Face Blog850d agoReleaseSegmind 發表 SegMoE 框架，借鑑 LLM 的混合專家（MoE）架構並將其應用於 Stable Diffusion 等擴散模型。該技術允許開發者將多個專門的 SDXL 專家模型合併為一個，並透過路由機制動態分配生成任務。此方法無需從頭訓練，即可結合不同風格模型的優勢，為影像生成帶來更高的靈活性與效率。
Run ComfyUI workflows for free with Gradio on Hugging Face Spaces★ 75
Hugging Face Blog870d agoTutorialHugging Face 介紹了如何結合 ComfyUI 與 Gradio，並在 Spaces 上免費運行。使用者只需將 ComfyUI 工作流導出為 API JSON 格式，即可透過 Gradio 建立簡潔的前端介面。這項技術讓創作者能輕鬆分享複雜的 AI 圖像生成工作流，無需讓終端用戶面對複雜的節點圖。
Welcome aMUSEd: Efficient Text-to-Image Generation
Hugging Face Blog880d agoReleaseHugging Face 發表了名為 aMUSEd 的開源文字生成圖片模型，基於 Google 的 MUSE 架構。與主流的擴散模型（Diffusion Models）不同，aMUSEd 採用遮罩圖像建模（MIM）技術，僅需 12 個步驟即可生成圖像。其參數規模僅約 8 億，非常適合在消費級硬體上進行快速推理與微調，並支援圖生圖與局部重繪。
LoRA training scripts of the world, unite!★ 75
Hugging Face Blog882d agoNew ToolHugging Face 於 Diffusers 推出全新的 SDXL LoRA 進階訓練腳本，旨在整合開源社群（如 Kohya）的各種訓練技巧。該腳本支援雙文字編碼器微調、Offset Noise、Min-SNR 權重及多解析度訓練，讓開發者與創作者能以更標準、高效的方式訓練出高品質的 SDXL LoRA 模型。
Generate music from chord progressions and text prompts with MusicGen-Chord
Replicate Blog937d agoReleaseReplicate 為 Meta 的 MusicGen 模型新增了「和弦制約（chord conditioning）」功能，推出 MusicGen-Chord。使用者現在可以同時輸入文字提示詞與特定的和弦進行（chord progressions），藉此自動生成符合特定音樂風格與和弦結構的背景伴奏軌（backing tracks），大幅提升 AI 音樂創作的控制度。
Generate images in one second on your Mac using a latent consistency model
Replicate Blog951d agoTutorial本文為 Replicate 釋出的技術教學，指導讀者如何在 Apple Silicon (M1/M2) Mac 上本地運行 Latent Consistency Model (LCM)。LCM 透過大幅減少去噪步數（僅需 1-4 步），將原本需要數十秒的 Stable Diffusion 圖片生成時間縮短至一秒以內，非常適合需要即時反饋的創作者與開發者。
Exploring simple optimizations for SDXL★ 75
Hugging Face Blog952d agoTutorial本文介紹了針對 Stable Diffusion XL (SDXL) 的多項實用推論優化技術。透過 Hugging Face 的 Diffusers 函式庫，開發者可以輕鬆啟用 PyTorch 2.0 的 `torch.compile()`、記憶體高效注意力機制（SDPA）、CPU 卸載（CPU Offloading）以及 VAE 分片與平鋪技術。這些方法能在不犧牲影像品質的前提下，顯著縮短生成時間並降低 GPU 顯示記憶體（VRAM）的需求，讓消費級顯示卡也能流暢運行。
Fine-tune MusicGen to generate music in any style
Replicate Blog963d agoNew ToolAI 雲端運行平台 Replicate 宣布支援 Meta MusicGen 音樂生成模型的微調（Fine-tuning）功能。使用者現在可以使用自己的音訊檔案，在 Replicate 上訓練 MusicGen 的 small、medium 和 melody 版本，藉此生成特定風格或旋律的音樂，為音樂創作者與開發者提供高度客製化的音訊生成方案。
Efficient Controllable Generation for SDXL with T2I-Adapters★ 70
Hugging Face Blog998d agoReleaseHugging Face 宣布與騰訊 ARC 實驗室合作，將 T2I-Adapter 引入 Stable Diffusion XL (SDXL)。相較於體積龐大的 ControlNet，T2I-Adapter 僅有約 79M 參數，能在不犧牲生成品質的前提下，大幅降低顯示記憶體（VRAM）佔用並提升推理速度。目前已支援 Canny 邊緣偵測、草圖（Sketch）、深度圖（Depth）等多種控制模式，並已整合至 diffusers 函式庫中。
Painting with words: a history of text-to-image AI
Replicate Blog1015d agoCommentary本文回顧了文字生成圖像（Text-to-Image）技術的演進歷程。從早期的 GAN 限制，到 2021 年 VQGAN+CLIP 掀起的社群藝術熱潮，再到 2022 年 DALL-E 2 與 Stable Diffusion 的爆發。隨著 Stable Diffusion 迎來一週年及 SDXL 的推出，開源社群與微調技術正以前所未有的速度重塑視覺創作。
Fine-tune SDXL with your own images
Replicate Blog1029d agoNew ToolAI 雲端託管平台 Replicate 宣布為 SDXL 1.0 推出微調（Fine-tuning）功能，支援 Dreambooth、Textual Inversion 和 LoRA 等技術。開發者與創作者現在可以透過 Replicate API，僅需一行程式碼就能上傳自己的圖片並訓練出客製化的 SDXL 模型，大幅降低了客製化圖像生成模型的技術門檻與算力維護成本。
Open-sourcing Knowledge Distillation Code and Weights of SD-Small and SD-Tiny★ 70
Hugging Face Blog1036d agoReleaseHugging Face 宣布開源基於 Stable Diffusion 蒸餾的輕量化模型 SD-Small（約 5.11 億參數）與 SD-Tiny（約 3.23 億參數）的權重與完整訓練程式碼。透過知識蒸餾技術減少 UNet 的層數，這些模型在保留高圖像質量的同時，實現了 1.5 到 2 倍的推理加速。此舉不僅降低了消費級顯卡與行動裝置運行 AI 繪圖的門檻，也讓開發者能自行蒸餾客製化的 SD 模型。
Practical 3D Asset Generation: A Step-by-Step Guide★ 72
Hugging Face Blog1036d agoTutorial本指南介紹如何利用開源 AI 模型（如 OpenAI 的 Shap-E 和 Zero-1-to-3）從文本或單張圖片快速生成 3D 模型。 詳細說明了將 AI 生成的原始 3D 網格（Mesh）匯入 Blender 進行減面（Decimation）與材質修復的實務工作流。 為遊戲開發者與 3D 設計師提供了一套降低創作門檻、加速原型設計的實用開源解決方案。
Stable Diffusion XL on Mac with Advanced Core ML Quantization★ 72
Hugging Face Blog1041d agoReleaseHugging Face 發表了將 Stable Diffusion XL (SDXL) 部署於 Mac 的 Core ML 最佳化方案。透過先進的量化技術（如 6-bit 與 8-bit 量化），成功將龐大的 SDXL 模型體積縮減，使其能在 Apple Silicon（M1/M2 系列晶片）的 Mac 上流暢運行，顯著降低記憶體需求，並充分釋放 Apple 神經網路引擎（ANE）的硬體效能。
Run SDXL with an API
Replicate Blog1042d agoTutorialReplicate 宣布支援 Stability AI 的 SDXL 1.0 圖像生成模型。開發者無需自行維護昂貴的 GPU 基礎設施，只需透過簡單的 Python、JavaScript 或 cURL API 呼叫，即可在雲端運行 SDXL 1.0。本指南展示了如何設定提示詞、尺寸等參數，並快速將高品質的 AI 繪圖功能整合至應用程式中。
Results of the Open Source AI Game Jam
Hugging Face Blog1047d agoReleaseHugging Face 舉辦的首屆開源 AI 遊戲創作大賽（Open Source AI Game Jam）圓滿落幕。本次活動吸引了上千名開發者參與，並提交了眾多將開源 AI 技術（如 LLM、圖像生成、語音辨識）融入遊戲玩法的創意作品。獲獎作品展示了如何利用 Hugging Face 的工具生態系與開源模型，為傳統遊戲注入全新的動態生成與互動機制。
AI Speech Recognition in Unity
Hugging Face Blog1096d agoTutorial本文介紹如何使用 Hugging Face 專為 Unity 開發者設計的開源 API 套件，在遊戲中輕鬆整合 AI 語音辨識（ASR）功能。透過該套件，開發者可以直接調用 Hugging Face Inference API（如 OpenAI 的 Whisper 模型），將玩家的麥克風錄音即時轉換為文字。這為遊戲內語音指令、與 NPC 的語音對話等互動機制提供了極低門檻的實現路徑，且無需在本地運行龐大的深度學習模型。