xAI has released Grok Imagine Video 1.5, a model that animates a still image into a short video clip. It generates synchronized audio during the same pass, combining visual animation and sound creation in one workflow. The Replicate Blog post focuses on prompting techniques intended to help users get more from the model.
Replicate 為 Meta 的 MusicGen 模型新增了「和弦制約(chord conditioning)」功能,推出 MusicGen-Chord。使用者現在可以同時輸入文字提示詞與特定的和弦進行(chord progressions),藉此自動生成符合特定音樂風格與和弦結構的背景伴奏軌(backing tracks),大幅提升 AI 音樂創作的控制度。
Hugging Face 釋出 AudioLDM 2 的推理加速指南。透過將模型轉為 float16 半精度、將預設的 200 步調度器替換為僅需 25 步的 DPMSolverMultistepScheduler,並結合 PyTorch 2.0 的 torch.compile 技術,開發者可以將音訊生成速度提升數倍,在 GPU 上實現秒級的文字轉語音與音樂生成。
本文介紹如何利用 Hugging Face Inference Endpoints 託管服務,在幾分鐘內將 Meta 的開源音樂生成模型 MusicGen 部署為生產級 API。使用者無需自行管理複雜的 GPU 基礎設施,只需選擇模型與硬體規格,即可一鍵生成專屬的 API 端點,並透過簡單的 HTTP 請求實現文字生成音樂的功能。