Hugging Face 協同 BigScience 社群正式發表 BLOOM,這是一個擁有 1760 億參數的開源多語言大模型。該模型由全球 70 多國、上千名研究人員歷時一年多共同協作完成,並在法國 Jean Zay 超級電腦上進行訓練。BLOOM 支援 46 種自然語言與 13 種程式語言,旨在打破科技巨頭壟斷,推動 AI 學術研究的民主化與開放合作。
本文探討大型語言模型(LLM)參數規模以驚人速度增長的現象,並將其與「摩爾定律」相提並論。然而,這種「越大越好」的趨勢伴隨著極高的算力成本、碳排放以及技術壟斷風險。Hugging Face 呼籲社群關注模型民主化,並透過開源合作(如 BigScience 專案)與高效能技術(如蒸餾、量化)來打破巨頭壟斷,尋求更永續的 AI 發展路徑。