Can foundation models label data like humans?

探討基座模型（如 GPT-4）在數據標記與 RLHF 偏好評估上是否能取代人類，分析其成本優勢與潛在偏見。

隨著 RLHF 成為微調大模型的關鍵，高昂的人工標記成本成為瓶頸。研究顯示，基座模型（如 GPT-4）在許多文本分類與偏好標記任務上，已能達到甚至超越普通群眾外包人員的準確度，且成本僅為百分之一。然而，AI 標記仍存在自我偏好、字數偏見等系統性誤差，未來將走向 AI 輔助與人類協同的混合模式。

摘要由 AI 整理,以原文為準。