Efficient Table Pre-training without Real Data: An Introduction to TAPEX

TAPEX 透過模擬 SQL 執行生成合成數據進行表格預訓練，無需真實數據即可在表格問答任務中達到 SOTA 表現。

微軟提出的 TAPEX（Table Pre-training via Execution）是一種創新的表格預訓練方法，現已整合至 Hugging Face。它不依賴網路爬取的真實表格，而是利用隨機生成的 SQL 查詢及其執行結果（合成數據）來訓練 Seq2Seq 模型。這種「藉由執行來學習」的方式，顯著提升了模型對表格數據的推理能力，並在 WikiSQL 和 WikiTableQuestions 等基準測試中取得領先。

摘要由 AI 整理,以原文為準。