Efficient Table Pre-training without Real Data: An Introduction to TAPEX
Hugging Face Blog·1471d ago·Release
微軟提出的 TAPEX(Table Pre-training via Execution)是一種創新的表格預訓練方法,現已整合至 Hugging Face。它不依賴網路爬取的真實表格,而是利用隨機生成的 SQL 查詢及其執行結果(合成數據)來訓練 Seq2Seq 模型。這種「藉由執行來學習」的方式,顯著提升了模型對表格數據的推理能力,並在 WikiSQL 和 WikiTableQuestions 等基準測試中取得領先。