هيكل - محاولات محاكاة للنص إلى SQL

يعد تعلم محاذاة جدول النص أمرا ضروريا للمهام مثل النص إلى SQL. يحتاج النموذج إلى التعرف بشكل صحيح على مراجع اللغة الطبيعية إلى الأعمدة والقيم وإيصارها في مخطط قاعدة البيانات المحدد. في هذه الورقة، نقدم رواية خاضعة للإشراف على أساس إشراف الإشراف على إنشاء هيكل (Stred) للنص إلى SQL والتي يمكن أن تتعلم بفعالية لالتقاط محاذاة جدول النصوص بناء على كوربوس نصي متوازي للنص. نحدد مجموعة من المهام التي تحذر الرواية: تأريض العمود، والتأريض القيمة ورسم الخرائط ذات القيمة العمودية، والاستفادة منهم للتأمر بتشمس الجدول النصي. بالإضافة إلى ذلك، لتقييم الأساليب المختلفة في إطار إعدادات محاذاة النصوص النصية أكثر واقعية، نقوم بإنشاء تقييم جديد تم تعيين العنكبوت على أساس مجموعة ديف العنكبوت مع إزالته الصريحة لأسماء الأعمدة التي تمت إزالتها، واعتماد ثمانية مجموعات بيانات نصية إلى SQL الحالية تقييم قاعدة البيانات. Werug يجلب تحسنا كبيرا على Bertlarge في جميع الإعدادات. بالمقارنة مع طرق الاحتجاج الحالية مثل Grappa، تحقق Strech أداء مماثل على العنكبوت، وتتفوق على جميع خطوط الأساس على مجموعات أكثر واقعية. سيكون جميع التعليمات البرمجية والبيانات المستخدمة في هذا العمل مفتوحة لتسهيل البحث في المستقبل.

Learning to capture text-table alignment is essential for tasks like text-to-SQL. A model needs to correctly recognize natural language references to columns and values and to ground them in the given database schema. In this paper, we present a novel weakly supervised Structure-Grounded pretraining framework (STRUG) for text-to-SQL that can effectively learn to capture text-table alignment based on a parallel text-table corpus. We identify a set of novel pretraining tasks: column grounding, value grounding and column-value mapping, and leverage them to pretrain a text-table encoder. Additionally, to evaluate different methods under more realistic text-table alignment settings, we create a new evaluation set Spider-Realistic based on Spider dev set with explicit mentions of column names removed, and adopt eight existing text-to-SQL datasets for cross-database evaluation. STRUG brings significant improvement over BERTLARGE in all settings. Compared with existing pretraining methods such as GRAPPA, STRUG achieves similar performance on Spider, and outperforms all baselines on more realistic sets. All the code and data used in this work will be open-sourced to facilitate future research.