Rackbert: مسبقا مدربين على سبب الإشراف البعيد

نحن نقدم Rackbert، وهي طريقة ما قبل التدريب التي تزيد من طرازات اللغة بالقدرة على السبب في العلاقات الطويلة المدى والسياقات المختلفة المحتملة. على عكس أساليب ما قبل التدريب الموجودة التي تحصدها فقط إشارات تعليمية فقط من السياقات المحلية للنصوص التي تحدث بشكل طبيعي، نقترح فكرة عمومية للإشراف البعيد توصيل قطع النص والجداول متعددة تلقائيا لإنشاء أمثلة تدريبية مسبقا تتطلب منطق طويل المدى. يتم محاكاة أنواع مختلفة من المنطق، بما في ذلك تقاطع أجزاء متعددة من الأدلة، مدفوعة من قطعة واحدة من الأدلة إلى آخر، والكشف عن الحالات التي لا يمكن إجراؤها. نقوم بإجراء تقييم شامل حول مجموعة متنوعة من الأسئلة الاستخراجية التي تربط عن مجموعات البيانات التي تتراوح من قفزة واحدة من قفصات متعددة ومنصات فقط إلى الجدول فقط إلى الهجين والتي تتطلب إمكانيات التفكير المختلفة وإظهار أن Rackberber يحقق تحسنا ملحوظا على مجموعة من القوية خطوط الأساس. تظهر تجارب قليلة أكثر أن طريقتنا السابقة للتدريب على تحسين كفاءة عينة.

We present ReasonBert, a pre-training method that augments language models with the ability to reason over long-range relations and multiple, possibly hybrid contexts. Unlike existing pre-training methods that only harvest learning signals from local contexts of naturally occurring texts, we propose a generalized notion of distant supervision to automatically connect multiple pieces of text and tables to create pre-training examples that require long-range reasoning. Different types of reasoning are simulated, including intersecting multiple pieces of evidence, bridging from one piece of evidence to another, and detecting unanswerable cases. We conduct a comprehensive evaluation on a variety of extractive question answering datasets ranging from single-hop to multi-hop and from text-only to table-only to hybrid that require various reasoning capabilities and show that ReasonBert achieves remarkable improvement over an array of strong baselines. Few-shot experiments further demonstrate that our pre-training method substantially improves sample efficiency.