نحن نقدم Rackbert، وهي طريقة ما قبل التدريب التي تزيد من طرازات اللغة بالقدرة على السبب في العلاقات الطويلة المدى والسياقات المختلفة المحتملة. على عكس أساليب ما قبل التدريب الموجودة التي تحصدها فقط إشارات تعليمية فقط من السياقات المحلية للنصوص التي تحدث بشكل طبيعي، نقترح فكرة عمومية للإشراف البعيد توصيل قطع النص والجداول متعددة تلقائيا لإنشاء أمثلة تدريبية مسبقا تتطلب منطق طويل المدى. يتم محاكاة أنواع مختلفة من المنطق، بما في ذلك تقاطع أجزاء متعددة من الأدلة، مدفوعة من قطعة واحدة من الأدلة إلى آخر، والكشف عن الحالات التي لا يمكن إجراؤها. نقوم بإجراء تقييم شامل حول مجموعة متنوعة من الأسئلة الاستخراجية التي تربط عن مجموعات البيانات التي تتراوح من قفزة واحدة من قفصات متعددة ومنصات فقط إلى الجدول فقط إلى الهجين والتي تتطلب إمكانيات التفكير المختلفة وإظهار أن Rackberber يحقق تحسنا ملحوظا على مجموعة من القوية خطوط الأساس. تظهر تجارب قليلة أكثر أن طريقتنا السابقة للتدريب على تحسين كفاءة عينة.