Data and Model Distillation as a Solution for Domain-transferable Fact Verification

في حين أن الشبكات العصبية تنتج أداء حديثة في العديد من مهام NLP، إلا أنها تعتمد بشكل عام على المعلومات المعدنية، والتي تنقل بشكل سيئ بين المجالات.نقدم مزيجا من استراتيجيتين للتخفيف من هذا الاعتماد على المعلومات المعجمية في مهام التحقق من الواقع.نقدم تقنية تقطير البيانات إلى Delexicalization، والتي ندموعها مع طريقة تقطير نموذجية لمنع تقطير البيانات العدوانية.نظرا لأنه من خلال استخدام حلنا، لا يبقى أداء نموذج حالة حديثة موجود على قدم المساواة مع نموذج النموذج الذي تم تدريبه على بيانات متعمدة بالكامل، ولكنه يؤدي أيضا بشكل أفضل منه عند اختبارهنطاق.نظهر أن هذه التقنية التي نقدمها تشجع النماذج لاستخراج الحقائق القابلة للتحويل من مجموعة بيانات التحقق من حقيقة معين.

While neural networks produce state-of-the-art performance in several NLP tasks, they generally depend heavily on lexicalized information, which transfer poorly between domains. We present a combination of two strategies to mitigate this dependence on lexicalized information in fact verification tasks. We present a data distillation technique for delexicalization, which we then combine with a model distillation method to prevent aggressive data distillation. We show that by using our solution, not only does the performance of an existing state-of-the-art model remain at par with that of the model trained on a fully lexicalized data, but it also performs better than it when tested out of domain. We show that the technique we present encourages models to extract transferable facts from a given fact verification dataset.