نقل تمثيلات الديون المنطقية

في خطوط أنابيب معالجة اللغة الطبيعية الحديثة، فمن الممارسات الشائعة أن تعزز "نموذج لغة تابعة له على جثة كبيرة من النص، ثم إلى Finetune '' من التمثيلات التي تم إنشاؤها من خلال الاستمرار في تدريبهم على مهمة استنصائية نصية تمييزية.ومع ذلك، ليس من الواضح فورا ما إذا كان المعنى المنطقي ضروري لنموذج الاستقصاء المنطقي يتم التقاطه بواسطة نماذج اللغة في هذه النموذج.نحن ندرس هذه الوصفة المؤقتة الوصيفة مع نماذج اللغة التي تم تدريبها على مهمة استقامة اللغة الاصطناعية، والنتائج الحالية على مجموعات الاختبار معرفة نماذج التحقيق "بديهيا" منطق الدرس الأول.

In modern natural language processing pipelines, it is common practice to pretrain'' a generative language model on a large corpus of text, and then to finetune'' the created representations by continuing to train them on a discriminative textual inference task. However, it is not immediately clear whether the logical meaning necessary to model logical entailment is captured by language models in this paradigm. We examine this pretrain-finetune recipe with language models trained on a synthetic propositional language entailment task, and present results on test sets probing models' knowledge of axioms of first order logic.