نحو نموذج اللغة لمعان المنطقي الزمني

منطق العموم الزمني هي مهمة صعبة لأنها تتطلب المعرفة الزمنية عادة غير صريحة في النص.في هذا العمل، نقترح نموذج فرقة لسبب المنظمات الزمنية.يعتمد نموذجنا على تمثيلات سياقية مدربة مسبقا من نماذج اللغة القائمة على المحولات (IE، Bert)، وعلى مجموعة متنوعة من طرق التدريب لتعزيز تعميم النموذج: 1) ضبط غرامة متعددة الخطوات باستخدام المهام العاطفية المحددة بعناية ومجموعات البيانات، و2) مهمة نموذجية مصممة مصممة خصيصا له مهمة تهدف إلى التقاط معرفة العمليات الزمنية.يتفوق نموذجنا إلى حد كبير على نهج ضبط الدقيقة القياسية والقواعد الأساسية القوية على DataSet MC-Taco.

Temporal commonsense reasoning is a challenging task as it requires temporal knowledge usually not explicit in text. In this work, we propose an ensemble model for temporal commonsense reasoning. Our model relies on pre-trained contextual representations from transformer-based language models (i.e., BERT), and on a variety of training methods for enhancing model generalization: 1) multi-step fine-tuning using carefully selected auxiliary tasks and datasets, and 2) a specifically designed temporal masked language model task aimed to capture temporal commonsense knowledge. Our model greatly outperforms the standard fine-tuning approach and strong baselines on the MC-TACO dataset.