Econet: الاحيلية المستمرة الفعالة من نماذج اللغة للحدث المنطقي الزمني

في حين أن طرازات اللغة المدربة مسبقا (PTLMS) حققت نجاحا ملحوظا في العديد من مهام NLP، إلا أنها ما زالوا يكافحون من أجل المهام التي تتطلب منطق الحدث الزمني، وهو أمر ضروري للتطبيقات المرن في الحدث. نقدم نهجا مستمرا مسبقا يزود PTLMS مع المعرفة المستهدفة حول العلاقات الزمنية للحدث. نقوم بتصميم أهداف التعلم ذات الإشراف الذاتي لاستعادة الحدث الملثمان والمؤشرات الزمنية وتمييز الأحكام من نظرائهم الفاسد (حيث تم استبدال الحدث أو المؤشرات الزمنية). بمزيد من التدريب مسبقا PTLM مع هذه الأهداف بشكل مشترك، نعزز انتباهها إلى الحدث والمعلومات الزمنية، مما أدى إلى تعزيز القدرة المعززة على المنطق الزمني للحدث. هذا ** e ** ffective ** con ** إطار ما قبل التدريب المعدني ** ه ** تنفيس ** T ** منطق Emporal (Econet) يحسن عروض الضبط الدقيقة PTLMS عبر خمسة استخراج العلاقات والسؤال وتحقق عروضا جديدة أو على قدم المساواة في معظم مهامنا المصب لدينا.

While pre-trained language models (PTLMs) have achieved noticeable success on many NLP tasks, they still struggle for tasks that require event temporal reasoning, which is essential for event-centric applications. We present a continual pre-training approach that equips PTLMs with targeted knowledge about event temporal relations. We design self-supervised learning objectives to recover masked-out event and temporal indicators and to discriminate sentences from their corrupted counterparts (where event or temporal indicators got replaced). By further pre-training a PTLM with these objectives jointly, we reinforce its attention to event and temporal information, yielding enhanced capability on event temporal reasoning. This **E**ffective **CON**tinual pre-training framework for **E**vent **T**emporal reasoning (ECONET) improves the PTLMs' fine-tuning performances across five relation extraction and question answering tasks and achieves new or on-par state-of-the-art performances in most of our downstream tasks.