Deepblueai في TEXTGRAPHS 2021 المهمة المشتركة: علاج تجديد تفسير القفزات متعددة القفز كشام

تصف هذه الورقة النظام الفائز للمهمة المشتركة للمكاسب 2021: تجديد شرح القفز متعدد القفز. بالنظر إلى سؤال وإجابته الصحيحة المقابلة، تهدف هذه المهمة إلى تحديد الحقائق التي يمكن أن توضح سبب صحة الإجابة لهذا السؤال والرد (ضمان الجودة) من قاعدة معارف كبيرة. لمعالجة هذه المشكلة وتسريع التدريب أيضا، تتضمن استراتيجيتنا خطوتين. أولا، قم بضبط النماذج اللغوية المدربة مسبقا (PLMS) مع فقدان ثلاثي لاستدعاء الحقائق ذات الصلة Top-K لكل سؤال وجواب. بعد ذلك، اعتماد نفس الهندسة المعمارية لتدريب نموذج إعادة الترتيب لترتيب المرشحين الأعلى K. لتعزيز الأداء، نحن متوسط ​​النتائج من النماذج المستندة إلى PLMS مختلفة (E.G.، ROBERTA) وإعدادات المعلمات المختلفة لجعل التنبؤات النهائية. يوضح التقييم الرسمي أنه، يمكن أن يتفوق نظامنا على ثاني أفضل نظام بمقدار 4.93 نقطة، مما يثبت فعالية نظامنا. كان رمزنا مفتوح المصدر، والعنوان هو https://github.com/deepblueaii/textgraphs-15

This paper describes the winning system for TextGraphs 2021 shared task: Multi-hop inference explanation regeneration. Given a question and its corresponding correct answer, this task aims to select the facts that can explain why the answer is correct for that question and answering (QA) from a large knowledge base. To address this problem and accelerate training as well, our strategy includes two steps. First, fine-tuning pre-trained language models (PLMs) with triplet loss to recall top-K relevant facts for each question and answer pair. Then, adopting the same architecture to train the re-ranking model to rank the top-K candidates. To further improve the performance, we average the results from models based on different PLMs (e.g., RoBERTa) and different parameter settings to make the final predictions. The official evaluation shows that, our system can outperform the second best system by 4.93 points, which proves the effectiveness of our system. Our code has been open source, address is https://github.com/DeepBlueAI/TextGraphs-15