نقدم دخولنا إلى تصنيف سياق استشهاد المهام المشترك 2021 3C بناء على منافسة الغرض.الهدف من المسابقة هو تصنيف الاقتباس في مادة علمية بناء على هدفها.هذه المهمة مهمة لأنه من المحتمل أن تؤدي إلى طرق أكثر شمولا لتلخيص الغرض واستخدامات المقالات العلمية، ولكن
من الصعب أيضا، ويرجع ذلك أساسا إلى كمية محدودة من البيانات التدريبية المتاحة التي كانت فيها أغراض كل الاقتباس يدوياالمسمى، جنبا إلى جنب مع الذاتية لهذه الملصقات.إن دخولنا في المسابقة هو نموذج متعدد المهام يجمع بين وحدات متعددة مصممة للتعامل مع المشكلة من وجهات نظر مختلفة، بما في ذلك الميزات اللغوية التي تم إنشاؤها يدويا، وميزات TF-IDF، ونموذج LSTM- مع الانتباه.كما نقدم دراسة الاجتثاث والتحليل الميزات التي يمكن أن تؤدي رؤيتها إلى العمل في المستقبل.
تصف هذه الورقة نظامنا (IREL) لتصنيف سياق استشهاد 3C - مهمة مشتركة من ورشة عمل معالجة الوثيقات العلمية في Naacl 2021. شاركنا في كل من التركاس الفرعي A و Subtask B. لقد حقق أفضل نظامنا على درجة ماكرو F1 من 0.26973 على المتصدرين الخاصينللحصول على التراك
ج الفرعية واحتل المرتبة الأولى.بالنسبة إلى SubTask B أفضل نظامنا الذي حقق درجات ماكرو F1 من 0.59071 على المتصدرين الخاص وكان المرتبة الثانية.استخدمنا نماذج مماثلة لكل من المهن الفرعية مع بعض التغييرات الطفيفة، كما تمت مناقشته في هذه الورقة.كان لدينا أفضل نموذج أداء لكلا المراكب الفرعي هو نموذج Scibert Finetuned متبوعا بطبقة خطية.توفر هذه الورقة وصفا مفصلا لجميع الأساليب التي حاولناها ونتائجها.
نقترح طريقة لتعلم تمثيلات الجملة المعممة والتعميم باستخدام التعلم المشروع للإشراف على الذات.في الطريقة المقترحة، يتم إعطاء نموذج نص يتكون من جمل متعددة.تم اختيار جملة واحدة بشكل عشوائي كجوزة مستهدفة.يتم تدريب النموذج على زيادة التشابه بين تمثيل الجمل
ة المستهدفة مع سياقها وذلك من الجملة المستهدفة الملثملة بنفس السياق.في الوقت نفسه، يقلل النموذج من التشابه بين التمثيل الأخير وتمثيل جملة عشوائية مع نفس السياق.نحن نطبق طريقنا لتحليل علاقة الخطاب باللغة الإنجليزية واليابانية وإظهار أنه يتفوق على أساليب خطية قوية على أساس Bert و Xlnet و Roberta.
تعد تحليل التمثيل المعنى التجريدي مهمة التنبؤ بالسجن إلى الرسم حيث لا تتماشى العقد المستهدفة بشكل صريح إلى رموز الجملة. ومع ذلك، نظرا لأن عقد الرسوم البيانية تستند بشكل دلون على أساس واحد أو أكثر من رموز الجملة، يمكن استخلاص المحاذاة الضمنية. تعمل ال
محللون المستقلون على الانتقال عبر الجملة من اليسار إلى اليمين، والتقاط هذا التحيز الاستقرائي عبر المحاذاة بتكلفة التعبير المحدود. في هذا العمل، نقترح نظام يستند إلى الانتقال الذي يجمع بين الصعب على الجمل مع آلية مؤشر الإجراءات ذات الجانب المستهدف لتحديد الرموز المصدر من تمثيلات العقدة ومحاذاة العناوين. نقوم بالنماذج التحولات وكذلك آلية المؤشر من خلال تعديلات واضحة داخل بنية محول واحدة. يتم تشفير معلومات هيكل الدولة ومحلل الرسم البياني بكفاءة باستخدام رؤوس الانتباه. نظظ أن نهج مؤشر العمل لدينا يؤدي إلى زيادة التعبير عن التعبير والكتابة مكاسب كبيرة (+1.6 نقطة) مقابل أفضل محلل عمرو على الانتقال في ظروف مماثلة للغاية. أثناء استخدام أي رسوم إعادة التصنيف الرسم البياني، فإن طرازنا الفردي ينتج عنه ثاني أفضل نقاط Smatch في AMR 2.0 (81.8)، والذي تم تحسينه إلى 83.4 مع بيانات الفضة والكشف عن الفرم.
