ترغب بنشر مسار تعليمي؟ اضغط هنا

YNU-HPCC في مهمة Semeval-2021: باستخدام نموذج تكيف المجال المجاني من المصدر المستند إلى المصدر للمعالجة الدلالية

YNU-HPCC at SemEval-2021 Task 10: Using a Transformer-based Source-Free Domain Adaptation Model for Semantic Processing

457   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

قيود مشاركة البيانات شائعة في مجموعات بيانات NLP.الغرض من هذه المهمة هو تطوير نموذج مدرب في مجال المصدر لجعل تنبؤات للمجال المستهدف مع بيانات المجال ذات الصلة.لمعالجة هذه المسألة، قدم المنظمون النماذج التي يتم ضبطها بشكل جيد على عدد كبير من بيانات مجال المصدر على النماذج المدربة مسبقا وبيانات DEV للمشاركين.ولكن لم يتم توزيع بيانات مجال المصدر.تصف هذه الورقة النموذج المقدم إلى مهمة NER (التعرف على كيان الاسم) وطرق تطوير النموذج.كقليل من البيانات المقدمة، تكون النماذج المدربة مسبقا مناسبة لحل المهام عبر المجال.يمكن أن تكون النماذج التي تم ضبطها من قبل عدد كبير من مجال آخر فعال في مجال جديد لأن المهمة لم تكن هناك تغيير.



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

تقدم هذه الورقة المهمة المشتركة تتكيف المجال المجانية للمصدر التي عقدت داخل Semeval-2021.كان الهدف من المهمة هو استكشاف تكيف نماذج تعليم الآلات في مواجهة قيود مشاركة البيانات.على وجه التحديد، نعتبر السيناريو حيث توجد التعليقات التوضيحية للنطاق ولكن ل ا يمكن تقاسمها.بدلا من ذلك، يتم تزويد المشاركين مع النماذج المدربة على هذه البيانات (المصدر).يتلقى المشاركون أيضا بعض البيانات المسمى من مجال جديد (تطوير) لاستكشاف خوارزميات تكيف المجال.ثم يتم اختبار المشاركين على البيانات التي تمثل مجال جديد (الهدف).استكشفنا هذا السيناريو مع اثنين من المهام الدلالية المختلفة: الكشف عن النفي (مهمة تصنيف النص) والتعرف على تعبير الوقت (مهمة وضع علامة تسلسل).
يعد التكيف المجال المجاني للمصدر خطا ناشئا في أبحاث التعلم العميق لأنه يرتبط ارتباطا وثيقا ببيئة العالم الحقيقي.ندرس مخصصات المجال في مشكلة تسلسل التسلسل حيث يتم تقديم الطراز الذي تم تدريبه على بيانات مجال المصدر.نقترح طريقتين: محول الذات وتدريب المص نف الانتقائي.المحول الذاتي هو طريقة تدريب تستخدم تسميات زائفة على مستوى الجملة التي تمت تصفيتها بواسطة عتبة الانتروب الذاتي لتوفير الإشراف على النموذج بأكمله.يستخدم التدريب الانتقائي مؤشر التسميات الزائفة على مستوى الرمز المميز ويشرف على طبقة التصنيف فقط من النموذج.يتم تقييم الأساليب المقترحة على البيانات التي توفرها مهمة Semeval-2021 10 وتحقيق المحول الذاتي أداء المرتبة الثانية.
يفترض تكيف المجال أن العينات من المجالات المصدر والمستهدفة يمكن الوصول إليها بحرية خلال مرحلة التدريب.ومع ذلك، نادرا ما يكون مثل هذا الافتراض معقول في العالم الحقيقي وقد يؤدي إلى مشكلات خصوصية البيانات، خاصة عندما تكون تسمية مجال المصدر يمكن أن تكون سمة حساسة كمعرف.مهمة Semeval-2021 تركز 10 على هذه القضايا.نشارك في المهمة واقتراح أطر جديدة بناء على طريقة التدريب الذاتي.في أنظمتنا، تم تصميم أطرتين مختلفتين لحل تصنيف النص ووضع التسلسل.يتم اختبار هذه الأساليب لتكون فعالة والتي تحتل المرتبة الثالثة من بين جميع النظام في التراكب الفرعي، وتحتل المرتبة الأولى بين جميع النظام في SubTask B.
تصف هذه الورقة النظام الذي بنناه كفريق YNU-HPCC في مهمة Semeval-2021 11: NLPContribeGraph. تتضمن هذه المهمة أولا تحديد الجمل في المقالات العلمية المعينة للغة الطبيعية (NLP) التي تعكس مساهمات البحث من خلال التصنيف الثنائي؛ ثم تحديد المصطلحات العلمية ا لأساسية وعبارات علاقتها من جمل هذه المساهمة عن طريق وضع التسلسل؛ وأخيرا، يتم تصنيف هذه المصطلحات والعلاقات العلمية هذه، وحددها، ويتم تنظيمها في ثلاثة أضعاف ثلاثة أضعاف لتشكيل رسم بياني للمعرفة بمساعدة تصنيف Multiclass وتصنيف متعدد التسميات. قمنا بتطوير نظام لهذه المهمة باستخدام نموذج تمثيل لغوي مدرب مسبقا يسمى Bert الذي يمثل تمثيلات تشفير ثنائية الاتجاه من المحولات، وحقق نتائج جيدة. متوسط ​​درجة F1 للتقييم المرحلة 2، الجزء الأول كان 0.4562 واحتل المرتبة 7، ومتوسط ​​درجة F1 لمرحلة التقييم 2، الجزء الثاني كان 0.6541، وأيضا المرتبة 7.
تصف هذه الورقة أنظمتنا لإلغاء الكشف عن النفي والتعرف على تعبير الوقت في مهمة Semeval 2021، وتكييف المجال المجاني للمصدر للمعالجة الدلالية.نظرا لأن التدريب الذاتي والتعلم النشط وتقنيات تكبير البيانات يمكن أن يحسن قدرة تعميم النموذج على بيانات المجال ا لمستهدف غير المستهدف دون الوصول إلى بيانات مجال المصدر.نحن نقوم أيضا بإجراء دراسات مفصلة عن التدقيق وتحليلات الأخطاء لأنظمة التعرف على تعبير وقتنا لتحديد مصدر تحسين الأداء وإعطاء ردود فعل بناءة على إرشادات التطبيع الزمني للتطبيع.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا