تعد تحديد الهياكل مهمة مع قابلية التطبيق في مجموعة واسعة من المجالات، تتراوح من التعرف على الكلام التلقائي إلى التعدين في الرأي.يقدم هذا العمل هياكناتنا المستخدمة في مهمة تحديد الهوية الرومانية لعام 2021.لقد أدخلنا سلسلة من الحلول بناء على المحولات ا
لرومانية أو متعددة اللغات، فضلا عن تقنيات التدريب المشددي.في الوقت نفسه، جربنا أداة تقطير المعرفة من أجل التحقق مما إذا كان يمكن لنموذج أصغر الحفاظ على أداء أفضل أسلوبنا.تمكن أفضل الحلول لدينا للحصول على درجة F1 مرجحة من 0.7324، مما يتيح لنا الحصول على المركز الثاني على المتصدرين.
تصف هذه الورقة التقديمات من قبل Team HWR إلى المهمة المشتركة (DLI) التي تم تنظيمها في ورشة عمل فاريدية 2021. تتضمن مجموعة تدريب DLI 16،674 تعليقات يوتيوب مكتوبة في البرنامج النصي الروماني يحتوي على نص مختلط من التعليمات البرمجية مع اللغة الإنجليزية و
احدا من اللغات الثلاثة الجنوبية الدرفيدية: كانادا، ملايال، والتاميل. لقد قدمنا النتائج التي تم إنشاؤنا باستخدام نموذجين، وهو مصنف بايز ساذج مع نماذج بلغة تكيفية، والتي أثبتت الحصول على أداء تنافسي في العديد من مهام تحديد اللغة واللهجة، وعلى نموذج يستند إلى المحولات الذي يعتبر على نطاق واسع كحدث الفن في عدد من مهام NLP. تم إرسال طلبنا الأول في مسار التقديم المغلق باستخدام مجموعة التدريب فقط المقدمة من منظمي المهام المشتركة، في حين أن التقديم الثاني يعتبر مفتوحا لأنه استخدم نموذجا مسبقا تدريبا على البيانات الخارجية. حصل فريقنا على المركز الثاني المشترك في المهمة المشتركة مع التقديم على أساس بايس ساذج. تعزز نتائجنا فكرة أن أساليب التعلم العميقة ليست تنافسية في المهام المتعلقة بتحديد اللغة لأنها في العديد من مهام تصنيف النص الأخرى.
