أصبحت النماذج القائمة على المحولات القياسية الفعلية في مجال معالجة اللغة الطبيعية (NLP).من خلال الاستفادة من نصائح النص غير المستمر الكبيرة، فإنها تمكن من التعلم الفعال للتحويل المؤدي إلى نتائج أحدث النتائج في العديد من مهام NLP.ومع ذلك، بالنسبة إلى
لغات الموارد المنخفضة والمهام المتخصصة للغاية، تميل نماذج المحولات إلى التخلف عن الأساليب الكلاسيكية أكثر (على سبيل المثال SVM، LSTM) بسبب الافتقار إلى كورسا المذكور أعلاه.في هذه الورقة نركز على المجال القانوني ونحن نقدم نموذج برت روماني مدربا مسبقا على كوربوس متخصص كبير.تتفوق نموذجنا على العديد من خطوط خطوط خطوط خطوط خطوط خطية قوية للتنبؤ بالحكم القانوني على شركتين مختلفين تتكون من حالات من المحاكمات التي تنطوي على البنوك في رومانيا.
تعد تحديد الهياكل مهمة مع قابلية التطبيق في مجموعة واسعة من المجالات، تتراوح من التعرف على الكلام التلقائي إلى التعدين في الرأي.يقدم هذا العمل هياكناتنا المستخدمة في مهمة تحديد الهوية الرومانية لعام 2021.لقد أدخلنا سلسلة من الحلول بناء على المحولات ا
لرومانية أو متعددة اللغات، فضلا عن تقنيات التدريب المشددي.في الوقت نفسه، جربنا أداة تقطير المعرفة من أجل التحقق مما إذا كان يمكن لنموذج أصغر الحفاظ على أداء أفضل أسلوبنا.تمكن أفضل الحلول لدينا للحصول على درجة F1 مرجحة من 0.7324، مما يتيح لنا الحصول على المركز الثاني على المتصدرين.
