جوربرت: نموذج برت روماني لتنبؤ الحكم القانوني

أصبحت النماذج القائمة على المحولات القياسية الفعلية في مجال معالجة اللغة الطبيعية (NLP).من خلال الاستفادة من نصائح النص غير المستمر الكبيرة، فإنها تمكن من التعلم الفعال للتحويل المؤدي إلى نتائج أحدث النتائج في العديد من مهام NLP.ومع ذلك، بالنسبة إلى لغات الموارد المنخفضة والمهام المتخصصة للغاية، تميل نماذج المحولات إلى التخلف عن الأساليب الكلاسيكية أكثر (على سبيل المثال SVM، LSTM) بسبب الافتقار إلى كورسا المذكور أعلاه.في هذه الورقة نركز على المجال القانوني ونحن نقدم نموذج برت روماني مدربا مسبقا على كوربوس متخصص كبير.تتفوق نموذجنا على العديد من خطوط خطوط خطوط خطوط خطوط خطية قوية للتنبؤ بالحكم القانوني على شركتين مختلفين تتكون من حالات من المحاكمات التي تنطوي على البنوك في رومانيا.

Transformer-based models have become the de facto standard in the field of Natural Language Processing (NLP). By leveraging large unlabeled text corpora, they enable efficient transfer learning leading to state-of-the-art results on numerous NLP tasks. Nevertheless, for low resource languages and highly specialized tasks, transformer models tend to lag behind more classical approaches (e.g. SVM, LSTM) due to the lack of aforementioned corpora. In this paper we focus on the legal domain and we introduce a Romanian BERT model pre-trained on a large specialized corpus. Our model outperforms several strong baselines for legal judgement prediction on two different corpora consisting of cases from trials involving banks in Romania.