النصوص القانونية تستخدم بشكل روتيني المفاهيم التي يصعب فهمها.يعتمد المحامون على معنى هذه المفاهيم من جانب أمور أخرى، والتحقيق بعناية في كيفية استخدامها في الماضي.العثور على قصاصات نصية تذكر مفهوم معين بطريقة مفيدة ومملة واسعة من الوقت، وبالتالي مكلفة.لقد جمعنا مجموعة بيانات قدرها 26،959 جمل، من قرارات القضية القانونية، وعلقتهم من حيث فائدتهم لشرح مفاهيم قانونية مختارة.باستخدام DataSet نقوم بدراسة فعالية نماذج المحولات المدربة مسبقا على لغة بلغة كبيرة للكشف عن أي من الجمل مفيدة.في ضوء تنبؤات النماذج، نقوم بتحليل الخصائص اللغوية المختلفة للجمل التوضيحية وكذلك علاقتها بالمفهوم القانوني الذي يجب تفسيره.نظهر أن النماذج القائمة على المحولات قادرة على تعلم ميزات متطورة بشكل مدهش وتتفوق على النهج المسبقة للمهمة.
Legal texts routinely use concepts that are difficult to understand. Lawyers elaborate on the meaning of such concepts by, among other things, carefully investigating how they have been used in the past. Finding text snippets that mention a particular concept in a useful way is tedious, time-consuming, and hence expensive. We assembled a data set of 26,959 sentences, coming from legal case decisions, and labeled them in terms of their usefulness for explaining selected legal concepts. Using the dataset we study the effectiveness of transformer models pre-trained on large language corpora to detect which of the sentences are useful. In light of models' predictions, we analyze various linguistic properties of the explanatory sentences as well as their relationship to the legal concept that needs to be explained. We show that the transformer-based models are capable of learning surprisingly sophisticated features and outperform the prior approaches to the task.
المراجع المستخدمة
https://aclanthology.org/
تحدث نماذج اللغات القائمة على المحولات الحديثة ثورة في NLP. ومع ذلك، كانت الدراسات الحالية في النمذجة اللغوية مع بيرت تقتصر في الغالب على المواد باللغة الإنجليزية ولا تدفع اهتماما كافيا لمعرفة اللغة الضمنية باللغة، مثل الأدوار الدلالية والتفترض واللب
يتعين على نماذج اللغة المدربة مسبقا (PRLM) لإدارة وحدات الإدخال بعناية عند التدريب على نص كبير جدا مع مفردات تتكون من ملايين الكلمات. أظهرت الأعمال السابقة أن دمج معلومات المسيح على مستوى الأمان بشأن الكلمات المتتالية في التدريب المسبق يمكن أن تحسن أ
في هذه الدراسة، نقترح طريقة تعلم الإشراف على الذات التي تطبق تمثيلات معنى الكلمات في السياق من نموذج لغة ملثم مسبقا مسبقا. تعد تمثيلات الكلمات هي الأساس للدلالات المعجمية في السياق وتقديرات التشابه المنصوصية الدلالية غير المرفوعة (STS). تقوم الدراسة
نماذج اللغة المحددة مسبقا (PTLMS) تسفر عن الأداء الحديث في العديد من مهام معالجة اللغة الطبيعية، بما في ذلك بناء الجملة والدلالات والعموم.في هذه الورقة، نركز على التعرف على أي مدى تلتقط PTLMS السمات الدلالية وقيمها، على سبيل المثال، الارتباط بين القي
حققت نماذج اللغة المدربة مسبقا نجاحا كبيرا على مجموعة واسعة من مهام NLP. ومع ذلك، فإن التمثيلات السياقية من النماذج المدربة مسبقا تحتوي على معلومات دلالية ومتنامية متشابكة، وبالتالي لا يمكن استخدامها مباشرة لاستخلاص مدينات جملة دلالية مفيدة لبعض المه