ترغب بنشر مسار تعليمي؟ اضغط هنا

سلوك نماذج اللغة المدربة مسبقا مسبقا باستخدام مثال المهام التحقيق

Behavior of Modern Pre-trained Language Models Using the Example of Probing Tasks

362   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

تحدث نماذج اللغات القائمة على المحولات الحديثة ثورة في NLP. ومع ذلك، كانت الدراسات الحالية في النمذجة اللغوية مع بيرت تقتصر في الغالب على المواد باللغة الإنجليزية ولا تدفع اهتماما كافيا لمعرفة اللغة الضمنية باللغة، مثل الأدوار الدلالية والتفترض واللبن، والتي يمكن الحصول عليها من قبل النموذج أثناء التدريب. وبالتالي، فإن الهدف من هذه الدراسة هو فحص السلوك لنموذج الموديل في مهمة النمذجة اللغوية الملثمين ولتقديم التفسير اللغوي إلى الآثار والأخطاء غير المتوقعة التي ينتجها النموذج. لهذا الغرض، استخدمنا مجموعة بيانات جديدة باللغة الروسية بناء على النصوص التعليمية للمتعلمين باللغة الروسية والمصفحة بمساعدة الشقوق الوطنية للغة الروسية. من حيث مقاييس الجودة (نسبة الكلمات، ذات الصلة دلالة الكلمة المستهدفة)، يتم التعرف على بيرت متعددة اللغات كأفضل نموذج. بشكل عام، كل طراز لديه نقاط قوة متميزة فيما يتعلق بظاهرة لغوية معينة. هذه الملاحظات لها آثار ذات مغزى على البحث في اللغويات المطبقة والبيتاجوجية، والمساهمة في تطوير نظام الحوار، وجعل التمارين التلقائية، وتجول النص، ويمكن أن يحتمل أن يحسن جودة التقنيات اللغوية الحالية



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

نماذج اللغة المحددة مسبقا (PTLMS) تسفر عن الأداء الحديث في العديد من مهام معالجة اللغة الطبيعية، بما في ذلك بناء الجملة والدلالات والعموم.في هذه الورقة، نركز على التعرف على أي مدى تلتقط PTLMS السمات الدلالية وقيمها، على سبيل المثال، الارتباط بين القي مة الغنية والعالية الصافية.نستخدم ptlms للتنبؤ الرموز الملثمين باستخدام أنماط وقوائم العناصر من Wikidata من أجل التحقق من مدى احتمال ترميز PTLMS السمات الدلالية جنبا إلى جنب مع قيمها.مثل هذه الاستنتاجات القائمة على دلالات بديهية للبشر كجزء من فهم لغتنا.نظرا لأن PTLMS يتم تدريبها على كمية كبيرة من بيانات ويكيبيديا، فسوف نفترض أنها يمكن أن تولد تنبؤات مماثلة، ومع ذلك تكشف نتائجنا أن PTLMS لا تزال أسوأ بكثير من البشر في هذه المهمة.نوضح الأدلة والتحليل في شرح كيفية استغلال منهجيةنا لدمج سياق ودواني أفضل في PTLMS باستخدام قواعد المعرفة.
يتعين على نماذج اللغة المدربة مسبقا (PRLM) لإدارة وحدات الإدخال بعناية عند التدريب على نص كبير جدا مع مفردات تتكون من ملايين الكلمات. أظهرت الأعمال السابقة أن دمج معلومات المسيح على مستوى الأمان بشأن الكلمات المتتالية في التدريب المسبق يمكن أن تحسن أ داء PRLMS. ومع ذلك، بالنظر إلى أن أدلة المسكنات المستفادة مقدمة وإثباتها في التدريب المسبق، فإن الطرق السابقة تستغرق وقتا طويلا ونقص المرونة. لتخفيف الإزعاج، تقدم هذه الورقة طريقة رواية تمتد دقيقة لضبط PRLMS، مما يسهل إعداد SPES يتم تحديده على تكيفه بواسطة مهام معينة من المصب أثناء مرحلة الضبط الجميلة. بالتفصيل، سيتم تجزئة أي جمل تتم معالجتها من قبل PRLM في تمديدات متعددة وفقا لقاموس ما قبل العينات. ثم سيتم إرسال معلومات التجزئة من خلال وحدة CNN الهرمية مع مخرجات التمثيل من PRLM وتولد في نهاية المطاف تمثيلا محسن. تشير التجارب على معيار الغراء إلى أن طريقة ضبط الدقيقة المقترحة تعزز بشكل كبير PRLM، وفي الوقت نفسه، تقدم المزيد من المرونة بطريقة فعالة.
أثارت نماذج اللغة المدربة مسبقا مقرها الانتباه مثل GPT-2 تقدما كبيرا لنمذجة حوار نهاية إلى نهاية.ومع ذلك، فإنهم يقدمون أيضا مخاطر كبيرة للحوار الموجهة إلى المهام، مثل عدم وجود أسس المعرفة أو التنوع.لمعالجة هذه القضايا، نقدم أهداف تدريبية معدلة لنموذج اللغة Finetuning، ونحن نوظف تكبير بيانات ضخمة عبر الترجمة الخلفي لزيادة تنوع بيانات التدريب.ندرس إمكانيات الجمع بين البيانات من مصادر مضاعفات تحسين الأداء على مجموعة البيانات المستهدفة.نحن نقيم بعناية مساهماتنا مع كل من الأساليب البشرية والآلية.يتفوق نموذجنا بشكل كبير على خط الأساس على بيانات MultiWoz ويظهر أداء تنافسي مع حالة الفن في كل من التقييم التلقائي والإنساني.
تركز العمل الحالي على التحقيق في نماذج اللغة المحددة مسبقا (LMS) في الغالب على المهام الأساسية على مستوى الجملة.في هذه الورقة، نقدم إجراء خطاب على مستوى المستندات لتقييم قدرة LMS المسبقة على التقاط العلاقات على مستوى المستندات.نقوم بتجربة 7 LMS محددة مسبقا، 4 لغات، و 7 مهام قيد الخطاب، والعثور على بارت ليكون بشكل عام أفضل نموذج في التقاط الخطاب - - ولكن فقط في تشفيرها، مع بيرت أداء بشكل مفاجئ نموذج الأساس.عبر النماذج المختلفة، هناك اختلافات كبيرة في أفضل طبقات في التقاط معلومات خطاب، والتفاوتات الكبيرة بين النماذج.
النصوص القانونية تستخدم بشكل روتيني المفاهيم التي يصعب فهمها.يعتمد المحامون على معنى هذه المفاهيم من جانب أمور أخرى، والتحقيق بعناية في كيفية استخدامها في الماضي.العثور على قصاصات نصية تذكر مفهوم معين بطريقة مفيدة ومملة واسعة من الوقت، وبالتالي مكلفة .لقد جمعنا مجموعة بيانات قدرها 26،959 جمل، من قرارات القضية القانونية، وعلقتهم من حيث فائدتهم لشرح مفاهيم قانونية مختارة.باستخدام DataSet نقوم بدراسة فعالية نماذج المحولات المدربة مسبقا على لغة بلغة كبيرة للكشف عن أي من الجمل مفيدة.في ضوء تنبؤات النماذج، نقوم بتحليل الخصائص اللغوية المختلفة للجمل التوضيحية وكذلك علاقتها بالمفهوم القانوني الذي يجب تفسيره.نظهر أن النماذج القائمة على المحولات قادرة على تعلم ميزات متطورة بشكل مدهش وتتفوق على النهج المسبقة للمهمة.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا