ترغب بنشر مسار تعليمي؟ اضغط هنا

باستخدام بيرت لاختيار المصنفين في الماندرين

Using BERT for choosing classifiers in Mandarin

181   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

إن اختيار المصنف الأكثر ملاءمة في السياق اللغوي هو مشكلة معروفة في إنتاج الماندرين والعديد من اللغات الأخرى.تقترح هذه الورقة حل استنادا إلى بيرت، ويقارن هذا الحل إلى النماذج السابقة العصبية والقواعد السابقة، ويقال أن نموذج Bert ينفذ بشكل خاص بشكل جيد على تلك الحالات الصعبة التي يضيف فيها المصنف معلومات إلى النص.



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

توفر الشبكات العصبية القائمة على المحولات أداء تصنيف جيد للغاية عبر مجموعة واسعة من المجالات، لكن لا تقدم تفسيرات توقعاتها.في حين أن العديد من طرق التفسير، بما في ذلك الشكل، فإن معالجة مشكلة تفسير نماذج التعلم العميق، لا تتكيف معها للعمل على الشبكات العصبية القائمة على أحدث الأحوال مثل بيرت.مقرر آخر لهذه الطرق هو أن تصور التفسيرات الخاصة بهم في شكل قوائم من الكلمات الأكثر صلة لا يأخذ في الاعتبار الطبيعة المتسلسلة والهيكلية للنص.تقترح هذه الورقة طريقة TransShap التي تتكيف مع النماذج المحول بما في ذلك مصنفات النص المستند إلى BERT.تتقدم تصورات الشكل من خلال إظهار التفسيرات بطريقة متتالية، وتقييمها من قبل المقيمين البشري كمنافسة للحلول الحديثة.
أظهر العمل السابق أن الإشراف الهيكلية يساعد نماذج اللغة الإنجليزية على تعلم التعميمات حول الظواهر النحوية مثل اتفاقية الفعل الفعل. ومع ذلك، فإنه لا يزال غير واضح إذا كان مثل هذا التحيز الاستقرائي ستحسن أيضا قدرة نماذج اللغة على تعلم التبعيات النحوية بلغات مختلفة من الناحية النموذجية. نحن هنا التحقيق في هذا السؤال في لغة الماندرين الصينية، والتي لديها نظام كتابة من مقدم من لفائف التروج، إلى حد كبير؛ ترتيب كلمة مختلفة و sparser التشكل من الإنجليزية. نحن ندرب LSTMS، ونواسيب الشبكة العصبية المتكررة، ونماذج لغة المحولات، ونماذج تحليل التلال المعلمة للمحول على مجموعات بيانات ماندرين الصينية بأحجام مختلفة. نقيم قدرة النماذج على تعلم جوانب مختلفة من قواعد اللغة الماندرين التي تقييم العلاقات النحوية والدالة. نجد أدلة منهية أن الإشراف الهيكلية يساعد في تمثيل الحالة النحوية عبر المحتوى المتداخلة ويحسن الأداء في إعدادات البيانات المنخفضة، مما يشير إلى أن فوائد التحيزات الاستقرائي التسلسل الهرمي في الحصول على علاقات التبعية قد تتجاوز الإنجليزية.
المهمة المشتركة بشأن الميمات البغيضة هي تحدي يهدف إلى اكتشاف المحتوى البغيض في الميمات من خلال دعوة تنفيذ النظم التي تفهم الميمات، يحتمل أن تجمع بين الصورة والمعلومات النصية.يتكون التحدي من ثلاثة مهام اكتشاف: الكراهية، الفئة المحمية ونوع الهجوم.الأول هو مهمة تصنيف ثنائية، في حين أن الاثنين الآخران مهام التصنيف متعدد العلامات.تضمنت مشاركتنا خط الأساس بيرت القائم على النص (TXTBERT)، وهو نفسه ولكن إضافة معلومات من الصورة (IMGBERT)، ونهج الاسترجاع العصبي.لقد جربنا أيضا نماذج التصنيف المعزز للاسترجاع.وجدنا أن مجموعة Txtbert و Imgbert تحقق أفضل أداء من حيث النتيجة AUC ROC في قسمين من المهام الثلاث في مجموعة التطوير الخاصة بنا.
غالبا ما تكون نماذج اللغة المدربة مسبقا مسبقا (PLMS) باهظة الثمن بشكل أساسي في الاستدلال، مما يجعلها غير عملية في مختلف تطبيقات العالم الحقيقي المحدودة. لمعالجة هذه المشكلة، نقترح مقاربة تخفيض رمزية ديناميكية لتسريع استنتاج PLMS، والتي تسمى Tr-Bert، والتي يمكن أن تتكيف مرونة عدد الطبقة من كل رمزي في الاستدلال لتجنب الحساب الزائد. خصيصا، تقوم Tr-Bert بتصوير عملية تخفيض الرمز المميز كأداة اختيار رمز تخطيط متعدد الخطوات وتعلم تلقائيا استراتيجية الاختيار عبر التعلم التعزيز. تظهر النتائج التجريبية على العديد من مهام NLP المصب أن Tr-Bert قادرة على تسريع بيرتف بمقدار 2-5 مرات لإرضاء متطلبات الأداء المختلفة. علاوة على ذلك، يمكن ل TR-Bert تحقيق أداء أفضل مع حساب أقل في مجموعة من المهام النصية الطويلة لأن تكييف رقم الطبقة على مستوى الرمز المميز يسرع بشكل كبير عملية انتباه الذات في plms. يمكن الحصول على شفرة المصدر وتفاصيل التجربة لهذه الورقة من https://github.com/thunlp/tr-bert.
تقدم هذه الورقة طريقة تلقائية لتقييم طبيعية توليد اللغة الطبيعية في أنظمة الحوار.في حين تم تقديم هذه المهمة من خلال العمل البشري باهظ الثمن وتستغرق وقتا طويلا، فإننا نقدم هذه المهمة الرواية التابعة لتقييم الطاقة التلقائي للغة الناتجة.من خلال ضبط نموذ ج Bert، تظهر طريقة تقييم الطبيعية المقترحة لدينا نتائج قوية وتتفوق على الأساس: آلات Vector Support، LSTMS ثنائي الاتجاه، ونفرت.بالإضافة إلى ذلك، يتم تحسين أداء سرعة التدريب وتقييم نموذج طبيعي من خلال نقل التعلم من المعرفة اللغوية بالجودة والمعلوماتية.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا