ترغب بنشر مسار تعليمي؟ اضغط هنا

القراءة المستوية عبر اللغات بناء على ميزات اللغة الثابتة

Cross-Lingual Leveled Reading Based on Language-Invariant Features

207   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

تهدف القراءة المستوية (LR) إلى تصنيف النصوص عن طريق المستويات المعرفية للقراء، وهي أساسية في توفير مواد قراءة مناسبة بشأن قدرات القراءة المختلفة. ومع ذلك، تعتمد معظم أساليب LR الحديثة على توافر موارد تفوق وفيرة، مما يمنع تكيفها مع لغات الموارد المنخفضة مثل الصينية. في عملنا، لمعالجة LR في الصينية، نستكشف كيف تؤدي أساليب نقل اللغة المختلفة على LR الإنجليزية الصينية. على وجه التحديد، نركز على التدريب الخصم وطريقة التدريب المسبق عبر اللغات لنقل المعرفة LR المستفادة من البيانات المشروحة في اللغة الإنجليزية الغنية بالموارد إلى الصينية. للتقييم، نقدم أولا المعيار القائم على العمر لمحاذاة البيانات مع معايير التسوية المختلفة. ثم نوضح تجارب في كل من إعدادات صفرية وإعدادات قليلة. تبين مقارنة هاتين الطريقتين، والتقييمات الكمية والنوعية أن طريقة التدريب المسبق عبر اللغات التي تلتقط بشكل فعال ميزات اللغة الثابتة بين اللغة الإنجليزية والصينية. نجري تحليلا لاقتراح مزيد من التحسن في LR عبر اللغات.



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

في هذه الورقة، نصف التجارب المصممة لتقييم تأثير الميزات المصنوعة من النسيج والعاطفة على الكشف عن الكلام الكراهية: مهمة تصنيف المحتوى النصي في فئات الكلام الكراهية أو غير الكراهية. تجري تجاربنا لمدة ثلاث لغات - اللغة الإنجليزية والسلوفين والهولندية - سواء في النطاق داخل المجال والمجازات، وتهدف إلى التحقيق في خطاب الكراهية باستخدام ميزات النموذجتين الظواهر اللغوية: أسلوب كتابة محتوى الوسائط الاجتماعية البغيضة تعمل كمستخدم Word كدالة على يد واحدة، وتعبير العاطفة في الرسائل البغيضة من ناحية أخرى. نتائج التجارب التي تحتوي على ميزات نموذج مجموعات مختلفة من هذه الظواهر تدعم فرضيتنا أن الميزات الأسيزية والعاطفية هي مؤشرات قوية لخطاب الكراهية. تظل مساهمتها مستمرة فيما يتعلق باختلاف المجال واللغة. نظظ أن مزيج من الميزات التي تتفوقت الظواهر المستهدفة على الكلمات والشخصيات N-Gram الميزات بموجب ظروف عبر المجال، وتوفر دفعة كبيرة لنماذج التعلم العميق، والتي تحصل حاليا على أفضل النتائج، عند دمجها في مجموعة واحدة وبعد
نقترح طريقة بسيطة لتوليد سؤال متعدد اللغات والإجابة على أزواج على نطاق واسع من خلال استخدام نموذج عام واحد.يمكن استخدام هذه العينات الاصطناعية لتحسين الأداء الصفر لقطة من نماذج QA متعددة اللغات على اللغات المستهدفة.يتطلب تدريبنا المتعدد المهام المقتر ح للنموذج الإداري فقط عينات التدريب المسمى باللغة الإنجليزية، مما يؤدي إلى إزالة الحاجة إلى مثل هذه العينات باللغات المستهدفة، مما يجعلها تنطبق على لغات أخرى بكثير من تلك التي تحتوي على البيانات المسمى.تشير التقييمات البشرية إلى أن غالبية مثل هذه العينات صحيحة وناصمة.تظهر النتائج التجريبية أن نهجنا المقترح يمكن أن يحقق مكاسب كبيرة في DataSet Xquad، مما يقلل من الفجوة بين الصفر بالرصاص والأداء الخاضع للإشراف على نماذج QA أصغر بلغات مختلفة.
بالمقارنة مع نماذج أحادية الأجل، تتطلب النماذج عبر اللغات عادة مفردات أكثر تعبيرية لتمثيل جميع اللغات بشكل كاف.نجد أن العديد من اللغات ممثلة تمثيلا ناقصا في نماذج اللغات الصليب الأخيرة بسبب قدرة المفردات المحدودة.تحقيقا لهذه الغاية، نقترح خوارزمية VO CAP لتحديد سعة المفردات المطلوبة لكل لغة.ومع ذلك، فإن زيادة حجم المفردات يبطئ بشكل كبير بسرعة ما قبل التدريب.من أجل معالجة المشكلات، نقترح أخذ العينات المستهدفة المستهدفة K-NN لتسريع SoftMax باهظة الثمن.تبين تجاربنا أن المفردات المتعددة اللغات المستفادة مع فوائد VOCAP نموذج اللغة المتبادلة قبل التدريب مسبقا.علاوة على ذلك، فإن أخذ العينات المستهدفة المستندة إلى K-NN تخفف الآثار الجانبية لزيادة حجم المفردات مع تحقيق أداء مماثل وسرعة ما قبل التدريب الأسرع.الرمز والمفردات متعددة اللغات المحددة متوفرة في https://github.com/bozheng-hit/vocapxlm.
في هذا العمل، نقدم إطارا نظريا للمعلومات يقوم بتصوير نموذج اللغة عبر اللغات قبل تعظيم المعلومات المتبادلة بين النصوص متعددة اللغات متعددة التحبيب.العرض الموحد يساعدنا على فهم الأساليب الموجودة بشكل أفضل لتعلم تمثيلات عبر اللغات.الأهم من ذلك، مستوحاة من الإطار، نقترح مهمة جديدة قبل التدريب على التعلم المتعاقل.على وجه التحديد، نعتبر زوج جملة ثنائية اللغة كأراضتين لنفس المعنى وتشجيع تمثيلاتها المشفرة أكثر مماثلة من الأمثلة السلبية.من خلال الاستفادة من كل من Corpora Monolingual والمتوازي، فإننا ندرب بشكل مشترك مهام ذريعة التحسين القدرة على التحويل المتبادلة للنماذج المدربة مسبقا.النتائج التجريبية على العديد من المعايير تظهر أن نهجنا يحقق أداء أفضل بكثير.تتوفر الكود والنماذج المدربة مسبقا في https://aka.ms/infoxlm.
تم تطبيق نهج التعلم العميقة الخاضعة للإشراف على مربع الحوار الموجه في المهام وأثبت أنها فعالة لتطبيقات المجال واللغة المحدودة عند توفر عدد كاف من الأمثلة التدريبية. في الممارسة العملية، تعاني هذه الأساليب من عيوب التصميم الذي يحركه المجال ولغات أقل م ن الموارد. من المفترض أن تنمو نماذج المجال واللغة وتتغير مع تطور مساحة المشكلة. من ناحية، أظهرت الأبحاث حول تعلم التعلم القدرة المتبادلة من النماذج القائمة على المحولات متعددة اللغات لتعلم تمثيلات غنية بالدليل. من ناحية أخرى، بالإضافة إلى الأساليب المذكورة أعلاه، مكنت التعلم التلوي تطوير خوارزميات التعلم المهمة واللغة القادرة على تعميم البعيد. من خلال هذا السياق، تقترح هذه المقالة التحقيق في التحويل عبر اللغات المتبادلة باستخدام التعلم القليل من التآزر مع الشبكات العصبية النموذجية والنماذج القائمة على المحولات متعددة اللغات. تجارب في مجال التفاهم الطبيعي فهم المهام على Multiatis + Corpus يدل على أن نهجنا يحسن بشكل كبير من العروض التعليمية الملحقة بالتنقل بين لغات الموارد المنخفضة والعالية. بشكل عام، تؤكد نهجنا بشكل عام أن المساحة الكامنة ذات الأغلب المستفادة في لغة معينة يمكن تعميمها للتسامح غير المرئي وغير الموارد باستخدام التعلم التلوي.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا