ترغب بنشر مسار تعليمي؟ اضغط هنا

تحليل عمرو متعدد اللغات مع تقطير المعرفة صاخبة

Multilingual AMR Parsing with Noisy Knowledge Distillation

405   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

نحن ندرس تحليل عمرو متعدد اللغات من منظور تقطير المعرفة، حيث يكون الهدف هو تعلم وتحسين محلل عمرو متعدد اللغات باستخدام محلل إنجليزي موجود كمعلم لها.نحن تقيد استكشافنا في إعداد صارم متعدد اللغات: هناك نموذج واحد لتحليل جميع اللغات المختلفة بما في ذلك اللغة الإنجليزية.نحدد أن المدخلات الصاخبة والإخراج الدقيق هي مفتاح التقطير الناجح.جنبا إلى جنب مع التدريب المسبق الواسع، نحصل على محلل عمري الذي يتجنب عروضه جميع النتائج التي تم نشرها مسبقا على أربعة لغات أجنبية مختلفة، بما في ذلك الهوامش الألمانية والإسبانية والإيطالية والصينية، بواسطة هوامش كبيرة (تصل إلى 18.8 نقطة برائحة على الصينية وفي المتوسط 11.3نقاط smatch).يحقق محللنا أيضا أداء قابلا للمقارنة على اللغة الإنجليزية إلى أحدث المحللين باللغة الإنجليزية فقط.

المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

يتم استخدام تقطير المعرفة (KD) على نطاق واسع لضغط ونشر نماذج لغة كبيرة مدربة مسبقا على أجهزة EDGE لتطبيقات العالم الحقيقي.ومع ذلك، فإن مساحة البحث واحدة مهملة هي تأثير الملصقات الصاخبة (التالفة) على KD.نقدم، إلى حد علمنا، أول دراسة حول الملكية الدماغ ية مع ملصقات صاخبة في فهم اللغة الطبيعية (NLU).نحن توثق نطاق المشكلة وتقديم طريقتين لتخفيف تأثير ضوضاء التسمية.تشير التجارب على مرجع الغراء إلى أن أساليبنا فعالة حتى تحت مستويات ضوضاء عالية.ومع ذلك، تشير نتائجنا إلى أن المزيد من البحث ضروري للتعامل مع ضجيج الملصقات تحت KD.
في هذه الورقة، نطبق تقطير المعرفة الذاتية لتلخيص النص الذي نقوله أنه يمكن أن يخفف من مشاكل في الحد الأقصى للتدريب احتمالية على مجموعات بيانات مرجعية واحدة وصاخبة.بدلا من الاعتماد على ملصقات توضيحية ذات ساخنة واحدة، يتم تدريب نموذج تلخيص الطلاب لدينا مع توجيهات من المعلم الذي يولد ملصقات سلاسة للمساعدة في تنظيم التدريب.علاوة على ذلك، لتحسين نموذج عدم اليقين أثناء التدريب، نقدم إشارات متعددة الضوضاء لكل من نماذج المعلم والطلاب.نوضح تجريبيا في ثلاثة معايير أن إطار عملائنا يعزز أداء كل من الملاحظات المحددة أو غير مسبوقة تحقيق نتائج حالة من الفنون.
تعد تحليل التمثيل المعنى التجريدي مهمة التنبؤ بالسجن إلى الرسم حيث لا تتماشى العقد المستهدفة بشكل صريح إلى رموز الجملة. ومع ذلك، نظرا لأن عقد الرسوم البيانية تستند بشكل دلون على أساس واحد أو أكثر من رموز الجملة، يمكن استخلاص المحاذاة الضمنية. تعمل ال محللون المستقلون على الانتقال عبر الجملة من اليسار إلى اليمين، والتقاط هذا التحيز الاستقرائي عبر المحاذاة بتكلفة التعبير المحدود. في هذا العمل، نقترح نظام يستند إلى الانتقال الذي يجمع بين الصعب على الجمل مع آلية مؤشر الإجراءات ذات الجانب المستهدف لتحديد الرموز المصدر من تمثيلات العقدة ومحاذاة العناوين. نقوم بالنماذج التحولات وكذلك آلية المؤشر من خلال تعديلات واضحة داخل بنية محول واحدة. يتم تشفير معلومات هيكل الدولة ومحلل الرسم البياني بكفاءة باستخدام رؤوس الانتباه. نظظ أن نهج مؤشر العمل لدينا يؤدي إلى زيادة التعبير عن التعبير والكتابة مكاسب كبيرة (+1.6 نقطة) مقابل أفضل محلل عمرو على الانتقال في ظروف مماثلة للغاية. أثناء استخدام أي رسوم إعادة التصنيف الرسم البياني، فإن طرازنا الفردي ينتج عنه ثاني أفضل نقاط Smatch في AMR 2.0 (81.8)، والذي تم تحسينه إلى 83.4 مع بيانات الفضة والكشف عن الفرم.
في حين أظهرت نماذج اللغة المحددة مسببة اللغات متعددة اللغات (LMS) بشكل جيد على لغة واحدة إمكانات نقل مهمة متبادلة كبيرة، لا تزال هناك فجوة في الأداء الواسعة في مهام التحليل الدلالي عند توفر إشراف اللغة المستهدف.في هذه الورقة، نقترح طريقة رواية ترجمية وملء (TAF) لإنتاج بيانات تدريبية فضية لمحلل دلالي متعدد اللغات.تبسط هذه الطريقة خط أنابيب المحاذاة المشهورة للمحاذاة (انقر) وتتكون من نموذج حشو تسلسل إلى تسلسل يبني تحليل كامل مشروط على الكلام وعرض نفس التحليل.يتم تدريب الحشو لدينا على بيانات اللغة الإنجليزية فقط ولكن يمكن أن تكمل بدقة مثيلات بلغات أخرى (I.E.، ترجمات كلمات التدريب على اللغة الإنجليزية)، في أزياء صفرية بالرصاص.النتائج التجريبية على ثلاث مجموعات بيانات تحليل دلالية متعددة اللغات تظهر أن تكبير البيانات مع TAV يصل إلى دقة تنافسية مع أنظمة مماثلة تعتمد على تقنيات المحاذاة التقليدية.
للحد من حجم النموذج ولكن الاحتفاظ بالأداء، كنا نعتمد في كثير من الأحيان على تقطير المعرفة (دينار كويتي) الذي ينقل المعرفة من نموذج المعلم الكبير إلى نموذج طالب أصغر. ومع ذلك، فإن KD على مجموعات بيانات متعددة الوسائط مثل مهام اللغة الرؤية غير مستكشفة نسبيا، وهضم معلومات متعددة الوسائط تحديا لأن طرائق مختلفة تقدم أنواعا مختلفة من المعلومات. في هذه الورقة، نقوم بإجراء دراسة تجريبية واسعة النطاق للتحقيق في أهمية وآثار كل طريقة في تقطير المعرفة. علاوة على ذلك، نقدم إطارا لتقطير المعرفة متعددة الوسائط، وقطاع التقطير الخاص بالطرياء (MSD)، لنقل المعرفة من المعلم عن مهام متعددة الوسائط عن طريق تعلم سلوك المعلم داخل كل طريقة. تهدف الفكرة إلى تحية التنبؤات الخاصة بنوية المعلم من خلال إدخال شروط الخسائر المساعدة لكل طريقة. علاوة على ذلك، نظرا لأن كل طريقة لها اتفاقية مختلفة بالنسبة للتنبؤات، فإننا نحدد درجات الرافية لكل طريقة وتحقيق في مخططات الترجيح القائم على الرافية للخسائر الإضافية. ندرس نهج تعليم الوزن لمعرفة الأثقال المثلى على شروط الخسارة هذه. في تحليلنا التجريبي، نقوم بفحص اتفاقية كل طريقة في KD، وأوضح فعالية نظام الترجيح في MSD، وإظهار أنه يحقق أداء أفضل من KD على أربعة مجموعات بيانات متعددة الوسائط.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا