ترغب بنشر مسار تعليمي؟ اضغط هنا

قياس وتحسين تعاون النموذج النموذجي باستخدام تقدير عدم اليقين

Measuring and Improving Model-Moderator Collaboration using Uncertainty Estimation

807   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

غالبا ما يتم إجراء اعتدال المحتوى عن طريق التعاون بين البشر ونماذج التعلم الآلي. ومع ذلك، ليس من المفهوم جيدا كيفية تصميم العملية التعاونية لزيادة أداء نظام النموذج النموذجي المدمج. يقدم هذا العمل دراسة صارمة لهذه المشكلة، مع التركيز على نهج يتضمن عدم اليقين النموذجي في العملية التعاونية. أولا، نقدم مقاييس مبدئية لوصف أداء النظام التعاوني في ظل قيود القدرات على المشرف البشري، وقم بترتيب مدى كفاءة النظام المشترك يستخدم القرارات الإنسانية. باستخدام هذه المقاييس، نقوم بإجراء دراسة مرجعية كبيرة تقيم أداء نماذج عدم اليقين الحديثة في إطار استراتيجيات مراجعة تعاونية مختلفة. نجد أن الاستراتيجية القائمة على عدم اليقين تتفوق باستمرار على الاستراتيجية المستخدمة على نطاق واسع بناء على درجات السمية، وعلاوة على ذلك أن اختيار استراتيجية المراجعة يغير بشكل كبير أداء النظام الشامل. توضح نتائجنا أهمية مقاييس صارمة لفهم وتطوير أنظمة نماذج مشرف فعالة للاعتدال المحتوى، وكذلك فائدة تقدير عدم اليقين في هذا المجال.



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

حققت نماذج اللغة المرجعة متعددة اللغات متعددة اللغات مؤخرا أداءا ملحوظا عن الصفر، حيث يتم تقسيم النموذج فقط في لغة مصدر واحدة وتقييمها مباشرة على اللغات المستهدفة.في هذا العمل، نقترح إطارا للتعليم الذاتي الذي يستخدم البيانات غير المستهدفة من اللغات ا لمستهدفة، بالإضافة إلى تقدير عدم اليقين في هذه العملية لتحديد ملصقات فضية عالية الجودة.يتم تكييف وثلاثة أوجه عدم اليقين الثلاثة وتحليلها خصيصا للتحويل اللغوي الصليب: لغة عدم اليقين المتنوعة من اللغة (LEU / LOU)، عدم اليقين الواضح (EVI).نقوم بتقييم إطار عملنا مع عدم اليقين على مهمتين متوقعتين بما في ذلك التعرف على الكيانات المسماة (NER) والاستدلال اللغوي الطبيعي (NLI) (NLI) (NLI) (NLI) تغطي 40 لغة في المجموع، والتي تتفوق على خطوط الأساس بشكل كبير بمقدار 10 F1 من دقة NLI.
يلعب تقدير الجودة (QE) دورا أساسيا في تطبيقات الترجمة الآلية (MT).تقليديا، يقبل نظام QE النصي المصدر الأصلي والترجمة من نظام MT مربع أسود كإدخال.في الآونة الأخيرة، تشير بعض الدراسات إلى أنه كمنتج ثانوي للترجمة، يستفيد QE من نموذج معلومات بيانات النمو ذج والتدريب من نظام MT حيث تأتي الترجمات، وتسمى QE الزجاجي ".في هذه الورقة، نقوم بتوسيع تعريف صندوق الزجاج QE "بشكل عام إلى كمية عدم اليقين مع حدود عدم اليقين مع كل من الأساليب السوداء والزجاج" مناهضات "وتصميم العديد من الميزات التي استنتجتها منهم لتخفيف تجربة جديدة في تحسين أداء QE.نقترح إطارا لفوست هندسة الميزة لتقدير عدم اليقين في نموذج لغة متمربا مسبقا مسبقا للتنبؤ بجودة الترجمة.تظهر نتائج التجربة أن طريقتنا تحقق أدائها الحديثة في مجموعات البيانات ذات المهمة المشتركة مع WMT 2020 QE.
الاتساق الملخص للنموذج --- أي ثابت سلوكه بموجب استطلاعات المعنى المحفوظة في مدخلاته --- هو ممتلكات مرغوبة للغاية في معالجة اللغة الطبيعية.في هذه الورقة ندرس السؤال: نماذج اللغة المحددة مسبقا (PLMS) بما يتفق فيما يتعلق بالمعرفة الواقعية؟تحقيقا لهذه ال غاية، نقوم بإنشاء Pararel?، وهو مورد عالي الجودة لاستعلام النمط الإنجليزي على الطراز على الطراز.أنه يحتوي على ما مجموعه 328 صالة لمدة 38 علامة.باستخدام pararel?، نوضح أن اتساق جميع اللقطات المقبلات التي نقوم بتجربةها سيئة --- على الرغم من وجود تباين كبير بين العلاقات.يقترح تحليلنا للمساحات التمثيلية لمحلات PLMS أن لديهم بنية سيئة ولا تكون مناسبة حاليا لتمثيل المعرفة بقوة.أخيرا، نقترح طريقة لتحسين الاتساق النموذجي وتظهر تجريبيا فعاليته
كشف الجانب هو مهمة أساسية في التعدين في الرأي.تستخدم الأشغال السابقة كلمات البذور إما كعظمون من نماذج الموضوع، كمراسين لتوجيه تعلم الجوانب، أو كميزات من صفوف الأنفاق.تقدم هذه الورقة طريقة رواية متشرفة ضعيفة لاستغلال كلمات البذور للكشف عن الجانب بناء على بنية تشفير.شرائح خرائط التشفير والجوانب في مساحة تضمين منخفضة الأبعاد.الهدف هو تقريب التشابه بين القطاعات والجوانب في مساحة التضمين وإشطاه الحقيقة الأرضية الناتجة عن كلمات البذور.ويقترح وظيفة موضوعية للقبض على عدم اليقين في التشابه الأساسي للحقيقة.الطريقة التي تتفوقها على العمل السابق على العديد من المعايير في المجالات المختلفة.
حقق التطورات الحديثة في أنظمة NLP، ولا سيما النموذج الاحتياطي والأصلون، نجاحا كبيرا في الدقة التنبؤية. ومع ذلك، عادة ما لا يتم معايرة هذه الأنظمة بشكل جيد بسبب عدم اليقين خارج الصندوق. تم اقتراح العديد من طرق إعادة المعاير في الأدبيات لتحديد حالة عدم اليقين التنبؤية ونواتج النماذج المعايرة، بدرجات متفاوتة من التعقيد. في هذا العمل، نقدم دراسة منهجية لبعض هذه الأساليب. التركيز على مهمة تصنيف النص ونماذج اللغة الكبيرة المسبقة مسبقا، نظرا لأول مرة أن العديد من النماذج الفعلية غير معايرت بشكل جيد خارج المربع، خاصة عندما تأتي البيانات من إعدادات خارج المجال. بعد ذلك، قارنا فعالية بعض أساليب إعادة المعايير المستخدمة على نطاق واسع (مثل الكفرات، تحجيم درجة الحرارة). بعد ذلك، نوضح تجريبيا اتصالا بين التقطير والمعايرة. نعتبر تقطير مصطلح تنظيمي يشجع نموذج الطالب على إخراج الشكوك التي تتناسب مع نموذج المعلمين. بهذه البصيرة، نطور أساليب إعادة المعايير البسيطة القائمة على التقطير دون أي تكلفة إضافية لاستنتاج الاستدلال. نظهر على معيار الغراء أن أساليبنا البسيطة يمكن أن تحقق أداء المعايرة المنافسة خارج المجال (OOD) W.R.T. مناهج أكثر تكلفة. أخيرا، ندرج ablations لفهم فائدة مكونات أسلوبنا المقترح وفحص قابلية نقل المعايرة عبر التقطير.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا