ترغب بنشر مسار تعليمي؟ اضغط هنا

التعلم الخماسي الخاضع للإشراف على الكشف خارج نطاق

Adversarial Self-Supervised Learning for Out-of-Domain Detection

490   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

اكتشاف النوايا الخارجية (OOD) أمر حاسم لنظام الحوار المنتشر الموجه نحو المهام.ستقوم أساليب الكشف عن OOD السابقة غير المعروضة فقط باستخراج الميزات التمييزية لمختلف النوايا داخل المجال، بينما يمكن للنظيرات الإشرافية التمييز مباشرة من النوايا OOD والمجال ولكنها تتطلب بيانات المسمى الواسعة.من أجل الجمع بين فوائد كلا النوعين، نقترح إطارا تعليميا مختلفا عن علم الذاتي لنموذج الميزات الدلالية التمييزية لكل من النوايا داخل المجال ومؤلبة OOD من البيانات غير المسبقة.علاوة على ذلك، نقدم وحدة عصبية عمومة خصصا لتحسين كفاءة وأغاني التعلم المقاوم للتناقض.تبين التجارب في مجموعات بيانات القياس العامة أن طريقتنا يمكن أن تفوق باستمرار على الأساس مع هامش مهم إحصائيا.



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

تختلف استراتيجيات تحسين جودة التدريب والتنبؤ نماذج التعلم الآلي الأكثر إشرافا ضعيفا في مقدار ما يتم تصميمه إلى مهمة محددة أو متكاملة مع بنية نموذجية معينة. في هذا العمل، نقدم Knodle، وهو إطار برمجي يعامل شروح بيانات ضعيفة، ونماذج التعلم العميق، وطرق تحسين التدريب الخاضع للإشراف على أنه مكونات منفصلة وحديثة. يمنح هذا النزول عملية التدريب الوصول إلى المعلومات المحبوسة الدقيقة مثل خصائص مجموعة البيانات أو تطابقات القواعد المثيرة أو العناصر في نموذج التعلم العميق المستخدم في نهاية المطاف للتنبؤ. وبالتالي، يمكن لإطار عملنا أن يشمل مجموعة واسعة من أساليب التدريب لتحسين الإشراف الضعيف، بدءا من الأساليب التي تنظر فقط إلى ارتباطات القواعد وفئات الإخراج (بشكل مستقل عن نموذج تعلم الجهاز المدرب مع الملصقات الناتجة)، إلى تلك التي تسخير التفاعل من الشبكات العصبية والبيانات المسمى ضعيفة. نوضح الإمكانات القياسية للإطار مع مقارنة أداء العديد من التطبيقات المرجعية بشأن مجموعة مختارة من مجموعات البيانات المتوفرة بالفعل في ترنه.
يهدف توليد تقرير الأشعة إلى توليد النص الوصفي من صور الأشعة تلقائيا، مما قد يقدم فرصة لتحسين تقارير الأشعة وتفسيره.يتكون الإعداد النموذجي من نماذج ترميز ترميز التشفير التدريب على أزواج تقارير الصور مع فقدان الانتروبيا الصليب، والذي يكافح من أجل توليد جمل إعلامية للتشخيصات السريرية لأن النتائج العادية تهيمن على مجموعات البيانات.لمعالجة هذا التحدي وتشجيع المزيد من مخرجات النص بدقة سريريا، نقترح رواية خسارة مضيعة للإشراف ضعيفا لتوليد التقرير الطبي.تظهر النتائج التجريبية أن أسلوبنا يستفيد من التقارير المستهدفة المتناقضة مع غير صحيحة ولكنها قريبة من القريبة.تتفوق على العمل السابق على كل من صحة سرية ومقاييس جيل النص إلى معايير عامة.
هناك مصلحة ناشئة في تطبيق نماذج معالجة اللغة الطبيعية لمهام معالجة التعليمات البرمجية المصدر.أحد المشاكل الرئيسية في تطبيق التعلم العميق لهندسة البرمجيات هو أن الكود المصدري غالبا ما يحتوي على الكثير من المعرفات النادرة، مما يؤدي إلى مفردات ضخمة.نقتر ح طريقة بسيطة، ولكنها فعالة، بناء على معرفة الهوية المعرفية، للتعامل مع المعرفات خارج المفردات (OOV).يمكن التعامل مع طريقتنا كخطوة مسبقة مسبقا، وبالتالي، تسمح بتنفيذ سهولة.نظرا لأن طريقة إخفاء مصطلحات OOV المقترحة تحسن بشكل كبير من أداء المحول في مهام معالجة التعليمات البرمجية: إكمال التعليمات البرمجية وإصلاح الأخطاء.
تهدف تقدير الجودة (QE) من الترجمة الآلية (MT) إلى تقييم جودة الجمل التي ترجمتها الجهاز دون مراجع وهي مهمة في التطبيقات العملية ل MT.تتطلب Training Models QE بيانات موازية ضخمة بأشرفة توضيحية ذات جودة يدوية، وهي تستغرق وقتا طويلا ومكثفة العمالة للحصول عليها.لمعالجة مسألة عدم وجود بيانات تدريب مشروح، تحاول الدراسات السابقة تطوير أساليب QE غير المدعومة.ومع ذلك، يمكن تطبيق عدد قليل جدا منهم على مهام QE على مستوى الجملة والطريق، وقد تعاني من الضوضاء في البيانات الاصطناعية.لتقليل الآثار السلبية للضوضاء، نقترح طريقة للإشراف ذاتي لكل من QE من كل من QE على مستوى الكلمة والطريق، والتي تنفذ تقدير الجودة من خلال استعادة الكلمات المستهدفة الملثمين.تظهر النتائج التجريبية أن أسلوبنا تتفوق على الطرق السابقة غير الخاضعة للرقابة في العديد من مهام QE في أزواج ومجال بلغات مختلفة.
نماذج الموضوعات هي أدوات مفيدة لتحليل وتفسير المواضيع الأساسية الرئيسية للنص الكبير.تعتمد معظم نماذج الموضوعات على حدوث كلمة Word لحساب موضوع، أي مجموعة مرجحة من الكلمات التي تمثل معا مفهوم دلالي رفيع المستوى.في هذه الورقة، نقترح نموذجا جديدا جديدا م ختلفا عن الخفيفة الوزن في الوزن (SNTM) يتعلم سياق غني من خلال تعلم تمثيل موضوعي بالاشتراك من ثلاثة كلمات مشتركة وثيقة تنشأ ثلاثية.تشير نتائجنا التجريبية إلى أن نموذج الموضوع العصبي المقترح لدينا، SNTM، يتفوق على نماذج الموضوعات الموجودة سابقا في مقاييس الاتساق بالإضافة إلى دقة تجميع المستندات.علاوة على ذلك، بصرف النظر عن تماسك الموضوع وأداء التجميع، فإن طراز الموضوع العصبي المقترح لديه عدد من المزايا، وهي، كونها فعالة بشكل حسابي وسهل التدريب.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا