اشترك بالحزمة الذهبية واحصل على وصول غير محدود شمرا أكاديميا
تسجيل مستخدم جديدالتدريب الخصم المستهدف لفهم اللغة الطبيعية
Targeted Adversarial Training for Natural Language Understanding
287
0 0
0.0
(
0
)
نشر من قبل
جمعية اللغويات الحاسوبية ACL مقالة
تاريخ النشر
2021
مجال البحث
الذكاء الاصناعي
والبحث باللغة
English
تمت اﻹضافة من قبل
Shamra Editor
اسأل ChatGPT حول البحث
نقدم خوارزمية تدريبية مستهدفة بسيطة ولكنها فعالة (TAT) لتحسين التدريب الخصم لفهم اللغة الطبيعية.الفكرة الرئيسية هي أن تخطئ الأخطاء الحالية وتحديد أولويات التدريب على الخطوات إلى حيث يخطئ النموذج أكثر.تظهر التجارب أن TAT يمكن أن تحسن بشكل كبير الدقة على التدريب الخصم القياسي على الغراء وتحقيق نتائج جديدة من أحدث النتائج في XNLI.سيتم إصدار شفرة لدينا عند قبول الورقة.
We present a simple yet effective Targeted Adversarial Training (TAT) algorithm to improve adversarial training for natural language understanding. The key idea is to introspect current mistakes and prioritize adversarial training steps to where the model errs the most. Experiments show that TAT can significantly improve accuracy over standard adversarial training on GLUE and attain new state-of-the-art zero-shot results on XNLI. Our code will be released upon acceptance of the paper.
المراجع المستخدمة
https://aclanthology.org/
قيم البحث
اقرأ أيضاً
تسهل المعلومات اللغوية الخشنة، مثل الكيانات أو العبارات المسماة، التعلم التمثيل بشكل كاف في التدريب المسبق. تعمل السابقة بشكل أساسي على توسيع هدف نمذجة لغة بيرت الملثمين (MLM) من إخفاء الرموز الفردية إلى تسلسلات متجاورة من الرموز N. نقول أن هذه الطري
قة اخفاء هذه المتخلل تهمل طرازات التبعيات داخل الإتصال والمعلومات المشتركة بين المعلومات اللغوية المحبوبة الخشنة. كديل، نقترح Ernie-Gram، وهي طريقة إخفاء N-Gram بشكل صريح لتعزيز دمج المعلومات المحبوسة الخشنة في ما قبل التدريب. في Ernie-Gram، N-Grams ملثمين وتوقعت مباشرة باستخدام هويات N-Gram واضحة بدلا من تسلسلات متجاورة من الرموز N. علاوة على ذلك، توظف Ernie-Gram نموذج مولد للعينة من هويات N-Gram المعقولة كقنعة اختيارية N-Gram وتوقعها في كل من الأخلاق الخشنة والحبوب الدقيقة لتمكين تنبؤات N-Gram الشاملة ونمذجة العلاقة. نحن نسترجع تدريبات Ernie-Gram على النصوص باللغة الإنجليزية والصينية ونغمة الجميلة في 19 مهام المصب. تظهر النتائج التجريبية أن Ernie-Gram يتفوق على نماذج مسبقة التدريب السابقة مثل XLNet و Roberta بهامش كبير، وتحقق نتائج قابلة للمقارنة مع الطرق الحديثة. تم إصدار رموز المصدر والنماذج المدربة مسبقا في https://github.com/paddlepaddle/ernie.
يتم استخدام تقطير المعرفة (KD) على نطاق واسع لضغط ونشر نماذج لغة كبيرة مدربة مسبقا على أجهزة EDGE لتطبيقات العالم الحقيقي.ومع ذلك، فإن مساحة البحث واحدة مهملة هي تأثير الملصقات الصاخبة (التالفة) على KD.نقدم، إلى حد علمنا، أول دراسة حول الملكية الدماغ
ية مع ملصقات صاخبة في فهم اللغة الطبيعية (NLU).نحن توثق نطاق المشكلة وتقديم طريقتين لتخفيف تأثير ضوضاء التسمية.تشير التجارب على مرجع الغراء إلى أن أساليبنا فعالة حتى تحت مستويات ضوضاء عالية.ومع ذلك، تشير نتائجنا إلى أن المزيد من البحث ضروري للتعامل مع ضجيج الملصقات تحت KD.
مكنت التقدم في تمثيل اللغة الإنجليزية مهمة أكثر كفاءة عينة من خلال التعلم بكفاءة ترميز يصنف بدائل الرمز المميز بدقة (Electra).أي، بدلا من تدريب نموذج لاستعادة الرموز الممثيلين، يقوم بتدريب نموذج تمييزي على التمييز بين الرموز الإدخال الحقيقية من الرمو
ز التالفة التي تم استبدالها بشبكة مولدات.من ناحية أخرى، فإن نهج تمثيل اللغة باللغة العربية الحالية تعتمد فقط على الاحتجاج عن طريق نمذجة اللغة الملثم.في هذه الورقة، نقوم بتطوير نموذج تمثيل اللغة باللغة العربية، والتي نستها ARAELECTRA.يتم الاحترام من النموذج الخاص بنا باستخدام هدف الكشف عن الرمز المميز في النص العربي الكبير.نقوم بتقييم نموذجنا على مهام NLP العربية المتعددة، بما في ذلك فهم القراءة وتحليل المعرفات والاعتراف باسم الكيان المسمى ونعرض أن ARAELECTRA تتفوق على نماذج تمثيل اللغة العربية الحديثة الحالية، بالنظر إلى نفس البيانات المحددةحجم نموذج أصغر.
أظهرت نماذج اللغة الموجودة مسبقا مسبقا (PLMS) فعالية التعلم الإشراف على الذات لمجموعة واسعة من مهام معالجة اللغة الطبيعية (NLP). ومع ذلك، فإن معظمهم لا يدركون بشكل صريح المعرفة الخاصة بالمجال، وهو أمر ضروري لمهام المصب في العديد من المجالات، مثل المه
ام في سيناريوهات التجارة الإلكترونية. في هذه الورقة، نقترح K- المكونات، نموذج لغة محقوم المعرفة مسبقا بناء على محول تشفير التشفير التي يمكن تحويلها إلى كل من فهم اللغة الطبيعية ومهام الجيل. على وجه التحديد، نقترح خمسة أهداف مسبقة الإشراف على علم المعرفة على المعرفة في تصميم تعلم المعرفة الخاصة بالمجال، بما في ذلك قواعد المعرفة الخاصة بالمجال التجاري، وجوانب كيانات المنتج، وفئات من كيانات المنتجات، ومقترحات البيع الفريدة من كيانات المنتج. نتحقق من طريقتنا في مجموعة متنوعة من سيناريوهات التجارة الإلكترونية التي تتطلب معرفة خاصة بالمجال، بما في ذلك إكمال قاعدة معارف المنتج، وخصم منتج مبيعات، والحوار متعدد الدوران. تتفوق K- التوصيل بشكل كبير على خطوط الأساس في جميع المجالات، والتي توضح أن الطريقة المقترحة تتعلم بفعالية مجموعة متنوعة متنوعة من المعرفة الخاصة بالمجال لكل من مهام الفم والجيل اللغوي. رمز لدينا متاح.
فهم اللغة الطبيعية مهمة مهمة في أنظمة الحوار الحديثة.يصبح أكثر أهمية مع التمديد السريع لوظيفة أنظمة الحوار.في هذا العمل، نقدم نهجا لتعلم تحويل الصفر بالرصاص لمهام تصنيف النوايا وملء الفتحات بناء على نماذج اللغة المدربة مسبقا.نستخدم نماذج محكسية عميقة
تغذيها مع الكلام وأوصاف اللغة الطبيعية لحالة المستخدم للحصول على embeddings.ثم تستخدم هذه المدينات من قبل شبكة عصبية صغيرة لإنتاج تنبؤات للحصول على الاحتمالات النية والفتحة.تحقق هذه الهندسة المعمارية نتائج جديدة من الفنون الجديدة في سيناريوهات صفرية بالرصاص.واحدة هي لغة واحدة تتكيف مع المهارات الجديدة وآخر هو التكيف عبر اللغات.
الأسئلة المقترحة
سجل دخول لتتمكن من نشر تعليقات
التعليقات
جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
