الشبكات العصبية العميقة لمعالجة اللغات الطبيعية هشة في مواجهة أمثلة الخصومة --- اضطرابات صغيرة في الإدخال، مثل استبدال مرادف أو تكرار Word، والذي يسبب شبكة عصبية لتغيير تنبؤها.نقدم نهجا لإنشاء متانة LSTMS (وملحقات LSTMS) ونماذج التدريب التي يمكن اعتم
ادها بكفاءة.يمكن أن تؤدي نهجنا إلى التصديق على المتانة على أماكن الاضطرابات الكبيرة غير المحددة برمجيا بلغة تحويلات السلسلة.يوضح تقييمنا أن نهجنا يمكن أن تدريب النماذج الأكثر قوة لمجموعات من تحويلات السلسلة من تلك التي تم إنتاجها باستخدام التقنيات الحالية؛(2) نهجنا يمكن أن تظهر دقة شهادة عالية من النماذج الناتجة.
أظهرت LMS المدربة مسبقا أداء مثير للإعجاب على مهام NLP المصب، لكننا لم ننشئ بعد فهم واضح للتطور عندما يتعلق الأمر بمعالجة المعلومات والاحتفاظ بها وتطبيقها المقدمة في مدخلاتها. في هذه الورقة، نتعامل مع مكون من هذه المسألة من خلال دراسة قدرة النماذج عل
ى نشر معلومات السياق ذات الصلة في مواجهة مشتت المحتوى. نقدم نماذج مع مهام كتين تتطلب استخدام معلومات السياق النقدي، وإدخال محتوى مشتت لاختبار مدى احتفاظ النماذج بقوة واستخدام هذه المعلومات الهامة للتنبؤ بها. نحن أيضا التلاعب بشكل منهجي بطبيعة هؤلاء الملذات، لإلقاء الضوء على ديناميات استخدام النماذج من العظة السياقية. نجد أنه على الرغم من أن النماذج تظهر في سياقات بسيطة لجعل التنبؤات بناء على فهم الحقائق ذات الصلة وتطبيقها من السياق المسبق، فإن وجود محتوى مشتت ولكنه غير ذي صرف له تأثير واضح في التنبؤات النموذجية المربكة. على وجه الخصوص، تظهر النماذج عرضة بشكل خاص لعوامل التشابه الدلالي وموقف كلمة. تتسق النتائج مع استنتاج مفادها أن تنبؤات LM مدفوعة بجزء كبير من العظة السياقية السطحية، وليس عن طريق تمثيلات قوية لمعنى السياق.
في هذا العمل، نحلل متانة أنظمة الترجمة الآلية العصبية نحو الاضطرابات النحوية في المصدر.على وجه الخصوص، نركز على اضطرابات الانعطاف المورفولوجي.بينما تمت دراسة هذا مؤخرا للغة الإنجليزية → French (Morpheus) (Tan et al.، 2020)، فمن غير الواضح كيف تمتد هذ
ا إلى أي أنظمة ترجمة إنجليزية →.نقترح Morpheus - متعدد اللغات التي تستخدم قواميس Unimorph لتحديد اضطرابات مورفولوجية للمصدر الذي يؤثر سلبا على نماذج الترجمة.جنبا إلى جنب مع تحليل أنظمة MT المسبقة للحكانات، نقوم بتدريب وتحليل الأنظمة لمدة 11 أزواج لغة باستخدام كوربوس TED متعددة اللغات (Qi et al.، 2018).نحن نقارن أيضا هذا مع الأخطاء الفعلية من مكبرات البيانات غير الأصلية باستخدام مجموعات بيانات تصحيح الأخطاء النحوية.أخيرا، نقدم تحليلا نوعيا وكميا لأغاني أي أنظمة ترجمة إنجليزية →.
نحن نبذة عن مشكلة تعزيز متانة النموذج من خلال التنظيم. على وجه التحديد، نركز على الأساليب التي تنظم الفرق الخلفي النموذجي بين المدخلات النظيفة والصاخبة. من الناحية النظرية، نحن نقدم اتصالا بطريقتين حديثين، وانتظام جاكوبي والتدريب الخصم الافتراضي، في
إطار هذا الإطار. بالإضافة إلى ذلك، نعيد بتعميم التنظيم التفاضلي الخلفي لعائلة الاختلافات F وتوصيف الإطار العام من حيث مصفوفة الجاكوبيان. تجريبيا، قارنا هذه التحسينات وتدريب بيرت القياسي على مجموعة متنوعة من المهام لتوفير ملف شامل لتأثيرها على تعميم النموذج. لكلا الإعدادات ذات الإشراف بالكامل وشبه الإشراف، نوضح أن تنظيم الفرق الخلفي الذي يمكن أن يؤدي إلى اختلاف F إلى متانة نموذج جيد. على وجه الخصوص، مع اختلاف F-Supplgence مناسب، يمكن أن يحقق نموذج BERT-BASE تعميما قابلا للمقارنة كظرفي كبير لسيناريوهات التحول في المجال والمواد والمناطق، مما يشير إلى إمكانات كبيرة للإطار المقترح لتعزيز متانة نموذج NLP.
تعد نماذج معالجة وأمن معالجة اللغة الطبيعية (NLP) مهمة بشكل ملحوظ في تطبيقات العالم الحقيقي. في سياق مهام تصنيف النص، يمكن تصميم أمثلة الخصومة من خلال استبدال الكلمات مع المرادفات تحت بعض القيود الدلالية والمنظمات الأساسية، بحيث يكون نموذج مدرب جيدا
سيعطي تنبؤا خاطئا. لذلك، من الأهمية بمكان تطوير تقنيات لتوفير ضمان قوي وقضايا ضد هذه الهجمات. في هذه الورقة، نقترح WordDP لتحقيق متانة مصدقة ضد استبدال الكلمات في تصنيف النص عن طريق الخصوصية التفاضلية (DP). نحدد العلاقة بين موانئ دبي والمودة القومية لأول مرة في المجال النصي واقتراح خوارزمية قائمة على الآلية المفاهيمية التي تعتمد على الآلية لتحقيق القابة رسميا. ونحن نقدم كذلك آلية أسيانية محاكاة عملية لها استنتاج فعال مع متانة معتمدة. نحن لا نقدم فقط اشتقاق تحليلي صارم للحالة المعتمدة ولكن أيضا مقارنة فائدة WordDP أيضا بشكل تجريبي مع خوارزميات الدفاع الحالية. تظهر النتائج أن WordDP تحقق دقة أعلى وأكثر من 30x تحسن كفاءة على آلية متانة حديثة معتمدة في مهام تصنيف النص النموذجي.
