الإطار التدريبي - تجنب الألفاظ النابية لنماذج SEQ2SeQ مع متانة معتمدة

أظهرت نماذج SEQ2SEQ فعالية لا تصدق في مجموعة كبيرة ومتنوعة من التطبيقات. ومع ذلك، أظهرت الأبحاث الحديثة أن اللغة غير اللائقة في عينات التدريب وحالات الاختبار المصممة مصممة يمكن أن تحفز نماذج SEQ2SeQ لإخراج الألفاظ النابية. قد تؤذي هذه المخرجات قابلية استخدام نماذج SEQ2SEQ وجعل المستخدمين النهائيين يشعرون بالإهانة. لمعالجة هذه المشكلة، نقترح إطار تدريبي مع متانة معتمدة للقضاء على الأسباب التي تؤدي إلى توليد الألفاظ النابية. يعزز إطار التدريب المقترح فقط قائمة قصيرة من أمثلة الألفاظ النابية لمنع نماذج SEQ2SEQ من توليد طيف أوسع من الألفاظ النابية. يتكون الإطار من مكون تدريبي للقضاء على النمط لقمع تأثير أنماط اللغة ذات الألفاظ النابية في مجموعة التدريب، وعنصر تدريب مقاوم للمثريحة لتوفير متانة معتمدة لنماذج SEQ2SEQ من تعبيرات النبأ المستقل عن عمد في عينات الاختبار. في التجارب، نفكر في مهام اثنين من الممثلين للتنصيب أن SEQ2SEQ يمكن تطبيقها على ذلك، أي نقل النمط وتوليد الحوار. تظهر النتائج التجريبية الواسعة أن إطار التدريب المقترح يمكن أن يمنع النماذج NLP بنجاح من توليد الألفاظ النابية.

Seq2seq models have demonstrated their incredible effectiveness in a large variety of applications. However, recent research has shown that inappropriate language in training samples and well-designed testing cases can induce seq2seq models to output profanity. These outputs may potentially hurt the usability of seq2seq models and make the end-users feel offended. To address this problem, we propose a training framework with certified robustness to eliminate the causes that trigger the generation of profanity. The proposed training framework leverages merely a short list of profanity examples to prevent seq2seq models from generating a broader spectrum of profanity. The framework is composed of a pattern-eliminating training component to suppress the impact of language patterns with profanity in the training set, and a trigger-resisting training component to provide certified robustness for seq2seq models against intentionally injected profanity-triggering expressions in test samples. In the experiments, we consider two representative NLP tasks that seq2seq can be applied to, i.e., style transfer and dialogue generation. Extensive experimental results show that the proposed training framework can successfully prevent the NLP models from generating profanity.