KFCNet: تصفية المعرفة والتعلم الناقض من أجل التفكير المنطقي التوليد

أدت نماذج اللغة المدربة مسبقا إلى مكاسب كبيرة على مجموعة واسعة من مهام معالجة اللغة الطبيعية (NLP)، ولكنها تبين أن قيود لمهام توليد اللغة الطبيعية مع متطلبات عالية الجودة على الإخراج، مثل جيل العمولة والإعلان توليد الكلمات الرئيسية. في هذا العمل، نقدم تصفية المعرفة الرواية وشبكة تعليمية مرافقة (KFCNET) التي تشير إلى معرفة خارجية وتحقق أداء أفضل من الجيل. على وجه التحديد، نقترح نموذج مرشح يستند إلى BERT لإزالة المرشحين ذوي الجودة المنخفضة، وتطبيق التعلم المقاوم للتناقض بشكل منفصل لكل من التشفير والكشف، داخل بنية فك التشفير العامة - فك التشفير. تساعد الوحدة النمطية للتناقض في التشفير على التقاط دلالات استهداف عالمية أثناء الترميز، وتعزز وحدة فك ترميز وحدة فك الترميز فائدة النماذج الأولية المستردة أثناء تعلم الملامح العامة. تجارب واسعة النطاق في معيار Commongen تشير إلى أن نموذجنا يتفوق على الحالة السابقة للفنية من قبل هامش كبير: +6.6 نقطة (42.5 مقابل 35.9) ل BLU-4، +3.7 نقطة (33.3 مقابل 29.6) للتوابل، و + 1.3 نقطة (18.3 مقابل 17.0) من أجل عصير التفاح. نتحقق مزيدا من فعالية الوحدة النمطية المقنعة المقترحة على توليد الكلمات الرئيسية للإعلان، وإظهار أن نموذجنا له قيمة تجارية محتملة.

Pre-trained language models have led to substantial gains over a broad range of natural language processing (NLP) tasks, but have been shown to have limitations for natural language generation tasks with high-quality requirements on the output, such as commonsense generation and ad keyword generation. In this work, we present a novel Knowledge Filtering and Contrastive learning Network (KFCNet) which references external knowledge and achieves better generation performance. Specifically, we propose a BERT-based filter model to remove low-quality candidates, and apply contrastive learning separately to each of the encoder and decoder, within a general encoder--decoder architecture. The encoder contrastive module helps to capture global target semantics during encoding, and the decoder contrastive module enhances the utility of retrieved prototypes while learning general features. Extensive experiments on the CommonGen benchmark show that our model outperforms the previous state of the art by a large margin: +6.6 points (42.5 vs. 35.9) for BLEU-4, +3.7 points (33.3 vs. 29.6) for SPICE, and +1.3 points (18.3 vs. 17.0) for CIDEr. We further verify the effectiveness of the proposed contrastive module on ad keyword generation, and show that our model has potential commercial value.