K- التوصيل: نموذج اللغة المحقونة المعرفة مسبقا لفهم اللغة الطبيعية والجيل في التجارة الإلكترونية

أظهرت نماذج اللغة الموجودة مسبقا مسبقا (PLMS) فعالية التعلم الإشراف على الذات لمجموعة واسعة من مهام معالجة اللغة الطبيعية (NLP). ومع ذلك، فإن معظمهم لا يدركون بشكل صريح المعرفة الخاصة بالمجال، وهو أمر ضروري لمهام المصب في العديد من المجالات، مثل المهام في سيناريوهات التجارة الإلكترونية. في هذه الورقة، نقترح K- المكونات، نموذج لغة محقوم المعرفة مسبقا بناء على محول تشفير التشفير التي يمكن تحويلها إلى كل من فهم اللغة الطبيعية ومهام الجيل. على وجه التحديد، نقترح خمسة أهداف مسبقة الإشراف على علم المعرفة على المعرفة في تصميم تعلم المعرفة الخاصة بالمجال، بما في ذلك قواعد المعرفة الخاصة بالمجال التجاري، وجوانب كيانات المنتج، وفئات من كيانات المنتجات، ومقترحات البيع الفريدة من كيانات المنتج. نتحقق من طريقتنا في مجموعة متنوعة من سيناريوهات التجارة الإلكترونية التي تتطلب معرفة خاصة بالمجال، بما في ذلك إكمال قاعدة معارف المنتج، وخصم منتج مبيعات، والحوار متعدد الدوران. تتفوق K- التوصيل بشكل كبير على خطوط الأساس في جميع المجالات، والتي توضح أن الطريقة المقترحة تتعلم بفعالية مجموعة متنوعة متنوعة من المعرفة الخاصة بالمجال لكل من مهام الفم والجيل اللغوي. رمز لدينا متاح.

Existing pre-trained language models (PLMs) have demonstrated the effectiveness of self-supervised learning for a broad range of natural language processing (NLP) tasks. However, most of them are not explicitly aware of domain-specific knowledge, which is essential for downstream tasks in many domains, such as tasks in e-commerce scenarios. In this paper, we propose K-PLUG, a knowledge-injected pre-trained language model based on the encoder-decoder transformer that can be transferred to both natural language understanding and generation tasks. Specifically, we propose five knowledge-aware self-supervised pre-training objectives to formulate the learning of domain-specific knowledge, including e-commerce domain-specific knowledge-bases, aspects of product entities, categories of product entities, and unique selling propositions of product entities. We verify our method in a diverse range of e-commerce scenarios that require domain-specific knowledge, including product knowledge base completion, abstractive product summarization, and multi-turn dialogue. K-PLUG significantly outperforms baselines across the board, which demonstrates that the proposed method effectively learns a diverse set of domain-specific knowledge for both language understanding and generation tasks. Our code is available.