تحسين معالجة اللغة العصبية مع الكيانات المسماة

أظهرت نماذج الشبكة العصبية المستندة إلى ما يحقظ أن عروض حديثة (SOTA) على مهام معالجة اللغة الطبيعية (NLP). تعد تمثيل الجملة الأكثر استخداما لأساليب NLP ذات الاستخدام العصبي سلسلة من الكلمات الفرعية المختلفة عن تمثيل الجملة من الأساليب غير العصبية التي يتم إنشاؤها باستخدام تقنيات NLP الأساسية، مثل العلامات على جزء من الكلام (POS)، اسمه الكيان (NE) الاعتراف، والتحليل. تتلقى معظم نماذج NLP ذات القائمة العصبية فقط ناقلات ترميزها من سلسلة من الكلمات الفرعية التي تم الحصول عليها من نص الإدخال. ومع ذلك، لا يمكن الحصول على معلومات NLP الأساسية، مثل علامات نقاط البيع، ونتائج NES، وتحليل النتائج، إلخ، بشكل صريح من النص الكبير غير المستخديم المستخدمة في النماذج المستندة إلى ما يحقظ. تستكشف هذه الورقة استخدام NES على مهمتين يابانيين؛ تصنيف المستندات والجيل الرئيسي باستخدام النماذج القائمة على المحولات، للكشف عن فعالية معلومات NLP الأساسية. تظهر النتائج التجريبية مع ثمانية NES أساسية وحوالي 200 نسمة موسعة أن NES يحسن الدقة على الرغم من استخدام نموذج كبير يستند إلى الاحتمالات المدربة باستخدام بيانات نصية 70 جيجابايت.

Pretraining-based neural network models have demonstrated state-of-the-art (SOTA) performances on natural language processing (NLP) tasks. The most frequently used sentence representation for neural-based NLP methods is a sequence of subwords that is different from the sentence representation of non-neural methods that are created using basic NLP technologies, such as part-of-speech (POS) tagging, named entity (NE) recognition, and parsing. Most neural-based NLP models receive only vectors encoded from a sequence of subwords obtained from an input text. However, basic NLP information, such as POS tags, NEs, parsing results, etc, cannot be obtained explicitly from only the large unlabeled text used in pretraining-based models. This paper explores use of NEs on two Japanese tasks; document classification and headline generation using Transformer-based models, to reveal the effectiveness of basic NLP information. The experimental results with eight basic NEs and approximately 200 extended NEs show that NEs improve accuracy although a large pretraining-based model trained using 70 GB text data was used.