تحسين معالجة اللغة العصبية مع الكيانات المسماة

أظهرت نماذج الشبكة العصبية المستندة إلى ما يحقظ أن عروض حديثة (SOTA) على مهام معالجة اللغة الطبيعية (NLP). تعد تمثيل الجملة الأكثر استخداما لأساليب NLP ذات الاستخدام العصبي سلسلة من الكلمات الفرعية المختلفة عن تمثيل الجملة من الأساليب غير العصبية التي يتم إنشاؤها باستخدام تقنيات NLP الأساسية، مثل العلامات على جزء من الكلام (POS)، اسمه الكيان (NE) الاعتراف، والتحليل. تتلقى معظم نماذج NLP ذات القائمة العصبية فقط ناقلات ترميزها من سلسلة من الكلمات الفرعية التي تم الحصول عليها من نص الإدخال. ومع ذلك، لا يمكن الحصول على معلومات NLP الأساسية، مثل علامات نقاط البيع، ونتائج NES، وتحليل النتائج، إلخ، بشكل صريح من النص الكبير غير المستخديم المستخدمة في النماذج المستندة إلى ما يحقظ. تستكشف هذه الورقة استخدام NES على مهمتين يابانيين؛ تصنيف المستندات والجيل الرئيسي باستخدام النماذج القائمة على المحولات، للكشف عن فعالية معلومات NLP الأساسية. تظهر النتائج التجريبية مع ثمانية NES أساسية وحوالي 200 نسمة موسعة أن NES يحسن الدقة على الرغم من استخدام نموذج كبير يستند إلى الاحتمالات المدربة باستخدام بيانات نصية 70 جيجابايت.