ترغب بنشر مسار تعليمي؟ اضغط هنا

أفضل ميزة التكامل لمعرفة الكيان المسمى

Better Feature Integration for Named Entity Recognition

190   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

وقد ثبت أن التعرف على الكيان المسمى (NER) قد يستفيد من دمج المعلومات المهيكلة لمسافات طويلة التي تم التقاطها بواسطة أشجار التبعية. نعتقد أن هذا هو أن كلا النوعين من الميزات - المعلومات السياقية التي تم التقاطها من خلال التسلسلات الخطية والمعلومات المهيكلة التي تم الاستيلاء عليها أشجار التبعية قد تكمل بعضها البعض. ومع ذلك، تركز النهج الحالية إلى حد كبير على تكديس الشبكات العصبية LSTM والرسم البيانية مثل الشبكات التنافسية الرسم البيانية (GCNS) لبناء نماذج NER محسنة، حيث لا تكون آلية التفاعل الدقيقة بين النوعين من الميزات واضحة للغاية، وتكسب الأداء يبدو أن تكون كبيرة. في هذا العمل، نقترح حلا بسيطا وقويا لدمج كلا النوعين من الميزات مع تآزرنا - LSTM (SYN-LSTM)، والذي يلتقط بوضوح كيف يتفاعل نوعان الميزات. نقوم بإجراء تجارب مكثفة على العديد من البيانات القياسية عبر أربع لغات. تظهر النتائج أن النموذج المقترح يحقق أداء أفضل من الأساليب السابقة مع مطالبة معلمات أقل. يوضح تحليلنا الإضافي أن نموذجنا يمكنه التقاط تبعيات أطول مقارنة مع خطوط الأساس القوية.

المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

أصبحت نماذج المحولات التي يتم ضبطها بشكل جيد مع هدف وضع العلامات على التسلسل الاختيار المهيمن لمهام التعرف على الكيان المسمى. ومع ذلك، يمكن أن تفشل آلية اهتمام الذات مع طول غير مقيد في التقاط التبعيات المحلية بالكامل، خاصة عندما تكون البيانات التدريب ية محدودة. في هذه الورقة، نقترح هدف تدريب مشترك جديد يلتقط أفضل دلالات الكلمات المقابلة لنفس الكيان. من خلال زيادة هدف التدريب مع عنصر فقدان المجموعة-الاتساق، فإننا نعزز قدرتنا على التقاط التبعيات المحلية مع الاستمتاع بمزايا آلية اهتمام الذات غير المقيد. على DataSet Conll2003، تحقق طريقة لدينا اختبار F1 من 93.98 مع نموذج محول واحد. الأهم من ذلك أن نموذج Conlll2003 الخاص بنا يعرض مكاسب كبيرة في تعميم البيانات خارج نطاق البيانات: على مجموعة بيانات OnTonotes، نحقق F1 من 72.67 وهو 0.49 نقطة مطلقا أفضل من خط الأساس، وعلى WNUT16 تعيين F1 من 68.22 وهو مكاسب من 0.48 نقطة. علاوة على ذلك، في DataSet WNUT17، نحقق F1 من 55.85، مما يؤدي إلى تحسن مطلق 2.92 نقطة.
الملخص نتخذ خطوة نحو معالجة تمثيل القارة الأفريقية في أبحاث NLP من خلال جلب مختلف أصحاب المصلحة من أصحاب المصلحة في إنشاء بيانات كبيرة متاحة للجمهور وعالية الجودة للتعرف على الكيان المسمى (NER) في عشرة لغات أفريقية.إننا نقوم بالتفصيل خصائص هذه اللغات لمساعدة الباحثين والممارسين على فهم التحديات التي يفرضونها على مهام NER.نقوم بتحليل مجموعات البيانات لدينا وإجراء تقييم تجريبي واسع النطاق للطرق الحكومية في جميع إعدادات التعلم الإشراف والنقل.أخيرا، نطلق سراح البيانات والرمز والنماذج لإلهام البحوث المستقبلية على الأفريقية NLP.1
يدل العمل الحالي في التعرف على الكيان المسمى (NER) أن تقنيات تكبير البيانات يمكن أن تنتج نماذج أكثر قوة.ومع ذلك، تركز معظم التقنيات الموجودة على زيادة البيانات داخل المجال في سيناريوهات الموارد المنخفضة حيث تكون البيانات المشروحة محدودة للغاية.في هذا العمل، نأخذ هذا الاتجاه البحثي إلى المعاكس ودراسة تكبير بيانات المجال عبر المجال لمهمة NER.نحن نبحث في إمكانية الاستفادة من البيانات من مجالات الموارد العالية من خلال إسقاطها في مجالات الموارد المنخفضة.على وجه التحديد، نقترح بنية عصبية رواية لتحويل تمثيل البيانات من الموارد العالية إلى مجال موارد منخفضة من خلال تعلم الأنماط (مثل الأناقة والضوضاء والاختصارات، وما إلى ذلك) في النص الذي يميزها ومساحة ميزة مشتركةحيث يتماشى كلا المجالين.نقوم بتجربة مجموعات بيانات متنوعة وإظهار أن تحويل البيانات إلى تمثيل مجال الموارد المنخفض يحقق تحسينات كبيرة على استخدام البيانات فقط من مجالات الموارد العالية.
على الرغم من أن النماذج الكبيرة المدربة مسبقا (E.G.، Bert، Ernie، Xlnet، GPT3 وما إلى ذلك) قدمت أداء أعلى في النمذجة SEQ2SEQ، وغالبا ما تعوق عمليات نشرها في تطبيقات العالم الحقيقي بواسطة الحسابات المفرطة وطلب الذاكرة المعنية. بالنسبة للعديد من التطبي قات، بما في ذلك التعرف على الكيان المسمى (NER)، فإن مطابقة النتيجة الحديثة تحت الميزانية قد جذبت اهتماما كبيرا. رسم الطاقة من التقدم الأخير في تقطير المعرفة (دينار كويتي)، يعرض هذا العمل مخطط تقطير جديد لنقل المعرفة بكفاءة المستفادة من النماذج الكبيرة إلى نظيرها أكثر بأسعار معقولة. يسلط حلنا الضوء على بناء الملصقات البديلة من خلال خوارزمية K-Best Viterbi إلى معرفة تقطر من طراز المعلم. لإحداث المعرفة إلى حد ما في نموذج الطالب، نقترح خطة تقطير متعددة الحبيبات، التي تدمج عبر الانتروبي الصليب المشارك في مجال عشوائي مشروط (CRF) والتعلم الغامض. للتحقق من صحة فعالية اقتراحنا، أجرينا تقييم شامل على خمسة نير معايير، الإبلاغ عن مكاسب أداء المجلس عبر المجلس بالنسبة للفنون السابقة المتنافسة. نناقش نتائج الآراء بشكل أكبر لتشريح مكاسبنا.
نستكشف تطبيق خوارزميات NER-Art-Branch إلى نصوص مركز الاتصال التي تم إنشاؤها ASR. ركز العمل السابق في هذا المجال على استخدام نموذج Bilstm-CRF الذي اعتمد على تضمين الدعوى؛ ومع ذلك، فإن مثل هذا النموذج غير عملي من حيث الكمون واستهلاك الذاكرة. في بيئة ال إنتاج، يتطلب المستخدمون النهائيون نماذج منخفضة الكمون التي يمكن دمجها بسهولة في خطوط الأنابيب الموجودة. ولتحقيق هذه الغاية، نقدم نماذجين مختلفة يمكن استخدامها بناء على متطلبات الكمون والدقة للمستخدم. أولا، نقترح مجموعة من النماذج التي تستخدم نماذج لغة محول الحديثة (روبرتا) لتطوير نظام NER عالية الدقة المدربين على مجموعة مشروحة مخصصة من نصوص مركز الاتصال. بعد ذلك، نستخدم نموذجنا المستند إلى المحولات الأفضل أداء لتسمية عدد كبير من النصوص، والذي نستخدمه للتأهيل بنموذج BILSTM-CRF ويزيد من الاستحقاق على مجموعة بيانات المشروح. نظرا لأن هذا النموذج، في حين ليس دقيقا مثل نظيره القائم على المحولات، فهو فعال للغاية في تحديد العناصر التي تتطلب تحسين قانون الخصوصية. علاوة على ذلك، نقترح مخططا شرحا عاما جديدا ل NER في بيئة مركز الاتصال.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا