ترغب بنشر مسار تعليمي؟ اضغط هنا

الجزء والقناع والتنبؤ: زيادة تجزئة الكلمات الصينية مع الإشراف الذاتي

Segment, Mask, and Predict: Augmenting Chinese Word Segmentation with Self-Supervision

646   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

تم استخدام أساليب الشبكة العصبية الحديثة الأخيرة (SOTA) وأساليب Neural العصبية الفعالة على أساس النماذج المدربة مسبقا (PTM) في تجزئة الكلمات الصينية (CWS)، وتحقيق نتائج رائعة. ومع ذلك، فإن الأعمال السابقة تركز على تدريب النماذج مع Corpus الثابتة في كل تكرار. المعلومات المتوسطة المتوسطة هي أيضا قيمة. علاوة على ذلك، فإن تقلب الأساليب العصبية السابقة محدودة بالبيانات المشروح على نطاق واسع. هناك عدد قليل من الضوضاء في كوربوس المشروح. بذلت جهود محدودة من قبل الدراسات السابقة للتعامل مع هذه المشاكل. في هذا العمل، نقترح نهج CWS الخاضع للإشراف ذاتيا بمعماري مباشر وفعال. أولا، ندرب نموذج تجزئة كلمة واستخدامه لتوليد نتائج التجزئة. بعد ذلك، نستخدم نموذج لغة مصنف منقح (MLM) لتقييم جودة نتائج التجزئة المستندة إلى تنبؤات الامتيازات. أخيرا، نستفيد من التقييمات لمساعدة تدريب القطاع من خلال تحسين الحد الأدنى من التدريب على المخاطر. تظهر النتائج التجريبية أن نهجنا يتفوق على الأساليب السابقة في 9 مجموعات بيانات مختلفة CWS مع تدريب معايير واحدة وتدريب معايير متعددة وتحقيق متانة أفضل.



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

تظهر الأبحاث الحديثة أن النماذج المدربة مسبقا (PTMS) مفيدة تجزئة الكلمات الصينية (CWS).ومع ذلك، فإن PTMS المستخدمة في الأعمال السابقة عادة ما تعتمد نمذجة اللغة كامرأة تدريبية مسبقا، تفتقر إلى معرفة تجزئة مسبقة خاصة بمهام المهام وتجاهل التناقض بين مها م ما قبل التدريب ومهام CWS المصب.في هذه الورقة، نقترح MetASE مطلقا مدربا مسبقا مسبقا CWS، والذي توظف هندسة موحدة ويشمل خوارزمية التعلم المعتوية في مهمة ما قبل التدريب متعدد المعايير.تظهر النتائج التجريبية أن METASEG يمكن أن تستخدم معرفة تجزئة مسبقة مشتركة من المعايير الحالية المختلفة وتخفيف التناقض بين النماذج المدربة مسبقا ومهام CWS المصب.علاوة على ذلك، يمكن أن يحقق MetASEG أداء جديدا على أحدث بيانات CWS المستخدمة على نطاق واسع وتحسين أداء النموذج بشكل كبير في إعدادات الموارد المنخفضة.
تتطلب شبكات العصبية العميقة الحديثة من بين الفن بيانات تدريبية ذات صلة واسعة النطاق غالبا ما تكون مكلفة للحصول على أو غير متوفرة للعديد من المهام. لقد ثبت أن الإشراف ضعيف في شكل قواعد خاصة بالمجال مفيدا في مثل هذه الإعدادات لإنشاء بيانات التدريب المس مى ضعيف. ومع ذلك، فإن التعلم مع القواعد الضعيفة يتحدى بسبب طبيعته المهمة والصاخبة المتأصلة. تحدي إضافي هو تغطية القاعدة والتداخل، حيث يعتبر العمل المسبق على الإشراف الضعيف فقط الحالات التي تغطيها قواعد ضعيفة، وبالتالي تاركة بيانات قيمة غير مسفدة وراءها. في هذا العمل، نطور إطارا ضعيفا للإشراف (Astra) الذي يرفع جميع البيانات المتاحة لمهمة معينة. تحقيقا لهذه الغاية، نستفيد البيانات الخاصة بمهارات العمل من خلال التدريب الذاتي مع نموذج (الطالب) الذي يعتبر تمثيلات السياق ويتوقع التسميات الزائفة على الحالات التي قد لا تغطيها قواعد ضعيفة. ونحن نضع كذلك شبكة انتباه القاعدة (المعلم) التي تتعلم كيفية إجمالي الملصقات الزائفة الطلابية مع ملصقات القاعدة الضعيفة، مشروطة بإخلاصها والسياق الأساسي للمثيل. أخيرا، نقوم بإنشاء هدف تعليمي شبه إشراف للتدريب المنتهي بالبيانات غير المستمرة والقواعد الخاصة بالمجال، وكمية صغيرة من البيانات المسمى. توضح تجارب واسعة على ستة مجموعات بيانات قياسية لتصنيف النص فعالية نهجنا مع تحسينات كبيرة على خطوط الأساس الحديثة.
تم تطبيق نماذج تجزئة الكلمات القائمة على الأحرف على نطاق واسع على اللغات الشاقة، بما في ذلك التايلاندية، بسبب أدائها العالي.هذه النماذج تقدر حدود الكلمات من تسلسل الأحرف.ومع ذلك، فإن وحدة الأحرف في تسلسل ليس لها معنى أساسي، مقارنة بكل وحدات الكتلة ال كلمة والكلمة الفرعية.نقترح نموذج تجزئة الكلمات التايلاندية يستخدم أنواعا مختلفة من المعلومات، بما في ذلك الكلمات والكلمات الفرعية ومجموعات الأحرف، من تسلسل الأحرف.ينطبق نموذجنا على انتباه متعددة لتحسين استنتاجات تجزئة من خلال تقدير العلاقات الكبيرة بين الشخصيات وأنواع الوحدات المختلفة.تشير النتائج التجريبية إلى أن نموذجنا يمكن أن يتفوق على نماذج تجزئة الكلمات التايلاندية الأخرى.
لقد تم استخراج العلاقات عبر مجموعة نصية كبيرة غير مستمدة نسبيا في NLP، لكنه مهم للغاية بالنسبة لمجالات عالية القيمة مثل الطب الحيوي، حيث يكون الحصول على استدعاء عالية من أحدث النتائج أمر حاسم للتطبيقات العملية. بالمقارنة مع استخراج المعلومات التقليدي ة المحصورة على تمديد النص القصير، فإن استخراج العلاقات على مستوى المستند يواجه تحديات إضافية في كل من الاستدلال والتعلم. وبالنظر إلى تمديدات نصية أطول، فإن الهندسة العصبية الحديثة هي الإشراف الذاتي الأقل فعالية ومحددة المهام مثل الإشراف البعيد يصبح صاخبا جدا. في هذه الورقة، نقترح انحلال استخراج العلاقات على مستوى الوثيقة في الدقة المتعلقة بالكشف عن العلاقة والحجة، مما أدى إلى إلهام من دلالات ديفيدسون. تمكننا هذا من دمج نماذج الخطاب الصريحة والاستفادة من الإشراف الذاتي المعياري لكل مشكلة فرعية، وهو أقل عرضة للضوضاء ويمكن أن يكون مزيدا من النهايات المكررة عبر التباين. نقوم بإجراء تقييم شامل في قراءة الآلة الطبية الحيوية لعلم الأورام الدقيقة، حيث تذكر علاقة الفقرة الشاملة سائدة. تتفوق طريقةنا على الدولة السابقة للفن، مثل التعلم متعدد النطاق والشبكات العصبية الرسمية، بأكثر من 20 نقطة F1 المطلقة. وانطبق الربح بشكل خاص بين أكثر حالات العلاقات الأكثر تحديا التي لا تحدث حججها في فقرة.
من الصعب للغاية ترجمة لغات Dravidian، مثل Kannada و Tamil، على ترجمة النماذج العصبية الحديثة.ينبع هذا من حقيقة أن هذه اللغات غنية بالمثل للغاية بالإضافة إلى توفير الموارد منخفضة الموارد.في هذه الورقة، نركز على تجزئة الكلمات الفرعية وتقييم الحد من الم فردات الدوافع اللغوية (LMVR) مقابل الجملة الأكثر استخداما (SP) لمهمة الترجمة من اللغة الإنجليزية إلى أربعة لغات Dravidian مختلفة.بالإضافة إلى ذلك، نحقق في حجم المفردات الفرعية المثلى لكل لغة.نجد أن SP هو الخيار الأكثر شمولا للتجزئة، وأن أحجام القاموس الأكبر تؤدي إلى جودة الترجمة الأعلى.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا