ترغب بنشر مسار تعليمي؟ اضغط هنا

محول الرسم البياني غير الرسمي غير الرسمي غير التلقائي لتخليص التبعية مع تحسين التكرار

Recursive Non-Autoregressive Graph-to-Graph Transformer for Dependency Parsing with Iterative Refinement

359   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

نقترح هندسة محول الرسم البياني المتكرر للرسوم البيانية التلقائي (Rngtr) من أجل تحسين الرسوم البيانية التعسفية من خلال التطبيق العسكري لمحول الرسم البياني غير التلقائي إلى الرسم البياني وتطبيقه على تحليل التبعية النحوية.نوضح قوة وفعالية Rngtr على العديد من شركات التبعية، باستخدام نموذج التقييم المدرب مسبقا مع بيرت.نقدم أيضا محولات محول النحوية (Sytr)، وهي محلل غير متكرر مشابهة لنموذج التقييم الخاص بنا.يمكن Rngtr تحسين دقة مجموعة متنوعة من المحللين الأوليين في 13 لغة من التبعيات الشاملة TreeBanks والإنجليزية والصينية Benn Treebanks، والجوربوس الألماني Conll2009، وحتى تحسين النتائج الجديدة على النتائج الجديدة التي حققتها Systr، بشكل كبيرتحسين أحدث حديثة لجميع الشركات التي تم اختبارها.



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

تطبيقات اللغة الطبيعية المعقدة مثل ترجمة الكلام أو الترجمة المحورية تعتمد تقليديا على النماذج المتتالية. ومع ذلك، من المعروف أن النماذج المتتالية عرضة لتوسيع الأخطاء ومشاكل التناقض النموذجي. علاوة على ذلك، لا توجد إمكانية لاستخدام بيانات التدريب المن اسبة في النظم المتتالية التقليدية، مما يعني أن البيانات التدريبية الأكثر ملاءمة للمهمة لا يمكن استخدامها. اقترحت الدراسات الفقيرة عدة طرق تدريبية للتدريب المنتهي المتكاملة للتغلب عليها مشاكل، ومع ذلك، فإنهم يعتمدون في الغالب على بيانات ثلاثية الاتجاه (الاصطناعية أو الطبيعية). نقترح نموذجا متماثلا يعتمد على المحول غير التلقائي الذي يتيح التدريب المنتهي دون الحاجة إلى تمثيل واضح وسيط. تتجنب هذه الهندسة المعمارية الجديدة (I) القرارات المبكرة غير الضرورية التي يمكن أن تسبب أخطاء يتم نشرها بعد ذلك في جميع النماذج المتتالية (II) باستخدام بيانات التدريب المناسبة مباشرة. نحن نقوم بإجراء تقييم على مهام ترجمة من الآلة المحورية، وهي الفرنسية → الألمانية والألمانية → جمهورية التشيك. تظهر نتائجنا التجريبية أن الهندسة المعمارية المقترحة تعطي تحسنا أكثر من 2 بلو للفرنسية → الألمانية على خط الأساس المتتالي.
تهدف مهمة اكتشاف الحدث (ED) إلى تصنيف الأحداث من خلال تحديد الحدث الرئيسي تصادف الكلمات المضمنة في جزء من النص. أثبتت الأبحاث السابقة صحة علاقات التبعية النحوية الصابورة في شبكات تشكيلة تشكيلة (GCN). في حين أن الأساليب القائمة على GCN الحالية تستكشف علاقات الاعتماد العقدة الكامنة وفقا لقطعة توتور بقيمة ثابتة، فإن العار الديناميكي القائم على الانتباه، والتي يمكن أن تؤدي الكثير من الاهتمام إلى العقدة الرئيسية مثل حفل الحدث أو العقد المجاورة، وبعد في وقت واحد، تعاني من ظاهرة معلومات الرسم البياني التلاشي الناجمة عن Tensor المتأخر المتماثل، نماذج GCN الحالية لا يمكن تحقيق أداء عموما أعلى. في هذه الورقة، نقترح نماذج رواية ناشئة عن النفس شبكات التنزل المتبقية (SA-GRCN) لعلاقات التبعية الكامنة لعدة عقدة من خلال آلية الاهتمام الذاتي وإدخال الشبكة المتبقية الرسم البياني (GRESNET) لحل مشكلة تخفيض المعلومات الرسم البيانية وبعد على وجه التحديد، يتم بناء وحدة انتباه ذاتي لتوليد موتر الاهتمام، مما يمثل عشرات اهتمام الاعتماد من جميع الكلمات في الجملة. علاوة على ذلك، يضاف مصطلح الرسم البياني المتبقي إلى خط الأساس SA-GCN لبناء GRESNET. بالنظر إلى الاتصال النحوي لإدخال الشبكة، نقوم بتهيئة موتر المشجعي الناشئ دون معالجة وحدة الاهتمام الذاتي باعتباره المصطلح المتبقي. نقوم بإجراء تجارب على مجموعة بيانات ACE2005 وتظهر النتائج تحسنا كبيرا بشأن أساليب خط الأساس التنافسية.
أظهرت نماذج الترجمة الآلية غير التلقائية (NAT) تسريعا كبيرا للاستدلال، لكنها تعاني من دقة ترجمة أدنى. الممارسة الشائعة لمعالجة المشكلة هي نقل الترجمة الآلية التلقائي (في) معرفة نماذج NAT، على سبيل المثال، مع تقطير المعرفة. في هذا العمل، نحن نفترض وال تحقق تجريبيا من أن ترميز اللوائح في و NAT التقاط خصائص لغوية مختلفة من الجمل المصدر. لذلك، نقترح اعتماد التعلم متعدد المهام لنقل المعرفة إلى نماذج NAT من خلال تقاسم التشفير. على وجه التحديد، نأخذ النموذج في المهمة المساعدة لتعزيز أداء نموذج NAT. تظهر النتائج التجريبية على مجموعات بيانات WMT14 EN-DE و WMT16 EN-RO أن المهمة المتعددة المقترحة NAT تحقق تحسينات كبيرة على نماذج الأساس NAT. علاوة على ذلك، تؤكد الأداء الموجود على مجموعات بيانات WMT19 و WMT20 و WMT20 واسعة النطاق اتساق طريقةنا المقترحة. بالإضافة إلى ذلك، توضح النتائج التجريبية أن لدينا NAT متعددة المهام لدينا مكملة لتقطير المعرفة، وسيلة نقل المعرفة القياسية لل NAT.
في تصنيف النص عبر اللغات، يطلب من أن البيانات التدريبية الخاصة بمهام المهام في لغات مصدر عالية الموارد متوفرة، حيث تكون المهمة مطابقة لتلك لغة مستهدفة منخفضة الموارد. ومع ذلك، يمكن أن يكون جمع هذه البيانات التدريبية غير ممكنة بسبب تكلفة العلامات وخصا ئص المهام ومخاوف الخصوصية. تقترح هذه الورقة حل بديل يستخدم فقط تضييق كلمة مهمة من المهام لغات الموارد عالية الموارد وقواميس ثنائية اللغة. أولا، نبني رسم بياني غير متجانس (DHG) من القواميس ثنائية اللغة. هذا يفتح إمكانية استخدام الشبكات العصبية الرسم البيانية للتحويل عبر اللغات. التحدي المتبقي هو عدم تجانس DHG لأنه يتم النظر في لغات متعددة. لمعالجة هذا التحدي، نقترح شبكة عصبية غير متجانسة مقرها القاموس (Dhgnet) التي تعالج بفعالية عدم تجانس DHG بشكل فعال بمقدار تجميعتين، وهي مجامعات على مستوى الكلمة ومستوى اللغة. توضح النتائج التجريبية أن أسلوبنا تفوق النماذج المحددة على الرغم من أنها لا تصل إلى كورسا كبيرة. علاوة على ذلك، يمكن أن يؤدي ذلك بشكل جيد على الرغم من أن القواميس تحتوي على العديد من الترجمات غير الصحيحة. تتيح قوتها لاستخدام مجموعة واسعة من القواميس مثل القاموس المصنوع تلقائيا وقاموس التعيد الجماعي، وهو أمر مناسب لتطبيقات العالم الحقيقي.
تحليل التبعية عبر المجال غير الخاضع للإكمال هو إنجاز تكيف مجال تحليل التبعية دون استخدام البيانات المسمى في المجال المستهدف. غالبا ما تكون الأساليب الحالية من نوع التوضيح الزائفة، والتي تنشئ البيانات من خلال التوضيح الذاتي للنموذج الأساسي وأداء التدر يب التكراري. ومع ذلك، فشلت هذه الطرق في النظر في تغيير هيكل النموذج لتكييف المجال. بالإضافة إلى ذلك، لا يمكن استغلال المعلومات الهيكلية الواردة في النص بالكامل. لعلاج هذه العيوب، نقترح محلل التبعية التبعية للتكيف مع بنية دلالات (SSADP)، التي تنجز تحليلات التبعية عبر المجال غير الخاضعة للكشف دون الاعتماد على التوضيح الزائفة أو اختيار البيانات. على وجه الخصوص، نقوم بتصميم اثنين من النازعين ميزة لاستخراج الميزات الدلالية والهيكلية على التوالي. لكل نوع من الميزات، يتم استخدام طريقة تكيف الميزة المقابلة لتحقيق تكيف المجال لمواءمة توزيع المجال، والتي تعزز بشكل فعال إمكانية نقل المجال المتقاطع بشكل فعال للنموذج. نحن نقوم بالتحقق من فعالية طرازنا عن طريق إجراء تجارب على Codt1 و CTB9 على التوالي، وتظهر النتائج أن نموذجنا يمكن أن يحقق تحسين أداء ثابتا. علاوة على ذلك، نتحقق من قدرة نقل الهيكل النموذج المقترح عن طريق إدخال اختبار Weisfeiler-Lehman.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا