ترغب بنشر مسار تعليمي؟ اضغط هنا

تطبيق حلاقة Occam في تحليل التبعية القائمة على المحولات: ما الذي يعمل، ما لا، وما هو ضروري حقا

Applying Occam's Razor to Transformer-Based Dependency Parsing: What Works, What Doesn't, and What is Really Necessary

268   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

أدت إدخال مذكرات الكلمات المحول المستندة إلى المحولات المدربين مسبقا إلى تحسينات كبيرة في دقة المحللين المستندة إلى الرسم البياني للأطر مثل التبعيات العالمية (UD). ومع ذلك، يختلف الأمر السابق في الأبعاد المختلفة، بما في ذلك اختيارهم لنماذج اللغة المدربة مسبقا وما إذا كانوا يستخدمون طبقات LSTM. مع تهدف إلى تحرير آثار هذه الخيارات وتحديد بنية بسيطة ولكنها قابلة للتطبيق على نطاق واسع، نقدم خطوات، ومحلل التبعية المستندة إلى الرسم البياني المعياري الجديد. باستخدام خطوات، نقوم بإجراء سلسلة من التحليلات على OD Corpora من مجموعة متنوعة من اللغات. نجد أن اختيار المدينات المدربة مسبقا له كبير تأثير على أداء المحلل وتحديد XLM-R كخيار قوي عبر اللغات في دراستنا. لا توفر إضافة طبقات LSTM أي فوائد عند استخدام Embeddings القائمة على المحولات. قد يؤدي إعداد إعدادات التدريب متعددة المهام إلى إخراج ميزات UD إضافية. أخذ هذه الأفكار معا، نقترح بنية ومحزين بسيطة ولكنها قابلة للتطبيق على نطاق واسع، وتحقيق نتائج جديدة من من من بين الفنون (من حيث LAS) لمدة 10 لغات مختلفة.



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

في السنوات القليلة الماضية، تم اقتراح العديد من الطرق لبناء تضمين التوطين.كان الهدف العام هو الحصول على تمثيلات جديدة تدمج المعرفة التكميلية من مختلف المدينات المدربة مسبقا مما يؤدي إلى تحسين الجودة الشاملة.ومع ذلك، تم تقييم Enterpaintings Meta-embed dings السابق باستخدام مجموعة متنوعة من الأساليب ومجموعات البيانات، مما يجعل من الصعب استخلاص استنتاجات ذات مغزى بشأن مزايا كل منهج.في هذه الورقة نقترح إطارا مشتركا موحدا، بما في ذلك المهام الجوهرية والخارجية، من أجل تقييم عادل وموضوعي لتقييم التوطين.علاوة على ذلك، نقدم طريقة جديدة لتوليد تضمين التوطين، مما يفوقن العمل السابق على عدد كبير من معايير التقييم الجوهرية.كما يتيح لنا إطار التقييم أن نستنتج أن التقييمات الخارجية السابقة للمضفة المتمثلة في المبالغة في تقديرها.
حققت أنظمة ربط الكيان (EL) نتائج مثيرة للإعجاب على المعايير القياسية بشكل أساسي بفضل التمثيلات السياقية المقدمة من نماذج اللغة المحددة مسبقا.ومع ذلك، لا تزال هذه الأنظمة تتطلب كميات ضخمة من البيانات - ملايين الأمثلة المسمى - في أفضل حالاتهم، مع أوقات تدريبية تتجاوز غالبا عدة أيام، خاصة عندما تتوفر موارد حسابية محدودة.في هذه الورقة، ننظر إلى كيفية استغلال التعرف على الكيان المسمى (ner) لتضييق الفجوة بين أنظمة EL المدربين على كميات عالية ومنخفضة من البيانات المسمى.وبشكل أكثر تحديدا، نوضح كيف وإلى أي مدى يمكن للنظام أن يستفيد نظام EL من NER لتعزيز تمثيلات كيانه، وتحسين اختيار المرشح، وحدد عينات سلبية أكثر فعالية وفرض قيود صلبة وناعمة على كيانات الإخراج.نطلق سراح البرامج ونقاط التفتيش النموذجية - في https://github.com/babelscape/ner4el.
يلخص الحوار يساعد القراء على التقاط المعلومات البارزة من محادثات طويلة في الاجتماعات والمقابلات والمسلسلات التلفزيونية. ومع ذلك، فإن حوالات العالم الحقيقي تشكل تحديا كبيرا لنماذج التلخيص الحالية، حيث يتجاوز طول الحوار عادة حدود المدخلات التي تفرضها ا لنماذج المدربة مسبقا القائمة على المحولات، والطبيعة التفاعلية للحوالات هي المعلومات ذات الصلة أكثر تعتمد على السياق وقدر موزعة من المقالات الإخبارية. في هذا العمل، نقوم بإجراء دراسة شاملة حول تلخيص الحوار الطويل من خلال التحقيق في ثلاث استراتيجيات للتعامل مع مشكلة الإدخال المطول وتحديد موقع المعلومات ذات الصلة: (1) نماذج المحولات الموسعة مثل Longformer، (2) استرداد نماذج خط أنابيب العديد من طرق استرجاع الحوار النطق، و (3) نماذج ترميز الحوار الهرمي مثل HMNet. نتائجنا التجريبية على ثلاث مجموعات بيانات حوار طويلة (QMSUM، MediaSum، Searscreen) تبين أن نماذج خط أنابيب الاسترداد - بعد ذلك، تسفر عن أفضل أداء. نوضح أيضا أنه يمكن تحسين جودة الملخص مع نموذج استرجاع أقوى وأحيث محاكاة بيانات الملخصات الخارجية المناسبة.
أظهرت السنوات الأخيرة تطورات سريعة في مجال تعلم الجهاز متعدد الوسائط، والجمع بين الأمراء على سبيل المثال، الرؤية والنصوص أو الكلام.في هذه الورقة الموضع، نوضح كيف يستخدم الحقل التعريفات القديمة متعددة الوسائط التي تثبت عصر التعلم الآلي.نقترح تعريف مهم ة جديدة للعمليات النسبية (متعددة) في سياق تعلم الآلة متعددة الوسائط التي تركز على التمثيلات والمعلومات ذات الصلة بمهمة تعليمية آلات معينة.من خلال تعريفنا الجديد لعدة التعددية، نهدف إلى تقديم مؤسسة مفقودة لأبحاث متعددة الوسائط، وهو عنصر مهم من التأريض اللغوي ومعالم حاسمة تجاه NLU.
كانت أدوات معالجة اللغة الطبيعية والموارد قد تم إنشاؤها بشكل أساسي وتدريبها بشكل أساسي على أنواع اللغات القياسية.في الوقت الحاضر، مع استخدام كميات كبيرة من البيانات التي تم جمعها من وسائل التواصل الاجتماعي، تحتاج إلى معالجة الأصناف والتسجيلات الأخرى، والتي قد تقدم تحديات وصعوبات أخرى.في هذا العمل، نركز على اللغة الإنجليزية ونقدم تحليلا أوليا من خلال مقارنة كوربوس Twitteraae، المشروح للعرق، و Wordnet عن طريق تحديد وشرح اللغة عبر الإنترنت التي تفتقدها WordNet.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا