ترغب بنشر مسار تعليمي؟ اضغط هنا

أبعد من الفقرات: NLP للتسلسل الطويل

Beyond Paragraphs: NLP for Long Sequences

285   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

في هذا البرنامج التعليمي، نهدف إلى إحضار الباحثين المهتمين لبرنامج NLP إلى السرعة حول التقنيات الحديثة والمستمرة لتعلم التمثيل على مستوى المستندات.بالإضافة إلى ذلك، هدفنا هو الكشف عن فرص بحثية جديدة للجمهور، والتي نأمل أن تجلبنانا أقرب إلى معالجة التحديات القائمة في هذا المجال.



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

إن استخدام CrowDWorkers في بحث NLP ينمو بسرعة، جنبا إلى جنب مع الزيادة الأسية في الإنتاج البحثي في ​​التعلم الآلي و AI. عادة ما يقتصر المناقشة الأخلاقية المتعلقة باستخدام الجمهور في مجتمع أبحاث NLP في نطاق القضايا المتعلقة بظروف العمل مثل الأجر العاد ل. نلفت الانتباه إلى عدم وجود اعتبارات أخلاقية تتعلق بالمهام المختلفة التي يقوم بها العمال، بما في ذلك وضع العلامات والتقييم والإنتاج. نجد أن القاعدة النهائية، والإطار الأخلاقي المشترك الذي يستخدمه الباحثون، لم يتوقع استخدام منصات التعهيد الجماعي عبر الإنترنت لجمع البيانات، مما أدى إلى فجوات بين روح وممارسة أخلاقيات الأشخاص البشري في أبحاث NLP. نحن تعدد السيناريوهات الشائعة التي يكون فيها crowdworkers التي يقومون بها مهام NLP معرضة لخطر الأذى. وبالتالي نوصي الباحثون بتقييم هذه المخاطر من خلال النظر في المبادئ الأخلاقية الثلاثة التي أنشأها تقرير بلمونت. ونوضح أيضا بعض المفاهيم الخاطئة المشتركة فيما يتعلق بتطبيق مجلس المراجعة المؤسسية (IRB). نأمل أن تعمل هذه الورقة على إعادة فتح المناقشة داخل مجتمعنا فيما يتعلق بالاستخدام الأخلاقي للجمهور.
ركزت البحث في NLP بشكل أساسي على الأسئلة العفوية، بهدف إيجاد طرق سريعة وموثوقة لمطابقة الاستعلام إلى إجابة.ومع ذلك، فإن الخطاب البشري ينطوي على أكثر من ذلك: أنه يحتوي على أسئلة غير قانونية منتشرة لتحقيق أهداف متتالية محددة.في هذه الورقة، نحقق في هذا الجانب السفلي من الجانب من NLP من خلال إدخال مهمة مستهدفة، وخلق كوربوس مناسب للمهمة وتوفير نماذج خط الأساس ذات الطبيعة المتنوعة.مع هذا، نحن قادرون أيضا على توليد رؤى مفيدة في المهمة وفتح الطريق للبحث في المستقبل في هذا الاتجاه.
تستكشف هذه الورقة موضوع قابلية النقل، كمنطقة فرعية تتعلق بالتعميم.من خلال اقتراح استخدام المقاييس بناء على إحصاءات راسخة، يمكننا تقدير التغيير في أداء نماذج NLP في سياقات جديدة.قد تسمح تحديد مقياس جديد لقابلية النقل بتقدير أفضل لأداء نظام NLP في مجال ات جديدة، وهو أمر بالغ الأهمية عند تقييم أداء أنظمة NLP في مهام ومجال جديدة.من خلال العديد من مثيلات التعقيد المتزايد، نوضح كيف يمكن استخدام تدابير التشابه المجال خفيف الوزن كمقرات لقابلية النقل في تطبيقات NLP.يتم تقييم تدابير النقل المقترحة في سياق التعرف على الكيان المسمى ومهام الاستدلال باللغة الطبيعية.
تحظى طرازات اللغة واسعة النطاق (LMS) في كورسورا هائلة من النص، مثل GPT-2، هي مولدات نصية مفتوحة قوية. ومع ذلك، نظرا لأن الفحص المنهجي الخاص بنا يكشف، فمن لا يزال يمثل تحديا لهذه النماذج لتوليد ممرات طويلة طويلة متماسكة من النص (على سبيل المثال، 1000 رمز)، خاصة عند ضبط النماذج بشكل جيد إلى المجال المستهدف على كائن صغير. تندرج أساليب التخطيط السابقة عند إيلاء إيناء نص طويل في المجالات المختلفة. للتغلب على القيود، نقترح طريقة بسيطة ولكنها فعالة لتوليد النص بطريقة تقدمية، مستوحاة من خلال توليد الصور من أدنى مستوى إلى دقة عالية. تقوم طريقةنا أولا بإنتاج الكلمات الرئيسية للمحتوى الخاص بالمجال ومن ثم تقوم بتطريصها تدريجيا في مقاطع كاملة في مراحل متعددة. يسمح التصميم البسيط لنهجنا الاستفادة من LMS المحدد في كل مرحلة وتكييف فعال مع أي مجال مستهدف معين فقط مجموعة صغيرة من الأمثلة. نقوم بإجراء دراسة تجريبية شاملة مع مجموعة واسعة من مقاييس التقييم، وإظهار أن نهجنا يحسن بشكل كبير على LMS الكبيرة التي تم ضبطها بشكل كبير وأساليب التخطيط والمنشدة المختلفة من حيث الجودة وكفاءة العينات. يتحقق التقييم البشري أيضا أن أجيال النماذج لدينا أكثر متماسكة.
نقدم مجموعة من المهام لدورة NLP على مستوى الدراسات العليا.تم تصميم المهام لتكون تفاعلية، قابلة للتدريج بسهولة، وإعطاء الطلاب التدريب العملي مع العديد من أنواع الهيكل الأساسي (التسلسلات، العلامات، أشجار التحليل، والأشكال المنطقية)، والبنية العصبية الح ديثة (LSTMS والمحولات)، خوارزميات الاستدلال (ديناميكيةالبرامج والبحث التقريبي) وأساليب التدريب (الإشراف الكامل والضعفاء).لقد صممنا المهام المبذولة على حد سواء تدريجيا داخل كل مهمة وعبر المهام، بهدف تمكين الطلاب من إجراء بحث على مستوى الدراسات العليا في NLP بحلول نهاية الدورة.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا