ترغب بنشر مسار تعليمي؟ اضغط هنا

تعلم جداول تكبير البيانات لمعالجة اللغة الطبيعية

Learning Data Augmentation Schedules for Natural Language Processing

835   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

على الرغم من كفاءتها المثبتة في المجالات الأخرى، فإن تكبير البيانات أقل شعبية في سياق معالجة اللغة الطبيعية (NLP) بسبب تعقيدها ونتائج محدودة.أظهرت دراسة حديثة (Longpre et al.، 2020) على سبيل المثال أن تعزز بيانات المهمة غير المرغوية تفشل في تعزيز أداء المحولات مسبقا حتى في أنظمة البيانات المنخفضة.في هذه الورقة، نحقق في ما إذا كان جدولة التكبير التي يحركها البيانات وإدماج مجموعة أوسع من التحولات يمكن أن تؤدي إلى تحسين الأداء حيث كانت السياسات الثابتة والمحدودة غير ناجحة.تشير نتائجنا إلى أنه، في حين أن هذا النهج يمكن أن يساعد عملية التدريب في بعض الإعدادات، فإن التحسينات غير صحيحة.هذه النتيجة السلبية تهدف إلى مساعدة الباحثين فهم أفضل قيود تكبير البيانات من أجل NLP.



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

نظرا لقوتها العظيمة في النمذجة البيانات غير الإقليدية مثل الرسوم البيانية أو الفتحات، فقد فتحت التعلم العميق على تقنيات الرسم البياني (I.E.، Graph Newerations Nearials (GNNS)) باب جديد لحل مشاكل NLP ذات الصلة بالرسوم البيانية الصعبة. لقد شهدت زيادة ا لمصالح في تطبيق التعلم العميق على تقنيات الرسم البياني إلى NLP، وقد حققت نجاحا كبيرا في العديد من مهام NLP، بدءا من مهام التصنيف مثل تصنيف الجملة، ووضع العلامات الدلالية الدلالية واستخراج العلاقات، إلى مهام التوليد مثل الترجمة الآلية، والسؤال توليد وتلخيص. على الرغم من هذه النجاحات، لا تزال التعلم العميق على الرسوم البيانية ل NLP لا يزال العديد من التحديات، بما في ذلك تحويل بيانات تسلسل النص الأصلي تلقائيا إلى بيانات منظم بياني للغاية، والبيانات المعقدة النمذجة بشكل فعال تتضمن تعيين بين المدخلات المستندة إلى الرسم البياني وبيانات الإخراج غير المنظمة الأخرى تسلسل، الأشجار، وبيانات الرسم البياني مع أنواع متعددة في كل من العقد والحواف. سيتغطي هذا البرنامج التعليمي مواضيع ذات صلة ومثيرة للاهتمام على تطبيق التعلم العميق على تقنيات الرسم البياني إلى NLP، بما في ذلك بناء الرسم البياني التلقائي ل NLP، وتمثيل الرسوم البياني تعلم النماذج القائمة على NLP، والمخططات المتقدمة GNN (على سبيل المثال، Graph2Seq و Graph2Tree و Graph2Graph) ل NLP تطبيقات GNNS في مهام NLP المختلفة (مثل الترجمة الآلية، وتوليد اللغة الطبيعية، واستخراج المعلومات والتحليل الدلالي). بالإضافة إلى ذلك، سيتم تضمين جلسات التدريب العملي للتطبيق العملي لمساعدة الجمهور على زيادة الخبرة العملية في تطبيق GNNS لحل مشاكل NLP الصعبة باستخدام مكتبة المصدر المفتوحة التي تم تطويرها مؤخرا - Graph4NLP، أول مكتبة للباحثين والممارسين لسهولة الاستخدام من GNNS مهام NLP المختلفة.
يتم الاتفاق بشكل عام في مجتمع معالجة اللغة الطبيعية (NLP) على أنه ينبغي دمج الأخلاقيات في أي منهج.إدراك وفهم المفاهيم الأساسية ذات الصلة هو شرط أساسي فيما يتعلق بالمشاركة والمشاركة في الخطاب على NLP الأخلاقية.نقدم هنا مواد تعليمية جاهزة في شكل شرائح وتمارين عملية على القضايا الأخلاقية في NLP، والتي تهدف في المقام الأول إلى دمجها في دورات تمهيدية أو دورات اللغويات الحسابية الحسابية.من خلال جعل هذه المواد متاحة بحرية، نهدف إلى خفض العتبة لإضافة الأخلاق إلى المنهج الدراسي.نأمل أن تتيح زيادة الوعي الطلاب من تحديد السلوك غير الأخلاقي المحتمل.
نقدم مجموعة أدوات مفتوحة المصدر لمعالجة اللغة الطبيعية الدنماركية، مما يتيح سهولة الوصول إلى أحدث التطورات الدنماركية ل NLP.يتميز مجموعة الأدوات بوظائف المجمع لتحميل النماذج ومجموعات البيانات بطريقة موحدة باستخدام أطر NLP لجهة خارجية.تم تطوير مجموعة الأدوات لتعزيز بناء المجتمع وفهم الحاجة من تقاسم الصناعة والمعرفة.كمثال على ذلك، نقدم تغريدات غاضبة: لعبة توضيحي لإنشاء وعي NLP الدنماركي وخلق مجموعة بيانات جديدة مشروحة معنويات.
يتغير مجال معالجة اللغة الطبيعية (NLP) بسرعة، مما يتطلب عروض الدورة التدريبية للتكيف مع تلك التغييرات، و NLP ليس فقط لعلماء الكمبيوتر؛إنه مجال يجب أن يكون متاحا لأي شخص لديه خلفية كافية.في هذه الورقة، أشرح كيف يمكن إعداد الطلاب الذين لديهم خلفيات علو م الكمبيوتر وعلوم البيانات جيدا لدورة NLP الشعبة العليا في جامعة ولاية كبيرة.تغطي الدورة نظرية الاحتمالات ونظرية المعلومات، واللطاقات الأولية، والآلة والتعلم العميق، مع محاولة لتحقيق التوازن بين الأفكار والمفاهيم النظرية مع التطبيقات العملية.أشرح أهداف الدورة والمواضيع والواجبات، والتفكير في التعديلات على الدورة خلال السنوات الأربع الماضية، وكذلك ردود الفعل من الطلاب.
غالبا ما يتحلل ترجمة لغة الإشارة (SLT) في التعرف على الفيديو إلى اللمعان والترجمة النصية إلى النص، حيث يكون اللمعان سلسلة من الكلمات اللغوية الموضحة باللغة المنطوقة بالترتيب الذي يتم فيه توقيعه.نحن نركز هنا على الترجمة اللامع إلى النص، والتي نعلمها ك مشكلة ترجمة آلية منخفضة الموارد (NMT).ومع ذلك، على عكس المورد المنخفض التقليدي NMT، تختلف الترجمة من اللمعان إلى النص لأن أزواج النص اللامع في كثير من الأحيان تحتوي على تداخل معجمي أعلى وانخفاض التداخل النحوي أقل من أزواج اللغات المنطوقة.نستفصل هذا التداخل المعجمي والتعامل مع الاختلاف النحوي عن طريق اقتراح اثنين من الاستدلال المستندة إلى القواعد التي تولد أزواج نصية متوازية من النصوص الزائفة من نص اللغة المنطوقة غير المنطوقة.من خلال التدريب المسبق على هذه البيانات الاصطناعية، نحسن الترجمة من لغة الإشارة الأمريكية (ASL) إلى لغة الإشارة الإنجليزية والألمانية إلى الألمانية بنسبة تصل إلى 3.14 و 2.20 بلو، على التوالي.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا