ترغب بنشر مسار تعليمي؟ اضغط هنا

على طبقات التصنيف العشوائية وآثارها في توليد اللغة الطبيعية

On Randomized Classification Layers and Their Implications in Natural Language Generation

684   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

في مهام توليد اللغة الطبيعية، يتم استخدام نموذج لغة عصبي لتوليد سلسلة من الكلمات التي تشكل جملة.يمكن اعتبار مصفوفة الوزن الأعلى من طراز اللغة، المعروف باسم طبقة التصنيف، كمجموعة من المتجهات، كل منها يمثل كلمة مستهدفة من قاموس الهدف.يتم تعلم ومكافحة الكلمات المستهدفة، إلى جانب بقية المعلمات النموذجية، أثناء التدريب.في هذه الورقة، نقوم بتحليل الممتلكات المشفرة في المتجهات المستهدفة والسؤال على ضرورة تعلم هذه المتجهات.نقترح تعيين ناقلات المستهدفة بشكل عشوائي وتحديدها على أنها ثابتة حتى يتم إجراء تحديثات للأوزان أثناء التدريب.نظهر أنه من خلال استبعاد ناقلات التحسين، ينخفض عدد المعلمات بشكل كبير مع تأثير هامشي على الأداء.نوضح فعالية طريقتنا في التسمية التوضيحية للصورة والترجمة الآلية.



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

نسأل الموضوعات سواء كانوا ينظرون إلى وجود مجموعة من النصوص، وبعضها مكتوب بالفعل، في حين يتم إنشاء آخرين تلقائيا.نحن نستخدم هذه البيانات لضبط نموذج GPT-2 لدفعه لتوليد المزيد من النصوص التي يشبه الإنسان، ومراقبة أن هذا النموذج الذي تم ضبطه بشكل جيد ينت ج نصا يشوه بالفعل أكثر من النموذج الأصلي.سيحري، نظهر أن استراتيجية التقييم التلقائي لدينا ترتبط جيدا بأحكام بشرية.كما ندير تحليل لغوي تكشف عن خصائص اللغة التي تتسم بها الإنسان.
إن ظهور التعلم العميق وتوافر مجموعات البيانات الكبيرة على نطاق واسع قد تسريع البحوث حول توليد اللغة الطبيعية مع التركيز على المهام الأحدث والنماذج الأفضل. مع تقدم سريع هذا، من الضروري تقييم مدى التقدم العلمي المحرز وتحديد المجالات / المكونات التي تحت اج إلى تحسين. لإنجاز ذلك بطريقة تلقائية وموثوقة، اتبع مجتمع NLP بنشاط تطوير مقاييس التقييم التلقائي. خاصة في السنوات القليلة الماضية، كان هناك تركيز متزايد على مقاييس التقييم، مع العديد من الانتقادات للمقاييس والمقترحات الحالية لعدة مقاييس جديدة. يقدم هذا البرنامج التعليمي تطور مقاييس التقييم التلقائي إلى حالتها الحالية إلى جانب الاتجاهات الناشئة في هذا المجال من خلال معالجة الأسئلة التالية على وجه التحديد: (I) ما الذي يجعل تقييم NLG صعبة؟ (2) لماذا نحتاج إلى مقاييس التقييم التلقائي؟ (3) ما هي مقاييس التقييم التلقائية الحالية وكيف يمكن تنظيمها في تصنيف متماسك؟ (4) ما هي الانتقادات وأوجه القصور في المقاييس الموجودة؟ (5) ما هي الاتجاهات المستقبلية المحتملة للبحث؟
يشكل جيل النص المخصب المعرفي تحديات فريدة من نوعها في النمذجة والتعلم، مما يدفع البحوث النشطة في العديد من الاتجاهات الأساسية، بدءا من النمذجة المتكاملة للتمثيل العصبي والمعلومات الرمزية في الهياكل التسلسلية / الهرمية / الهرمية، والتعلم دون إشراف مبا شر بسبب تكلفة الهيكلالتعليق التوضيحي، والتحسين الفعال والاستدلال مع قيود هائلة وعالمية، على أساس اللغة على طرائق متعددة، والمنطق الاسليمي مع المعرفة المنطقية الضمنية ومعرفة الخلفية.في هذا البرنامج التعليمي، سنقدم خريطة طريق لتشكيل الأساليب الحديثة لمعالجة هذه التحديات في هذه المشكلة المتطورة.سنغمر عميقا في مكونات تقنية مختلفة: كيفية تمثيل المعرفة، وكيفية إطعام المعرفة في نموذج الجيل، وكيفية تقييم نتائج الجيل، وما هي التحديات المتبقية؟
نقترح نهجا لاختبار الأصالة تلقائيا في مهام الجيل حيث توجد أي تدابير تلقائية قياسية موجودة.يتناول اقتراحنا الاستخدامات الأصلية للغة، وليس بالضرورة الأفكار الأصلية.نحن نقدم خوارزمية لنهجنا وتحليل وقت التشغيل.الخوارزمية، التي تجد جميع الشظايا الأصلية في كوربوس في الحقيقة الأرضية ويمكن أن تكشف ما إذا كانت هناك نسخ جزء أصلي بدون إسناد، لديه تعقيد وقت التشغيل Theta (NLGON) حيث N هو عدد الجمل في الأرضحقيقة.
نحن نقدم جوهرة، معيار معيشة لتوليد اللغة الطبيعية (NLG)، تقييمه، ومقاييسه.تعتمد التقدم المحرز في NLG على نظام بيئي متطور باستمرار للمقاييس الآلية ومجموعات البيانات ومعايير التقييم البشري.نظرا لهذا الهدف المتحرك، لا تزال هناك نماذج جديدة غالبا ما لا ت زال تقيمت في ولاية شركات الأنجلو المتداخلة مع مقاييس راسخة ولكنها معيبة ومقاييس.هذا الفصل يجعل من الصعب تحديد قيود النماذج والفرص الحالية للتقدم.تعالج GEM في معالجة هذه القيد هذه بيئة يمكن فيها تطبيق النماذج التي يمكن فيها تطبيقها بسهولة على مجموعة واسعة من المهام والتي يمكن اختبار استراتيجيات التقييم فيها.سيؤدي تحديثات منتظمة إلى المعيار إلى مساعدة أبحاث NLG على تصبح أكثر تعددا متعددة اللغات وتتطور التحدي إلى جانب النماذج.تعمل هذه الورقة كوصف للبيانات المهمة المشتركة 2021 في ورشة عمل GEM المرتبطة.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا