ترغب بنشر مسار تعليمي؟ اضغط هنا

تحرير العوامل الولادة باللغة الطبيعية مع السيارات الباخرة المنفصلة

Disentangling Generative Factors in Natural Language with Discrete Variational Autoencoders

249   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

تمثل قدرة تعلم التعلم من تمثيلات الإعجاب خطوة رئيسية لأنظمة NLP القابلة للتفسير حيث تتيح السيطرة على الميزات اللغوية الكامنة.تعتمد معظم الأساليب التي يتعرض لها DEVENTANGLEMELLEMES على المتغيرات المستمرة، سواء بالنسبة للصور والنص.نقول أنه على الرغم من أن تكون مناسبا لمجموعات بيانات الصورة، قد لا تكون المتغيرات المستمرة مثالية لميزات نموذجية للبيانات النصية، بسبب حقيقة أن معظم العوامل الإدارية في النص منفصلة منفصلة.نقترح طريقة استنادا عن السيارات التلقائية التي تتميز بها النماذج بمثابة متغيرات منفصلة وتشجع الاستقلال بين المتغيرات لتعلم تمثيلات الإعانات.يتفوق النموذج المقترح على خطوط أساسية مستمرة ومنفصلة حول العديد من المعايير النوعية والكمية لإجراءات DEVENTANGELES وكذلك على تطبيق Text Style Toystream.



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

أصبحت السيارات التلقائية النصية النصية (VAES) سيئة السمعة بالنسبة للانهيار الخلفي، وهي ظاهرة حيث يتعلم وحدة فك ترميز النموذج أن تجاهل الإشارات من التشفير.نظرا لأنه من المعروف أن الانهيار الخلفي يتم تفاقمه من خلال أجهزة فك ترميز التعبير، فقد شهدت المح ولات اعتمادا محدودا كمكون مكونات في VAES النصية.الدراسات القائمة التي تضم المحولات في مبيعات النصوص (لي وآخرون، 2020؛ فانغ وآخرون.، 2021) تخفيف الانهيار الخلفي باستخدام محاولات ضخمة، وهي تقنية غير متوفرة لمعظم مجتمع البحث دون موارد حوسبة واسعة النطاق.نقدم خطة تدريبية بسيطة من مرحلتين لتحويل محول تسلسل إلى تسلسل إلى VIE مع Finetuning فقط.النموذج اللغوي الناتج هو تنافسية مع VAES المستندة إلى المحولات بشكل كبير في بعض المقاييس الداخلية مع الوقوع على الآخرين.لتسهيل التدريب، استكشفنا بشكل شامل تأثير تقنيات تخفيف الطيام الخلفي المشترك في الأدب.نطلق سرد كودنا للاستكشاف.
نظرا لفيديو غير جذوع واستعلام لغة طبيعية، يهدف توطين فيديو اللغة الطبيعي (NLVL) إلى تحديد لحظة الفيديو الموصوفة بواسطة الاستعلام. لمعالجة هذه المهمة، يمكن تجميع الأساليب الحالية تقريبا إلى مجموعتين: 1) نماذج اقتراح ورتبة تحدد أولا مجموعة من المرشحين لحظة مصممة باليد، ثم اكتشفوا أفضل واحد مطابقة. 2) النماذج الخالية من الاقتراح تنبئ مباشرة اثنين من الحدود الزمنية لحظة المرجعية من الإطارات. حاليا، تقريبا جميع طرق الاقتراح والرتبة لها أداء أدنى أقل من نظرائها الخالية من الاقتراح. في هذه الورقة، نجادل بأن أداء نماذج الاقتراح والرسوم يتم تقليله بسبب الإصابة المحددة مسبقا: 1) من الصعب ضمان القواعد المصممة باليد التغطية الكاملة للقطاعات المستهدفة. 2) لحظات مرشح العينات كثيفة تسبب حسابا زائدة عن الحاجة ويخفض أداء عملية الترتيب. تحقيقا لهذه الغاية، نقترح نموذجا جديدا نموذج LPNET (شبكة اقتراح مقترح ل NLVL) مع مجموعة ثابتة من مقترحات اللحظات المحددة. يتم تعديل موضع وطول هذه المقترحات ديناميكيا أثناء عملية التدريب. علاوة على ذلك، تم اقتراح خسارة على علم الحدود لاستفادة من المعلومات على مستوى الإطار وأيضا تحسين الأداء. أظهرت الاعتداءات الواسعة على اثنين من معايير NLVL التحدي فعالية LPNET على الطرق الحالية من الأساليب الحالية.
يحقق نماذج اللغة التعلم المستندة عميقا (DL) أداء عال في مختلف المعايير لاستدلال اللغة الطبيعية (NLI).وفي هذا الوقت، يتلقى النهج الرمزية ل NLI اهتماما أقل.كلا النهجين (الرمزي و DL) لديهم مزاياهم وموضعاتهم.ومع ذلك، حاليا، لا توجد طريقة تجمع بينها في نظ ام لحل مهمة NLI.لدمج أساليب التعلم الرمزي والعميقة، نقترح إطار استنتاجي يسمى NeuRallog، والذي يستخدم محرك الاستدلال المنطقي على حد سواء ونموذج لغة الشبكة العصبية لمحاذاة العبارة.نماذج إطار عملنا مهمة NLI كصورة بحث كلاسيكية وتستخدم خوارزمية البحث في شعاع البحث عن مسارات الاستدلال الأمثل.تظهر التجارب أن نظامنا المشترك ومنطق الاستدلال العصبي يحسن الدقة في مهمة NLI ويمكن أن تحقق دقة حديثة على مجموعات البيانات المريضة والمتوسطة.
تمت دراسة AcoNecoders Varitional كهدوء واعد لنموذج تعيينات واحدة إلى العديد من السياق للاستجابة في توليد استجابة الدردشة.ومع ذلك، غالبا ما تفشل في تعلم التعيينات المناسبة.أحد أسباب هذا الفشل هو التناقض بين الاستجابة وأخذ عينات متغير كامنة من توزيع تق ريبي في التدريب.أخذ عينات من غير لائق للمتغيرات الكامنة عليق النماذج من بناء مساحة كامنة بتعديل.نتيجة لذلك، تتوقف النماذج عن التعامل مع عدم اليقين في المحادثات.لحل ذلك، نقترح أخذ العينات المضاربة للمتغيرات الكامنة.تختار طريقتنا الأكثر احتمالا من متغيرات كامنة العينات بشكل زمني لربط المتغير مع استجابة معينة.نحن نؤكد فعالية طريقتنا في توليد الاستجابة مع بيانات حوار هائلة مصنوعة من مشاركات تويتر.
لقد كانت معروفة منذ فترة طويلة أن Sparsity هي تحيز حثي فعال لتعلم التمثيل الفعال للبيانات في المتجهات ذات الأبعاد الثابتة، وقد تم استكشافها في العديد من مجالات التعلم التمثيل. من اهتمام خاص بهذا العمل هو التحقيق في Sparsity ضمن إطار VAE الذي تم استكش افه كثيرا في مجال الصورة، ولكنه كان يفتقر إلى مستوى الاستكشاف الأساسي في NLP. بالإضافة إلى ذلك، يتخلف NLP أيضا من حيث تعلم تمثيلات متفرق لوحدات نصية كبيرة على سبيل المثال، الجمل. نحن نستخدم VAES التي تحفز التمثيلات الكامنة المتفرقة لوحدات نصية كبيرة لمعالجة أوجه القصور المذكورة أعلاه. أولا، ننتقل في هذا الاتجاه من خلال قياس نجاح الحالة غير المعردة للدولة (SOTA) وغيرها من خطوط الأساس السريع في VAE للنص واقتراح نموذج VIE هرمي متفرق لمعالجة مشكلة الاستقرار في سوتا. بعد ذلك، ننظر إلى آثار Sparsity على تصنيف النص عبر 3 مجموعات من مجموعات البيانات، وتسليط الضوء على ارتباط بين أداء التمثيلات الكامنة المتفرعة حول مهام المصب وقدرته على تشفير المعلومات المتعلقة بالمهام.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا