ترغب بنشر مسار تعليمي؟ اضغط هنا

ميوتييوس العصبية إعادة النظر: هل تساعد علاقات الخطاب مع النماذج المدربة مسبقا أيضا؟

Neural Methodius Revisited: Do Discourse Relations Help with Pre-Trained Models Too?

646   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

عززت التطورات الأخيرة في توليد اللغة الطبيعية (NLG) الوسائط لصالح إعادة إدخال ترميز صريح من علاقات الخطاب في المدخلات إلى النماذج العصبية. في The Methodius Corpus، تمثيل معنى (MR) منظم هرمي ويشمل علاقات الخطاب. وفي الوقت نفسه، فقد تبين أن نماذج اللغة المدربة مسبقا مسبقا تشفير المعرفة اللغوية الغنية التي توفر موردا ممتازا ل NLG. بحكم توليف هذه الخطوط الأبحاث، نقوم بإجراء تجارب مكثفة بشأن فوائد استخدام النماذج المدربة مسبقا ومعلومات علاقة الخطاب في السيدة، مع التركيز على تحسين تماسك خطاب وتصحيحه. نعيد إعادة تصميم كوربوس المنهجية؛ ونحن أيضا بناء وجبة ثياب أخرى أخرى فيها السيدة غير هي منظم بشكل هرمي ولكنها مسطحة. نبلغ عن التجارب على إصدارات مختلفة من شركة Corga، التي تحقق عند، حيث تستفيد النماذج المدربة مسبقا من السيدة مع معلومات علاقة الخطاب فيها. نستنتج أن علاقات الخطاب تحسن بشكل كبير NLG عندما تكون البيانات محدودة.



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

نقدم طريقتان رواية غير منشأة لإزالة السمية في النص.تجمع أهميتنا الأولى بين الأفكار الحديثة: (1) إرشادات عملية التوليد مع نماذج اللغة الشرطية النمطية الصغيرة و (2) استخدام نماذج إعادة الصياغة لأداء نقل النمط.نحن نستخدم أداء أداء جيدا تسترشد نماذج لغة مدربة على الطراز للحفاظ على محتوى النص وإزالة السمية.تستخدم الطريقة الثانية لدينا بيرت لاستبدال الكلمات السامة مع مرادفاتها غير الهجومية.نحن نجعل الطريقة أكثر مرونة من خلال تمكين بيرت لتحل محل الرموز القناع مع عدد متغير من الكلمات.أخيرا، نقدم أول دراسة مقارنة واسعة النطاق لنماذج نقل النمط في مهمة إزالة السمية.نقارن نماذجنا بعدد من الطرق لنقل النمط.يتم تقييم النماذج بطريقة خالية من المرجع باستخدام مزيج من مقاييس نقل النمط غير المدقق.كلتا الطريقتين نقترح أن تسفر عن نتائج سوتا الجديدة.
تم حل معايير المنطق المنطقي إلى حد كبير عن طريق نماذج لغة ضبط دقيقة. الجانب السلبي هو أن الضبط الدقيق قد يتسبب في طرح نماذج إلى البيانات الخاصة بمهام المهام وبالتالي انسوا معرفتهم المكتسبة خلال التدريب المسبق. تعمل الأعمال الحديثة فقط على اقتراح تحدي ثات نموذجية خفيفة الوزن حيث قد تمتلك النماذج بالفعل معرفة مفيدة من الخبرة السابقة، لكن التحدي لا يزال في فهم الأجزاء وإلى أي مدى يجب أن يتم تنقيح النماذج بمهمة معينة. في هذه الورقة، نقوم بالتحقيق في نماذج تتعلم من مجموعات بيانات منطق المنطقية. نقيس تأثير ثلاث طرق تكييف مختلفة عن تعميم ودقة النماذج. تظهر تجاربنا مع نماذجين أن الضبط الدقيق يؤدي بشكل أفضل، من خلال تعلم كل من المحتوى والهيكل المهمة، ولكنه يعاني من التجمع المحدود والمحدود لإجابات جديدة. نلاحظ أن طرق التكيف البديلة مثل ضبط البادئة لها دقة قابلة للمقارنة، ولكن تعميم أفضل من الإجابات غير المرئية وهي أكثر قوة لانشقاقات الخصومة.
تحقق هذه الورقة فيما إذا كانت قوة النماذج المدربة مسبقا على البيانات النصية، مثل Bert، يمكن نقلها إلى تطبيقات تصنيف تسلسل الرمز المميز.للتحقق من قابلية نقل النماذج المدربة مسبقا، نقوم باختبار النماذج المدربة مسبقا على مهام تصنيف النص مع معاني عدم تطا بق الرموز، وبيانات تصنيف تسلسل التسلسل غير المدرسي في العالم الحقيقي، بما في ذلك الحمض الأميني والحمض النووي والموسيقى.نجد أنه حتى على البيانات غير النصية، تتخطى النماذج المدربة مسبقا على النص بشكل أسرع، وأداء أفضل من النماذج ذات الادعاء بشكل عشوائي، وأسوأ قليلا فقط من النماذج باستخدام المعرفة الخاصة بمهام المهام.نجد أيضا أن تمثيل النماذج المدربة مسبقا للنصوص وغير النصية تشترك في أوجه التشابه غير التافهة.
في الآونة الأخيرة، تؤدي نماذج اللغات المدربة مسبقا مؤخرا (على سبيل المثال، بيرت متعددة اللغات) إلى المهام المتقاطعة المصب هي نتائج واعدة.ومع ذلك، فإن عملية التوصيل الدقيقة تغيرت حتما معلمات النموذج المدرب مسبقا ويضعف قدرتها على اللغات، مما يؤدي إلى أ داء فرعي الأمثل.لتخفيف هذه المشكلة، نستفيد من التعلم المستمر للحفاظ على قدرة اللغة الأصلية المتبادلة النموذجية المدربة مسبقا عندما نتنزهها إلى مهام المصب.توضح النتيجة التجريبية أن أساليبنا الراقية الخاصة بنا يمكن أن تحافظ بشكل أفضل على القدرة المتبادلة النموذجية المدربة مسبقا في مهمة استرجاع الجملة.حقق طرقنا أيضا أداء أفضل من خطوط الأساس الأخرى ذات الصقل الرصيف على علامة العلامة بين العلامات بين الكلام الصفرية عبر اللغات ومهام التعرف على الكيان المسماة.
حققت نماذج اللغة المدربة مسبقا نجاحا كبيرا على مجموعة واسعة من مهام NLP. ومع ذلك، فإن التمثيلات السياقية من النماذج المدربة مسبقا تحتوي على معلومات دلالية ومتنامية متشابكة، وبالتالي لا يمكن استخدامها مباشرة لاستخلاص مدينات جملة دلالية مفيدة لبعض المه ام. تقدم أزواج إعادة صياغة طريقة فعالة لتعلم التمييز بين الدلالات وبناء الجملة، حيث أنهم يشاركون بشكل طبيعي دلالات وغالبا ما يختلف في بناء جملة. في هذا العمل، نقدم Parabart، وهي جملة دلالية تضمين نموذج يتعلم تكديح دلالات ودليل بناء الجملة في مذكرات الجملة التي تم الحصول عليها بواسطة نماذج اللغة المدربة مسبقا. يتم تدريب PARABART على إجراء إعادة صياغة موجهة إلى بناء الجملة، استنادا إلى جملة مصدر تشترك في الدلالات مع إعادة صياغة الهدف، وشجرة تحليل تحدد بناء الجملة المستهدف. وبهذه الطريقة، يتعلم بارابارت تعليم التمثيل الدلالي والمنظمات النحوية من مدخلاتها مع تشفير منفصلة. تبين التجارب باللغة الإنجليزية أن بارابارت تتفوق على الأحكام التي تضم نماذج تضمينها على مهام التشابه الدلالي غير المعدل. بالإضافة إلى ذلك، نظير على أن نهجنا يمكن أن يؤدي إلى إزالة المعلومات النحوية بشكل فعال من تضمين الجملة الدلالية، مما يؤدي إلى متانة أفضل ضد الاختلاف النحوي على المهام الدلالية المصب.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا