عادة ما يتم تدريب النماذج العصبية الأكاديمية لدقة COMERASE (COREF) على مجموعة بيانات واحدة، ويتم قياس التحسينات النموذجية في نفس مجموعة البيانات.ومع ذلك، تعتمد تطبيقات COREF العالمية في العالم الحقيقي على المبادئ التوجيهية التوضيحي ومجال مجموعة البيا
نات المستهدفة، والتي تختلف غالبا عن تلك الموجودة في أونتونو.نحن نهدف إلى تحديد قابلية تحويل نماذج COREF بناء على عدد المستندات المشروح المتوفرة في مجموعة البيانات المستهدفة.نحن ندرس أحد عشر مجموعة بيانات مستهدفة ونتطلع إلى أن التدريب المستمر فعال باستمرار وفائدة بشكل خاص عندما تكون هناك عدد قليل من المستندات المستهدفة.نحن نؤسس معايير جديدة في العديد من مجموعات البيانات، بما في ذلك النتائج الحديثة على Preco.
بصرف النظر عن نجاح نهج تعلم النطاق المختلط في مجال التعلم العميق لحل المهام المختلفة لمعالجة اللغة الطبيعية، فإنه لا يقرض حل جماعيا للكشف عن المعلومات الخاطئة من بيانات وسائل التواصل الاجتماعي CovID-19. نظرا للتعقيد المتأصل من هذا النوع من البيانات،
الناجمة عن ديناميك (سياقه يتطور بسرعة)، ذات الطابع الدقيق (أنواع الخائن غير غامضة في كثير من الأحيان)، ومتنوعة (الفئات المنحيحة، المحبوسة والتداخل) الطبيعة، من الضروري نموذج فعال لالتقاط كل من السياق المحلي والعالمي للمجال المستهدف. من خلال إجراء تحقيق منهجي، نظهر أن: (1) النماذج المدربة مسبقا مسبقا للمحولات العميقة، المستخدمة عبر تعلم نقل المجال المختلط، جيدة فقط في التقاط السياق المحلي، وبالتالي تظهر تعميم ضعيف، و (2) يمكن أن يستخرج مزيج من النماذج الضحلة المستندة إلى الشبكة والشبكات العصبية التنافسية السياق محليا بالإضافة إلى السياق بشكل فعال بالإضافة إلى البيانات المستهدفة بطريقة هرمية بطريقة هرمية، مما يتيح من تقديم حل أكثر تعميما.
حققت نماذج اللغة المرجعة متعددة اللغات متعددة اللغات مؤخرا أداءا ملحوظا عن الصفر، حيث يتم تقسيم النموذج فقط في لغة مصدر واحدة وتقييمها مباشرة على اللغات المستهدفة.في هذا العمل، نقترح إطارا للتعليم الذاتي الذي يستخدم البيانات غير المستهدفة من اللغات ا
لمستهدفة، بالإضافة إلى تقدير عدم اليقين في هذه العملية لتحديد ملصقات فضية عالية الجودة.يتم تكييف وثلاثة أوجه عدم اليقين الثلاثة وتحليلها خصيصا للتحويل اللغوي الصليب: لغة عدم اليقين المتنوعة من اللغة (LEU / LOU)، عدم اليقين الواضح (EVI).نقوم بتقييم إطار عملنا مع عدم اليقين على مهمتين متوقعتين بما في ذلك التعرف على الكيانات المسماة (NER) والاستدلال اللغوي الطبيعي (NLI) (NLI) (NLI) (NLI) تغطي 40 لغة في المجموع، والتي تتفوق على خطوط الأساس بشكل كبير بمقدار 10 F1 من دقة NLI.
نحن ندرس تصنيف التفضيل المقارن (CPC) الذي يهدف إلى التنبؤ بما إذا كان مقارنة الأفضلية موجودة بين كيانين في عقوبة معينة، وإذا كان الأمر كذلك، فهذا، يفضل الكيان على الآخر. يمكن أن نماذج CPC عالية الجودة تستفيد بشكل كبير تطبيقات مثل السؤال المقارن الرد
التوصية القائمة على المراجعة. من بين الأساليب الحالية، تعاني أساليب التعلم غير العميقة من أداء أدنى. الرسم البياني لحديث الحديث في الشبكة العصبية المستندة إلى الشبكة (ما، و 2020) يعتبر فقط المعلومات النحوية مع تجاهل العلاقات الدلالية الحاسمة والمشاعر إلى الكيانات المقارنة. نقترح أن نقترح تحليل المعنويات الشبكة المقارنة المعززة (Saecon) الذي يحسن دقة الحزب الشيوعي الصيني مع محلل معنويات يتعلم المشاعر إلى الكيانات الفردية عبر نقل المعرفة التكيفية المجال. يجري التجارب على مجموعة بيانات Compsent-19 (Panchenko et al.، 2019) تحسنا كبيرا على درجات F1 على أفضل طرق CPC الحالية.
تهدف نقل النمط إلى إعادة كتابة نص مصدر بأسلوب مستهدف مختلف مع الحفاظ على محتواها. نقترح نهجا جديدا لهذه المهمة التي تنفد على الموارد العامة، ودون استخدام أي بيانات متوازية (الهدف - المستهدفة (المصدر) تفوقت على النهج الموجودة غير المنشورة على مهام نقل
النمط الأكثر شعبية: نقل الشكليات ومبادلة القطبية. في الممارسة العملية، نعتمد إجراء متعدد الخطوات الذي يبني على نموذج تسلسل تسلسل مسبقا عام (BART). أولا، نقوم بتعزيز قدرة النموذج على إعادة الكتابة عن طريق مزيد من الردف ما قبل التدريب على كل من مجموعة موجودة من الصيارات العامة، وكذلك على أزواج الاصطناعية التي تم إنشاؤها باستخدام مورد مجمع للأغراض العامة. ثانيا، من خلال نهج الترجمة مرة أخرى تكرارية، نقوم بتدريب نماذجين، كل منها في اتجاه نقل، حتى يتمكنوا من توفير بعضهم البعض مع أزواج توليد مزخرف، ديناميكيا في عملية التدريب. أخيرا، ندعنا نطاطنا الناتج لدينا تولد أزواجا صناعية ثابتة لاستخدامها في نظام تدريبي مشترك. إلى جانب المنهجية والنتائج الحديثة، فإن المساهمة الأساسية لهذا العمل هي انعكاس على طبيعة المهامتين التي نتعامل معها، وكيف يتم تمييز اختلافاتهم عن طريق ردهم على نهجنا.
يعاني العمل السابق على علاقة Crosslingual واستخراج الأحداث (REE) من قضية التحيز أحادي الأحادي بسبب تدريب النماذج على بيانات اللغة المصدر فقط. تتمثل نهج التغلب على هذه المسألة في استخدام البيانات غير المستهلكة في اللغة المستهدفة لمساعدة محاذاة تمثيلات
crosslingual، أي عن طريق خداع تمييز لغة. ومع ذلك، نظرا لأن هذا النهج غير بشرط على معلومات الفصل، فإن مثال لغوي مستهدف يمكن أن يتماشى بشكل غير صحيح إلى مثال لغة مصدر لفئة مختلفة. لمعالجة هذه المشكلة، نقترح طريقة محاذاة Crosslingual الجديدة التي ترفد معلومات الفئة من مهام REE لتعلم التمثيل. على وجه الخصوص، نقترح تعلم نسختين من ناقلات التمثيل لكل فصل في مهمة ري بناء على أمثلة اللغة أو الهدف المستهدف. سيتم بعد ذلك محاذاة ناقلات التمثيل للفصول المقابلة لتحقيق محاذاة علم الفئة للتمثيلات crosslingual. بالإضافة إلى ذلك، نقترح مواصلة مواءمة مقالات التمثيل لفئات الكلمات العالمية للألوج (أي أجزاء من العلاقات بين الكلام والاعتماد). على هذا النحو، يتم تقديم آلية تصفية جديدة لتسهيل تعلم تمثيلات فئة Word من تمثيلات السياق على نصوص الإدخال بناء على التعلم المشددي. نقوم بإجراء تجارب متشددة واسعة النطاق مع اللغة الإنجليزية والصينية والعربية على مهام ري. توضح النتائج فوائد الطريقة المقترحة التي تقدم بشكل كبير الأداء الحديث في هذه الإعدادات.
اقترح مجتمع البحث تعديلات غزيرة على بنية المحولات منذ تقديمها منذ أكثر من ثلاث سنوات، قلة قليلة نسبيا والتي شهدت اعتماد واسع النطاق.في هذه الورقة، نقوم بتقييم العديد من هذه التعديلات بشكل شامل في بيئة تجريبية مشتركة تغطي معظم الاستخدامات المشتركة للم
حول في معالجة اللغة الطبيعية.من المستغرب، نجد أن معظم التعديلات لا تحسن بشكل مفيد الأداء.علاوة على ذلك، تم تطوير معظم المتغيرات المحولات التي وجدناها مفيدة في نفس الكود التي استخدمناها أو أنها تغييرات طفيفة نسبيا.نحن نقم التخمين أن تحسينات الأداء قد تعتمد بشدة على تفاصيل التنفيذ وتقديم بعض التوصيات في المقابل لتحسين عمومية النتائج التجريبية.
تحدث نماذج لغة متعددة اللغات بدقة مثيرة للإعجاب بدقة في العديد من اللغات في مهام معقدة مثل الاستدلال اللغوي الطبيعي (NLI).غالبا ما تتعلق أمثلة في المهام المعقدة المكافئة (وما يعادلها) أنواعا مختلفة من المهام الفرعية، والتي تتطلب أنواعا مختلفة من التف
كير.لقد أثبتت أنواع معينة من التفكير أكثر صعوبة في التعلم في سياق أحادي الأونلينغ، وفي السياق crosslingual، قد تسليف الملاحظات المماثلة الضوء على كفاءة نقل صفرية ومختيار عينة قليلة.وبالتالي، للتحقيق في آثار أنواع المنطق في أداء النقل، نقترح مجموعة بيانات NLI متعددة اللغات متعددة الفئات ومناقشة التحديات اللازمة لتوسيع نطاق التعليقات التوضيحية أحادية الأونلينغ إلى لغات متعددة.نلاحظ إحصائيا تأثيرات مثيرة للاهتمام أن التقاء أنواع المنطق وأشابه لغة لها على أداء نقل.
ينطوي تحليل المعنويات المستندة إلى جانب الجسیلاء بشكل أساسي على ثلاث مجموعات فرعية: استخراج الأجل في الجانب، واستخراج الأجل رأي، وتصنيف المعنويات على مستوى الجانب، والذي يتم التعامل معه عادة بطريقة منفصلة أو مشتركة. ومع ذلك، فإن النهج السابقة لا تستغ
ل العلاقات التفاعلية بين ثلاث مجموعات فرعية ولا تستفيد بشكل متفيد على مستوى الوثيقة / المعروفة المسمى المسمى المستندات المتوفرة بسهولة، مما يقيد أدائه. لمعالجة هذه المشكلات، نقترح شبكة نقل المعرفة متعددة المعرفة متعددة الرواية (IMKTN) ل AND-LITE ABSA. لشيء واحد، من خلال الارتباطات التفاعلية بين المهن الفرعية ABASA، تقوم IMKTN بتحويل المعرفة الخاصة بمهام المهام من أي اثنين من المهام الفرعية الثلاثة إلى واحدة أخرى على مستوى الرمز المميز من خلال الاستفادة من خوارزمية التوجيه المصممة جيدا، أي أي اثنين من سيساعد المهن الفرعية الثلاثة الثالث. بالنسبة لآخر، تقوم IMKTN بتحويل المعرفة على مستوى المستند، I.E.، المعرفة ذات الصلة بالمجال والمعنويات، إلى التسكال الفرعية على مستوى الجانب لتعزيز الأداء المقابل. النتائج التجريبية على ثلاثة مجموعات بيانات معيار توضح فعالية وتفوق نهجنا.
أدت تقنيات الاحتجاج بالاستفادة من مجموعات البيانات الهائلة تقدم التطورات الأخيرة في تلخيص النص.في حين أن التفسيرات الشعبية تشير إلى أن تحويل المعرفة تحتفظ بمزايا الاحتجاط، فإن القليل معروف عن سبب عمله أو ما الذي يجعل مهمة محتملة أو مجموعة بيانات مناس
بة.في هذه الورقة، نتحدى قصة نقل المعرفة، مما يدل على أن الاحيلية على المستندات التي تتألف من حرف N-gram المحدد عشوائيا، يمكننا أن نتطابق تقريبا من أداء النماذج المحددة على الفورورا الحقيقية.هذا العمل يحمل وعد بالقضاء على upstream corpora، والتي قد تخفف بعض المخاوف بشأن لغة مسيئة، التحيز، وقضايا حقوق الطبع والنشر.لمعرفة ما إذا كانت الفائدة الصغيرة المتبقية لاستخدام البيانات الحقيقية يمكن أن يتم حسابها من قبل هيكل مهمة محتملة، نقوم بتصميم العديد من المهام التي تحفزها دراسة نوعية لعلمة كورسا.ومع ذلك، فإن هذه المهام تمنح أي فائدة ملموسة، مما يترك فتح إمكانية دور صغير لنقل المعرفة.
