نحن ندرس تصنيف التفضيل المقارن (CPC) الذي يهدف إلى التنبؤ بما إذا كان مقارنة الأفضلية موجودة بين كيانين في عقوبة معينة، وإذا كان الأمر كذلك، فهذا، يفضل الكيان على الآخر. يمكن أن نماذج CPC عالية الجودة تستفيد بشكل كبير تطبيقات مثل السؤال المقارن الرد
التوصية القائمة على المراجعة. من بين الأساليب الحالية، تعاني أساليب التعلم غير العميقة من أداء أدنى. الرسم البياني لحديث الحديث في الشبكة العصبية المستندة إلى الشبكة (ما، و 2020) يعتبر فقط المعلومات النحوية مع تجاهل العلاقات الدلالية الحاسمة والمشاعر إلى الكيانات المقارنة. نقترح أن نقترح تحليل المعنويات الشبكة المقارنة المعززة (Saecon) الذي يحسن دقة الحزب الشيوعي الصيني مع محلل معنويات يتعلم المشاعر إلى الكيانات الفردية عبر نقل المعرفة التكيفية المجال. يجري التجارب على مجموعة بيانات Compsent-19 (Panchenko et al.، 2019) تحسنا كبيرا على درجات F1 على أفضل طرق CPC الحالية.
في حين أن مجال نقل النمط (ST) ينمو بسرعة، فقد أعاقه بعدم وجود ممارسات موحدة للتقييم التلقائي.في هذه الورقة، نقوم بتقييم المقاييس التلقائية الرائدة على المهمة التي تم بحثها عن نقل أسلوب الأشكال.على عكس التقييمات السابقة، التي تركز فقط على اللغة الإنجل
يزية فقط، فإننا نوسع تركيزنا على البرتغالية البرازيلية والفرنسية والإيطالية، مما يجعل هذا العمل أول تقييم متعدد اللغات للمقاييس في القديس.نحن نخوض أفضل الممارسات للتقييم التلقائي في نقل النمط (الشكلية) وتحديد العديد من النماذج التي ترتبط بشكل جيد مع الأحكام البشرية وهي قوية عبر اللغات.نأمل أن يساعد هذا العمل في تسريع التطوير في القديس، حيث يكون التقييم البشري غالبا ما يكون تحديا لجمعه.
تهدف نقل النمط إلى إعادة كتابة نص مصدر بأسلوب مستهدف مختلف مع الحفاظ على محتواها. نقترح نهجا جديدا لهذه المهمة التي تنفد على الموارد العامة، ودون استخدام أي بيانات متوازية (الهدف - المستهدفة (المصدر) تفوقت على النهج الموجودة غير المنشورة على مهام نقل
النمط الأكثر شعبية: نقل الشكليات ومبادلة القطبية. في الممارسة العملية، نعتمد إجراء متعدد الخطوات الذي يبني على نموذج تسلسل تسلسل مسبقا عام (BART). أولا، نقوم بتعزيز قدرة النموذج على إعادة الكتابة عن طريق مزيد من الردف ما قبل التدريب على كل من مجموعة موجودة من الصيارات العامة، وكذلك على أزواج الاصطناعية التي تم إنشاؤها باستخدام مورد مجمع للأغراض العامة. ثانيا، من خلال نهج الترجمة مرة أخرى تكرارية، نقوم بتدريب نماذجين، كل منها في اتجاه نقل، حتى يتمكنوا من توفير بعضهم البعض مع أزواج توليد مزخرف، ديناميكيا في عملية التدريب. أخيرا، ندعنا نطاطنا الناتج لدينا تولد أزواجا صناعية ثابتة لاستخدامها في نظام تدريبي مشترك. إلى جانب المنهجية والنتائج الحديثة، فإن المساهمة الأساسية لهذا العمل هي انعكاس على طبيعة المهامتين التي نتعامل معها، وكيف يتم تمييز اختلافاتهم عن طريق ردهم على نهجنا.
لقد ظهرت وحدات محول كوسيلة فعالة من المعلمات لتخصص التشفير المسبق على المجالات الجديدة. استفادت محولات متعددة اللغات بشكل كبير (MMTS) بشكل خاص من التدريب الإضافي للمحولات الخاصة باللغة. ومع ذلك، فإن هذا النهج ليس قابلا للتطبيق بالنسبة للغالبية العظمى
من اللغات، بسبب القيود في حجم الشقوق أو حساب الميزانيات. في هذا العمل، نقترح جنون G (جيل محول متعدد اللغات)، الذي يولد محولات لغة محلية من تمثيلات اللغة بناء على الميزات النموذجية. على عكس العمل السابق، يتيح نهجنا المجنون بوقتنا وفعال الفضاء (1) تبادل المعرفة اللغوية عبر اللغات و (2) استنتاج صفرية عن طريق توليد محولات لغة للغات غير المرئية. نحن نقيم بدقة جنون G في النقل الصفر - نقل عبر اللغات على علامة جزء من الكلام، وتحليل التبعية، والاعتراف كيان المسمى. أثناء تقديم (1) تحسين كفاءة ضبط الدقيقة (1) من خلال عامل حوالي 50 في تجاربنا)، (2) ميزانية معلمة أصغر، و (3) زيادة تغطية اللغة، لا تزال جنون جي تنافسية مع أساليب أكثر تكلفة للغة تدريب محول محدد في جميع اللوحة. علاوة على ذلك، فإنه يوفر فوائد كبيرة لغات الموارد المنخفضة، لا سيما في مهمة NER في لغات أفريقية منخفضة الموارد. أخيرا، نوضح أن أداء نقل جنون جي يمكن تحسينه عبر: (1) التدريب متعدد المصادر، أي، من خلال توليد ومجتمعة محولات لغات متعددة مع بيانات التدريب الخاصة بمهام المهام المتاحة؛ و (2) عن طريق مزيد من ضبط محولات جنون G للغات ولغات مع بيانات أحادية الأونلينغ.
حققت نماذج اللغة المرجعة متعددة اللغات متعددة اللغات مؤخرا أداءا ملحوظا عن الصفر، حيث يتم تقسيم النموذج فقط في لغة مصدر واحدة وتقييمها مباشرة على اللغات المستهدفة.في هذا العمل، نقترح إطارا للتعليم الذاتي الذي يستخدم البيانات غير المستهدفة من اللغات ا
لمستهدفة، بالإضافة إلى تقدير عدم اليقين في هذه العملية لتحديد ملصقات فضية عالية الجودة.يتم تكييف وثلاثة أوجه عدم اليقين الثلاثة وتحليلها خصيصا للتحويل اللغوي الصليب: لغة عدم اليقين المتنوعة من اللغة (LEU / LOU)، عدم اليقين الواضح (EVI).نقوم بتقييم إطار عملنا مع عدم اليقين على مهمتين متوقعتين بما في ذلك التعرف على الكيانات المسماة (NER) والاستدلال اللغوي الطبيعي (NLI) (NLI) (NLI) (NLI) تغطي 40 لغة في المجموع، والتي تتفوق على خطوط الأساس بشكل كبير بمقدار 10 F1 من دقة NLI.
ينطوي تحليل المعنويات المستندة إلى جانب الجسیلاء بشكل أساسي على ثلاث مجموعات فرعية: استخراج الأجل في الجانب، واستخراج الأجل رأي، وتصنيف المعنويات على مستوى الجانب، والذي يتم التعامل معه عادة بطريقة منفصلة أو مشتركة. ومع ذلك، فإن النهج السابقة لا تستغ
ل العلاقات التفاعلية بين ثلاث مجموعات فرعية ولا تستفيد بشكل متفيد على مستوى الوثيقة / المعروفة المسمى المسمى المستندات المتوفرة بسهولة، مما يقيد أدائه. لمعالجة هذه المشكلات، نقترح شبكة نقل المعرفة متعددة المعرفة متعددة الرواية (IMKTN) ل AND-LITE ABSA. لشيء واحد، من خلال الارتباطات التفاعلية بين المهن الفرعية ABASA، تقوم IMKTN بتحويل المعرفة الخاصة بمهام المهام من أي اثنين من المهام الفرعية الثلاثة إلى واحدة أخرى على مستوى الرمز المميز من خلال الاستفادة من خوارزمية التوجيه المصممة جيدا، أي أي اثنين من سيساعد المهن الفرعية الثلاثة الثالث. بالنسبة لآخر، تقوم IMKTN بتحويل المعرفة على مستوى المستند، I.E.، المعرفة ذات الصلة بالمجال والمعنويات، إلى التسكال الفرعية على مستوى الجانب لتعزيز الأداء المقابل. النتائج التجريبية على ثلاثة مجموعات بيانات معيار توضح فعالية وتفوق نهجنا.
حققت المحولات التي تم تدريبها مسبقا على شركة متعددة اللغات، مثل MBERT و XLM-ROBERTA، قدرات نقل متبقية مثيرة للإعجاب. في إعداد نقل الطلقة الصفرية، يتم استخدام بيانات التدريب الإنجليزية فقط، ويتم تقييم النموذج الدقيق على لغة مستهدفة أخرى. على الرغم من
أن هذا يعمل بشكل جيد بشكل مدهش، فقد تمت ملاحظة تباين كبير في الأداء اللغوي المستهدف بين مختلف عمليات التشغيل الدقيقة، وفي إعداد الطلقة الصفرية، لا توجد بيانات تطوير اللغة المستهدفة متاحة للتحديد بين نماذج متعددة ذات الضبط. اعتمد العمل المسبق على بيانات Dev الإنجليزية لتحديد بين النماذج التي تم ضبطها بشكل جيد مع معدلات التعلم المختلفة وعدد الخطوات وغيرها من أنواع التشعبات، والتي غالبا ما تؤدي إلى اختيارات فرعية نفسها. في هذه الورقة، نوضح أنه من الممكن تحديد نماذج أفضل باستمرار عند توفر كميات صغيرة من البيانات المشروحة بلغات محورية إضافية. نقترح نهجا للتعلم الآلي للاختيار النموذجي الذي يستخدم التمثيلات الداخلية للأنظمة ذات الطراز الدقيق للتنبؤ بقدراتها المتبادلة. في تجارب شاملة، نجد أن هذه الطريقة تختار باستمرار نماذج أفضل من بيانات التحقق من صحة اللغة الإنجليزية عبر عشرين لغة (بما في ذلك 8 لغات منخفضة الموارد)، وغالبا ما تحقق النتائج التي تتميز باختيار نموذج باستخدام بيانات تطوير اللغة المستهدفة.
بصرف النظر عن نجاح نهج تعلم النطاق المختلط في مجال التعلم العميق لحل المهام المختلفة لمعالجة اللغة الطبيعية، فإنه لا يقرض حل جماعيا للكشف عن المعلومات الخاطئة من بيانات وسائل التواصل الاجتماعي CovID-19. نظرا للتعقيد المتأصل من هذا النوع من البيانات،
الناجمة عن ديناميك (سياقه يتطور بسرعة)، ذات الطابع الدقيق (أنواع الخائن غير غامضة في كثير من الأحيان)، ومتنوعة (الفئات المنحيحة، المحبوسة والتداخل) الطبيعة، من الضروري نموذج فعال لالتقاط كل من السياق المحلي والعالمي للمجال المستهدف. من خلال إجراء تحقيق منهجي، نظهر أن: (1) النماذج المدربة مسبقا مسبقا للمحولات العميقة، المستخدمة عبر تعلم نقل المجال المختلط، جيدة فقط في التقاط السياق المحلي، وبالتالي تظهر تعميم ضعيف، و (2) يمكن أن يستخرج مزيج من النماذج الضحلة المستندة إلى الشبكة والشبكات العصبية التنافسية السياق محليا بالإضافة إلى السياق بشكل فعال بالإضافة إلى البيانات المستهدفة بطريقة هرمية بطريقة هرمية، مما يتيح من تقديم حل أكثر تعميما.
أدت تقنيات الاحتجاج بالاستفادة من مجموعات البيانات الهائلة تقدم التطورات الأخيرة في تلخيص النص.في حين أن التفسيرات الشعبية تشير إلى أن تحويل المعرفة تحتفظ بمزايا الاحتجاط، فإن القليل معروف عن سبب عمله أو ما الذي يجعل مهمة محتملة أو مجموعة بيانات مناس
بة.في هذه الورقة، نتحدى قصة نقل المعرفة، مما يدل على أن الاحيلية على المستندات التي تتألف من حرف N-gram المحدد عشوائيا، يمكننا أن نتطابق تقريبا من أداء النماذج المحددة على الفورورا الحقيقية.هذا العمل يحمل وعد بالقضاء على upstream corpora، والتي قد تخفف بعض المخاوف بشأن لغة مسيئة، التحيز، وقضايا حقوق الطبع والنشر.لمعرفة ما إذا كانت الفائدة الصغيرة المتبقية لاستخدام البيانات الحقيقية يمكن أن يتم حسابها من قبل هيكل مهمة محتملة، نقوم بتصميم العديد من المهام التي تحفزها دراسة نوعية لعلمة كورسا.ومع ذلك، فإن هذه المهام تمنح أي فائدة ملموسة، مما يترك فتح إمكانية دور صغير لنقل المعرفة.
تصف هذه الورقة تقديمنا للمهمة المشتركة على MT غير المنشورة ومدونة منخفضة للغاية في WMT 2021. لقد قدمنا أنظمة لأزواجين لغتان: الألمانية ↔ Sorbian العلوي (DE ↔ HSB) والصوربي الألماني السفلي (DSB).ل De ↔ HSB، نحن نتأرجح بنظامنا باستخدام كتلة (تسلسل ملثم
ين للتسلسل) الهدف ثم Finetune باستخدام الترجمة الترجمة الترجمة الترجمة التكرارية.يتم تنفيذ Finetunng النهائي باستخدام البيانات المتوازية المقدمة لأهداف الترجمة.ل de ↔ DSB، لا يتم توفير بيانات متوازية في المهمة، نستخدم نموذج DEFS HSB النهائي كهيئة نموذج DSB وتدريبه على الترجمة الترجمة الترجمة المتكررة، باستخدام نفس المفردات كما هو مستخدم في de ↔ HSBنموذج.
