تصف هذه الورقة التقديم إلى المهمة المشتركة لترجمة الأخبار WMT 2021 بواسطة مجموعة الترجمة الآلية في UPC.الهدف من المهمة هو ترجمة الألمانية إلى الفرنسية (DE-FR) والفرنسية إلى الألمانية (FR-DE).يركز تقديمنا على ضبط نموذج مدرب مسبقا للاستفادة من بيانات أ
حادية الأجل.نحن نغلق mbart50 باستخدام البيانات المصفاة، بالإضافة إلى ذلك، ندرب نموذج محول على نفس البيانات من الصفر.في التجارب، نظهر أن نتائج MBART50 الناشجة في 31.69 بلو ل DE-FR و 23.63 بلو FR-DE، مما يزيد من 2.71 و 1.90 بلو وفقا لذلك، مقارنة بالنموذج الذي نتدرب من الصفر.إن تقديمنا النهائي هو فرقة لهذين النموذجين، مما يزيد من 0.3 بلو ل FR-DE.
وقد تبين أن التنظيم العديزي لتحسين أداء تعميم نماذج التعلم العميق في مهام معالجة اللغة الطبيعية المختلفة. تعمل الأعمال الموجودة عادة الطريقة كأفضل لعبة مبلغ صفر، والتي تم حلها من خلال خوارزميات نزول / صعود التدرج المتناوب. مثل هذه الصياغة يعامل اللاع
بين والدفاع عن اللاعبين على قدم المساواة، وهو أمر غير مرغوب فيه لأن اللاعب المدافع فقط يساهم في أداء التعميم. لمعالجة هذه المسألة، نقترح بنظام Stackelberg الخصم (الملح)، الذي يصوغ التنظيم العديزي كأرعاب Stackelberg. يستحث هذا الصيغة منافسة بين قائد ومتابعته، حيث يولد التابع الاضطرابات، والقائد يدرب النموذج المعني بالاضطرابات. تختلف عن الأساليب التقليدية، في السلط، الزعيم في وضع مفيد. عندما يتحرك القائد، فإنه يتعرف على استراتيجية التابع ويأخذ نتائج التابع المتوقعة في الاعتبار. تمكننا ميزة الزعيم هذه من تحسين النموذج المناسب للبيانات غير المضطربة. يتم التقاط المعلومات الاستراتيجية للزعيم من قبل التدرج من Stackelberg، والتي يتم الحصول عليها باستخدام خوارزمية غير مثيرة. تظهر نتائجنا التجريبية على مجموعة من الترجمة الآلية ومهام فهم اللغة الطبيعية أن الملح يتفوق على خطوط خطوط الأساس بين المخدرات الموجودة في جميع المهام. رمز لدينا هو متاح علنا.
نقترح استخدام مهمة مكتملة متعددة الطبق لتقييم تمثيلات مورفوسنيتشية ل Adgeddings Word متعددة اللغات. هذا القرص في التحقيق الكنسي يجعل من السهل استكشاف تمثيلات مورفوسنيتشية، كلاهما بشكل كلي وعلى مستوى الميزات الفردية (على سبيل المثال، النوع الاجتماعي و
العدد والحالة)، ويؤدي بشكل طبيعي إلى دراسة كيفية تعامل نماذج اللغة بالميزات المشتركة (على سبيل المثال ، ظواهر الاتفاقية). نوضح هذه المهمة مع بيرت متعددة اللغات (ديفلين وآخرون.، 2018)، تحقيقات تدريبية لسبعة لغات متنوعة من النطباء: الأفريكان، الكرواتية والفنلندية والعبرية والكورية والإسبانية والتركية. من خلال هذا النموذج البسيط ولكن القوي، نتحقق من أن الرصاص متعدد اللغات يتجه العديد من ميزات مورفوستينكتاكيتش في وقت واحد قابل للاستخراج. سنقوم كذلك بتقييم تحقيقات على ست لغات محمولة: العربية والصينية والماراثية والسلوفينية والتغالوغ و Yoruba. يحتوي هذا النمط المرتفع من التحقيق الصفرية على الاستفادة الإضافية للكشف عن الخصائص الشاملة اللغوية نموذج لغة يعترف بأنه مشترك لغات متعددة.
استخراج العلاقات غير المدعومة من قبل أزواج كيان التجمع التي لها نفس العلاقات في النص. تقوم بعض الأساليب المتنوعة (VAE) المتنوعة (VAE) بتدريب نموذج استخراج العلاقة كترفيه يولد تصنيفات العلاقة. يتم تدريب وحدة فك الترميز جنبا إلى جنب مع التشفير لإعادة ب
ناء إدخال التشفير بناء على تصنيفات العلاقة التي يتم إنشاؤها المشن. هذه التصنيفات هي متغير كامن حتى يطلب منهم اتباع توزيع مسبق محدد مسبقا يؤدي إلى تدريب غير مستقر. نقترح تقنية استخراج العلاقات التي تعتمد عليها VAE تقوم بتغيير هذا القيد باستخدام التصنيفات كمتغير متوسط بدلا من متغير كامن. على وجه التحديد، تكون التصنيفات مشروطة بإدخال الجملة، في حين أن المتغير الكامن مشروط على كل من التصنيفات وإدخال الجملة. يتيح ذلك نموذجنا لتوصيل وحدة فك الترميز مع التشفير دون وضع قيود على توزيع التصنيف؛ الذي يحسن استقرار التدريب. يتم تقييم نهجنا على بيانات DataSet NYT وتفوق الطرق الحديثة.
منذ فترة طويلة انتهت التقييم التلقائي الموثوق لأنظمة الحوار بموجب بيئة تفاعلية. تحتاج بيئة مثالية لتقييم أنظمة الحوار، المعروفة أيضا باسم اختبار Turing، إلى إشراك التفاعل البشري، وعادة ما تكون غير متناول تجارب واسعة النطاق. على الرغم من أن الباحثين ق
د حاولوا استخدام مقاييس مهام توليد اللغة (على سبيل المثال، الحيرة، بلو) أو بعض طرق التعزيز القائمة على الطراز (مثل تقييم التشغيل الذاتي) للتقييم التلقائي، إلا أن هذه الطرق تظهر فقط ارتباط ضعيف للغاية مع التقييم البشري الفعلي في التمرين. لكسر هذه الفجوة، نقترح إطارا جديدا يدعى لغز لتقدير درجات التقييم البشرية بناء على التقدم الأخير للتقييم خارج السياسات في التعلم التعزيز. يتطلب Enigma فقط حفنة من بيانات الخبرة التي تم جمعها مسبقا، وبالتالي لا تنطوي على تفاعل بشري مع السياسة المستهدفة أثناء التقييم، مما يجعل التقييمات التلقائية الممكنة. والأهم من ذلك أن Enigma هو خال من النموذج والأذرع لسياسات السلوك لجمع بيانات الخبرة، مما يخفف بشكل كبير الصعوبات التقنية في بيئات الحوار المعقدة النمذجة والسلوكيات البشرية. تظهر تجاربنا أن لغز تتفوق بشكل كبير على الأساليب الحالية من حيث الارتباط مع درجات التقييم البشري.
تعرف مهمة تحويل نص غير قياسي إلى نص قياسي وقابل للقراءة باسم التطبيع المعجمي. تتطلب جميع تطبيقات معالجة اللغة الطبيعية تقريبا (NLP) البيانات النصية في النموذج الطبيعي لإنشاء نماذج محددة ذات جودة عالية. وبالتالي، فقد ثبت التطبيع المعجمي لتحسين أداء ال
عديد من مهام معالجة اللغة الطبيعية على وسائل التواصل الاجتماعي. تهدف هذه الدراسة إلى حل مشكلة التطبيع المعجمي من خلال صياغة مهمة التطبيع المعجمية مشكلة وضع علامة تسلسل. تقترح هذه الورقة نهج وضع علامة تسلسل لحل مشكلة التطبيع المعجمي في تركيبة مع تقنية محاذاة الكلمة. الهدف هو استخدام نموذج واحد لتطبيع النص باللغات المختلفة وهي الكرواتية والدنماركية والهولندية والإنجليزية والإندونيسية والإنجليزية والألمانية والإيطالية والصربية والسلوفينية والإسبانية والتركية والتركية والألمانية والألمانية. هذه مهمة مشتركة في عام 2021 ورشة العمل السابعة حول النص الناتج عن المستخدم الصاخب (W-NUT) "" من المتوقع أن يقوم المشاركون بإنشاء نظام / نموذج يقوم بتنفيذ التطبيع المعجمي، وهو ترجمة النصوص غير القانونية في تعادلهم الكنسي، الذين يشتملون على بيانات من أكثر من 12 لغة. يحقق النموذج المتعدد اللغوي المقترح نتيجة ERS الإجمالية من 43.75 بشأن التقييم الجوهري ونتيجة إجمالي درجة المرفقات (LAS) من 63.12 على التقييم الخارجي. علاوة على ذلك، تحقق الطريقة المقترحة أعلى نقاط معدل تخفيض الأخطاء (ERR) من 61.33 من بين المشاركين في المهمة المشتركة. تسلط هذه الدراسة الضوء على آثار استخدام بيانات تدريب إضافية للحصول على نتائج أفضل وكذلك استخدام نموذج لغة مدرب مسبقا تدرب على لغات متعددة بدلا من لغة واحدة فقط.
لقد جاء الكثير من التقدم المحرز في NLP المعاصر من تمثيلات التعلم، مثل Embeddings Manked Language Model (MLM)، يتحول إلى مشاكل تحديا في مهام التصنيف البسيطة. ولكن كيف يمكننا تحديد وتفسير هذا التأثير؟ نحن نتكيف مع أدوات عامة من نظرية التعلم الحاسوبية ل
تناسب الخصائص المحددة لمجموعات البيانات النصية وتقديم طريقة لتقييم التوافق بين التمثيلات والمهام. على الرغم من أن العديد من المهام يمكن حلها بسهولة مع تمثيلات بسيطة من الكلمات (القوس)، فإن القوس لا ضعيف على مهام الاستدلال باللغة الطبيعية الثابت. لأحد هذه المهمة، نجد أن القوس لا يستطيع التمييز بين اللقطات الحقيقية والعشوائية، في حين تظهر تمثيلات الامتيازات المدربة مسبقا تمييزا أكبر بنسبة 72x بين وضع علامات حقيقية وعشوائية من القوس. توفر هذه الطريقة مقياسا معايرة وكمية لصعوبة مهمة NLP القائمة على التصنيف، مما يتيح المقارنات بين التمثيلات دون الحاجة إلى تقييمات تجريبية قد تكون حساسة للتهيئة والفظايات. توفر الطريقة منظورا جديدا على الأنماط الموجودة في مجموعة بيانات ومحاذاة تلك الأنماط مع ملصقات محددة.
في هذه الورقة، نقترح نظام التحقق والتحقق من حقائق جديدة للتحقق من مطالبات محتوى ويكيبيديا.يسترد نظامنا صفحات ويكيبيديا ذات الصلة باستخدام Anserini، ويستخدم نموذج الإجابة على السؤال من Bert-Bert-bert-Berted لتحديد الأدلة الصحيحة، وتحقق من المطالبات با
ستخدام نموذج الاستدلال باللغة الطبيعية XLNet بمقارنتها بالأدلة.يتم الحصول على أدلة خلية الجدول من خلال البحث عن قيم الخلايا المطابقة للكيان وسؤال الجدول Tapas نموذج الرد على نموذج.يستخدم خط الأنابيب إمكانيات الطلقة الصفرية للنماذج الحالية وجميع النماذج المستخدمة في خط الأنابيب لا يتطلب أي تدريب إضافي.حصل نظامنا على درجة حمامة من 0.06 ودقة ملصقة تبلغ 0.39 في التحدي الحمير.
يجب أن تكون أنظمة معالجة اللغة الطبيعية مثل وكلاء الحوار قادرة على سبب معتقدات الآخرين ونواياهم ورغباتهم. هذه القدرة، التي تسمى نظرية العقل (توم)، أمر بالغ الأهمية، حيث تتيح نموذج للتنبؤ وتفسير احتياجات المستخدمين بناء على حالاتهم العقلية. يقيم خط ال
أبحاث الحديث إمكانية توم من النماذج العصبية المعززة بالذاكرة الحالية من خلال الإجابة على السؤال. تؤدي هذه النماذج بشكل سيء على مهام الاعتقاد الكاذبة حيث تختلف المعتقدات عن الواقع، خاصة عندما تحتوي مجموعة البيانات على جمل مشتتة. في هذه الورقة، نقترح نهجا جديدا مستنرا مؤقتا لتحسين قدرة توم النماذج العصبية المعززة بالذاكرة. يتضمن نموذجنا بشعورا حول عقول الكيانات وتتبع حالاتهم العقلية لأنهم يتطورون بمرور الوقت من خلال مرور موسع. ثم يستجيب للاستعلامات من خلال السفر النصي - I.E.، عن طريق الوصول إلى الذاكرة المخزنة لخطوة زمنية سابقة. نقوم بتقييم نموذجنا على TOM Datasets ويجد أن هذا النهج يحسن الأداء، خاصة من خلال تصحيح الحالات الذهنية المتوقعة مطابقة الاعتقاد الخاطئ.
أظهرت نماذج استخراج العلاقات العصبية نتائج واعدة في السنوات الأخيرة؛ومع ذلك، فإن أداء النموذج يسقط بشكل كبير منحت فقط بعض عينات التدريب فقط.تعمل الأعمال الحديثة التي تحاول الاستفادة من التقدم في سلطة قليلة التعلم لحل مشكلة الموارد المنخفضة، حيث تقوم
بتدريب نماذج الملصقات الملائمة لمقارنة أوجه التشابه الدلالي بشكل مباشر بين جمل السياق في مساحة التضمين.ومع ذلك، فإن المعلومات التي تدرك الملصقات، أي علبة العلاقة التي تحتوي على المعرفة الدلالية المتعلقة بالعلاقة نفسها، مهملة في كثير من الأحيان للتنبؤ.في هذا العمل، نقترح إطارا للنظر في معلومات رسم الخرائط الدلالية الملمع والملصقات على حد سواء لاستخراج العلاقات المتعلقة بالموارد المنخفضة.نظهر أن دمج النوعين المذكورين أعلاه من تعيين معلومات التعيين في كلا المحالمان والضبط بشكل جيد يمكن أن يحسن بشكل كبير من أداء النموذج على مهام استخراج العلاقات المتعلقة بالموارد المنخفضة.
