مع الوفاء المتزايد من نصوص الاجتماعات، اجتذبت ملخص الاجتماع المزيد والمزيد من الاهتمام من الباحثين. حققت طريقة التدريب المسبق غير المعروضة على أساس هيكل المحولات المبلغة مع ضبط المهام المصب الناجمة نجاحا كبيرا في مجال تلخيص النص. ومع ذلك، فإن الهيكل
الدلالي وأسلوب حقول الاجتماع يختلف تماما عن مقالات. في هذا العمل، نقترح شبكة فك ترميز ترميز ترميز هيرسلجية ذات مهام مسبقة مهام متعددة. على وجه التحديد، نحن نخفي الجمل الرئيسية في تشفير مستوى الكلمات وتوليدها في وحدة فك الترميز. علاوة على ذلك، نقع بشكل عشوائي بعض محاذاة الدور في نص الإدخال وإجبار النموذج على استعادة علامات الدور الأصلية لإكمال المحاذاة. بالإضافة إلى ذلك، نقدم آلية تجزئة موضوعا لمواصلة تحسين جودة الملخصات التي تم إنشاؤها. تظهر النتائج التجريبية أن طرازنا متفوق على الأساليب السابقة في مجموعات بيانات ملخص الاجتماع AMI و ICSI.
لقد أثبتت التعلم المناهج الدراسية، وهي استراتيجية تدريب الآلة التي تغذي حالات التدريب على النموذج من سهولة الصعب، لتسهيل مهمة توليد الحوار. وفي الوقت نفسه، يمكن أن تسفر عن طريقة تقطير المعرفة، منهجية تحويل المعرفة بين المعلمين وشبكات الطلاب دفعة كبير
ة من الأداء لنماذج الطلاب. وبالتالي، في هذه الورقة، نقدم مجموعة من التعلم من المناهج الدراسية وتقطير المعرفة لنماذج جيل الحوار الفعالة، حيث يمكن أن يساعد تعلم المناهج الدراسية في تقطير المعارف من جوانب البيانات والنموذج. للبدء، من جانب البيانات، نقوم بتجميع حالات التدريب وفقا لتعقيدها، والتي تحسبها أنواع مختلفة من الميزات مثل طول الجملة والتماسك بين أزواج الحوار. علاوة على ذلك، فإننا نوظف استراتيجية تدريبية عدائية لتحديد تعقيد الحالات من مستوى النموذج. الحدس هو أنه، إذا كان بإمكان التمييز أن يخبر الاستجابة الناتجة عن المعلم أو الطالب، فسيكون الأمر من الصعب على الحالة أن نموذج الطالب لم يتكيف حتى الآن. أخيرا، نستخدم التعلم الذاتي، وهو امتداد لتعلم المناهج الدراسية لتعيين الأوزان لتقطير. في الختام، نقوم بترتيب منهج هرمي يستند إلى الجوانب المذكورة أعلاه لنموذج الطالب بموجب الإرشاد من نموذج المعلم. توضح النتائج التجريبية أن أساليبنا تحقق تحسينات مقارنة مع خطوط الأساس التنافسية.
عثرت نمذجة اللغة الإحصائية والترجمة مع المحولات العديد من التطبيقات الناجحة في فهم البرنامج ومهام الجيل، وتحديد معايير عالية للأدوات في بيئات تطوير البرمجيات الحديثة. ومع ذلك، فإن نافذة السياق المحدودة لهذه النماذج العصبية تعني أنهم لن يكونوا غير قاد
رين على الاستفادة من السياق الكامل بأكمله من الملفات والحزم الكبيرة لأي مهمة معينة. في حين أن هناك العديد من الجهود المبذولة لتوسيع نافذة السياق، فإننا نقدم نهجا مستقلا بالهندسة المعمارية للاستفادة من التسلسلات الهيدروجسية النحوية من التعليمات البرمجية المصدرية لإدماج سياق كامل مستوى الملف في نافذة ذات طول ثابت. باستخدام أشجار بناء جملة الخرسانة من كل ملف مصدر نستخرج التسلسلات الهرمية النحوية ودمجها في نافذة السياق عن طريق إزالة بشكل انتقائي من عرض نطاقات أكثر تحديدا وأقل أهمية لمهمة معينة. نقوم بتقييم هذا النهج على مهام توليد التعليمات البرمجية والترجمة المشتركة للغة الطبيعية ومزدئة المصدر في لغة البرمجة الثابتة، وتحقيق حالة جديدة من بين الفن في إكمال التعليمات البرمجية وتلخيص Python في معيار Codexglue. نقدم أيضا معايير CodexGlue جديدة للمهام الدوافع المتعلقة بتجربة المستخدمين: إكمال التعليمات البرمجية مع الحرفيات الطبيعية، طريقة إتمام الأسلوب / تلخيص / رمز رمز مكيف في سياق مستوى الملفات.
أثار العمل الحديث مخاوف بشأن القيود المتأصلة للاحتجاج بالنص. في هذه الورقة، نوضح أولا أن الإبلاغ عن التحيز، ميل لا يذكر أن الواضح، هو أحد أسباب هذا القيد، ثم التحقيق في أي مدى يمكن للتدريب المتعدد الوسائط تخفيف هذه المشكلة. لإنجاز هذا، نحن 1) إنشاء م
جموعة بيانات اللون (CODA)، مجموعة بيانات من توزيعات الألوان التي طالبي الإنسان 521 كائنات مشتركة؛ 2) استخدم Coda لتحليل ومقارنة توزيع الألوان الموجود في النص، والتوزيع الذي تم التقاطه بواسطة نماذج اللغة، وتصور الإنسان للون؛ و 3) التحقيق في اختلافات الأداء بين النماذج النصية فقط والنماذج متعددة الوسائط على CODA. تظهر نتائجنا أن توزيع الألوان التي يتعافها نموذج اللغة تعاد ترتبط بقوة أكبر بتوزيع غير دقيق موجود في نصا أكثر من الحقيقة الأرضية، مما يدعم الادعاء بأن الإبلاغ عن التحيز يؤثر سلبا على تدريب سلبي ويحد تدريبا بطبيعته على التدريب فقط. ثم نوضح أن النماذج متعددة الوسائط يمكن أن تستفيد من التدريب البصري لتخفيف هذه الآثار، مما يوفر وسيلة واعدة للبحث في المستقبل.
اكتسبت الترجمة الآلية المتزامنة الجر مؤخرا، بفضل تحسينات الجودة المهمة ومختام تطبيقات البث.تحتاج أنظمة الترجمة المتزامنة إلى إيجاد مفاضلة بين جودة الترجمة ووقت الاستجابة، وبالتالي تم اقتراح تدابير الكمون المتعددة.ومع ذلك، يتم تقدير تقييمات الكمون للت
رجمة الفورية على مستوى الجملة، ولا تأخذ في الاعتبار الطبيعة المتسلسلة لسيناريو البث.في الواقع، هذه تدابير الكمون على مستوى الجملة ليست مناسبة تماما للترجمة المستمرة، مما أدى إلى وجود أرقام غير متماسكة مع سياسة الترجمة المتزامنة للنظام التي يتم تقييمها.يقترح هذا العمل تكيف مستوى دفق من تدابير الكمون الحالية بناء على نهج إعادة تجزئة مطبق على ترجمة الناتج، والتي يتم تقييمها بنجاح على شروط البث لمهمة الإشارة IWSLT.
Semeval هو المكان الرئيسي في مجتمع NLP لاقتراح التحديات الجديدة والتقييم التجريبي المنهجي لأنظمة NLP.توفر هذه الورقة تحليلا قياسيا منهيا لسيميفال تهدف إلى الأدلة على أنماط المساهمات وراء Semeval.من خلال فهم توزيع أنواع المهام والمقاييس والبنية والمشا
ركة والاقتباسات مع مرور الوقت نهدف إلى الإجابة على السؤال حول ما يجري تقييمه من قبل Semeval.
Backtranslation هي تقنية شائعة للاستفادة من البيانات غير المسبقة في سيناريوهات الموارد المنخفضة في الترجمة الآلية.تنطبق الطريقة بشكل مباشر على توليد الانفعال المورفولوجي إذا كانت نماذج الكلمة غير المسبقة متوفرة.تقوم هذه الورقة بتقييم إمكانات خلفية ال
انعطاف المورفولوجي باستخدام البيانات من ست لغات مع البيانات المسمى المسجلة من مورد Sigmorphon المشترك للبيانات والبيانات غير المسبقة من مصادر مختلفة.النتيجة الناتجة الأساسية هي أن Backtranslation يمكن أن تقدم تحسينات متواضعة في سيناريوهات الموارد المنخفضة، ولكن فقط إذا كانت البيانات غير المسبقة نظيفة للغاية وقد تم تصفيتها بنفس المعايير التوضيحية مثل البيانات المسمى.
نقدم نتائج المهمة الأولى على الترجمة ذات الجهاز متعدد اللغات على نطاق واسع.تتكون المهمة على التقييم المتعدد إلى العديد من النماذج الفردية عبر مجموعة متنوعة من اللغات المصدر والمستهدفة.هذا العام، تتألف المهمة على ثلاثة إعدادات مختلفة: (1) المهمة الصغي
رة 1 (لغات أوروبا الوسطى / الجنوبية الشرقية)، (2) المهمة الصغيرة 2 (لغات جنوب شرق آسيا)، و (3) مهمة كاملة (كل 101 × 100 زوج أزواج).استخدمت جميع المهام DataSet Flores-101 كمعيار التقييم.لضمان طول العمر من مجموعة البيانات، لم يتم إصدار مجموعات الاختبار علنا وتم تقييم النماذج في بيئة خاضعة للرقابة على Dynabench.كان هناك ما مجموعه 10 فرق مشاركة للمهام، بما مجموعه 151 من العروض النموذجية المتوسطة و 13 نماذج نهائية.تظهر نتائج هذا العام تحسنا كبيرا على خطوط الأساس المعروفة مع +17.8 بلو ل Task-Task2، +10.6 للمهمة الكاملة و +3.6 للمهمة الصغيرة 1.
تصف هذه الورقة أنظمة الترجمة الآلية العصبية MiningLamp لمهام الترجمة الأخبار WMT2021.لقد شاركنا في ثمانية اتجاهات مهام ترجمة لنص الأخبار بما في ذلك الصينية من / الإنجليزية، الهوسا من / إلى الإنجليزية، الألمانية من / إلى / اللغة الإنجليزية والفرنسية م
ن / إلى الألمانية.استند نظامنا الأساسي إلى بنية المحولات، مع بناء أوسع أو أصغر لمهام ترجمة أخبار مختلفة.استخدمنا بشكل رئيسي طريقة الترجمة الخلفي، وقراءة المعرفة والضبط بشكل جيد لتعزيز نموذج واحد، في حين تم استخدام الفرقة للجمع بين النماذج الفردية.احتل تقديمنا النهائي الأول لأول مرة في مهمة Hausa.
تقدم هذه الورقة تقييدات جامعة إدنبرة المقيدة لأنظمة اللغة الإنجليزية والألمانية والإنجليزية إلى المهمة المشتركة WMT 2021 بشأن ترجمة الأخبار.نحن نبني أنظمة EN-DE في ثلاث مراحل: تصفية Corpus، الترجمة الخلفية، والضبط الجميل.بالنسبة إلى EN-HA، نستخدم نهج
ا للترجمة مرة أخرى في أعلى نماذج الإنشاء المدرب مسبقا والتحقيق في رسم الخرائط المفردات.
