فهم المعنى الدلالي للمحتوى على الويب من خلال عدسة الكيانات والمفاهيم له العديد من المزايا العملية.ومع ذلك، عند بناء أنظمة استخراج الكيانات على نطاق واسع، يواجه الممارسون تحديات فريدة تنطوي على إيجاد أفضل الطرق للاستفادة من نطاق البيانات ومجموعة متنوع
ة من البيانات المتاحة على منصات الإنترنت.نقدم التعلم من جهودنا في بناء نظام استخراج الكيانات لأنواع متعددة الوثائق على نطاق واسع باستخدام محولات متعددة الوسائط.إننا نوضح تجريبيا فعالية التعلم متعدد اللغات ومتعدد المهام والنوع عبر المستندات.نناقش أيضا مخططات جمع الملصقات التي تساعد على تقليل مقدار الضوضاء في البيانات التي تم جمعها.
تصف هذه الورقة أنظمة Tencent Translation ذات المهمة المشتركة WMT21. نشارك في مهمة ترجمة الأخبار على ثلاث أزواج لغة: الصينية-الإنجليزية والإنجليزية والصينية والألمانية والإنجليزية. يتم بناء أنظمتنا على نماذج محولات مختلفة مع تقنيات جديدة تتكيف من عملن
ا البحثي الأخير. أولا، نجمع بين طرق تكبير البيانات المختلفة بما في ذلك الترجمة المرجودة والترجمة الأمامية والتدريب من اليمين إلى اليسار لتوسيع بيانات التدريب. نستخدم أيضا تحيز التغطية اللغوية وتجديد البيانات ونهج أخذ العينات المستندة إلى عدم اليقين لتحديد بيانات ذات صلة بالمحتوى وعالية الجودة من كوربورا متوازية ومونولجة كبيرة. نتوقع أن يتم ضبطه بشكل جيد في المجال، ونقترح أيضا نماذج واحدة المحبوثة نموذج واحد "" لنموذج خصائص نموذجية لأنواع الأخبار المختلفة عند مراحل الركود الدقيقة وفك التشفير. علاوة على ذلك، نستخدم خوارزمية الفرقة القائمة على الجشع وطريقة الفرقة المتناقلة لتعزيز أنظمتنا. بناء على نجاحنا في آخر WMT، فإننا أعملنا باستمرار تقنيات متقدمة مثل التدريب الدفاعي الكبير واختيار البيانات وتصفية البيانات. أخيرا، يحقق نظامنا الصيني والإنجليزي المقيد 33.4 درجة بلو حساسة للحالة، وهو الأعلى بين جميع التقديمات. يتم تصنيف نظام اللغة الإنجليزية الألمانية في المركز الثاني وفقا لذلك.
يعكس نظام الحوار الإقناعي قدرة الجهاز على جعل التحركات الإستراتيجية تتجاوز التواصل اللفظي، وبالتالي يميز نفسه عن حوارات موجهة نحو المهام أو فتح المجال ولديها قيمها الفريدة الخاصة بها. ومع ذلك، لا تزال مشاكل التكرار والتناسق لا تزال قائمة في توليد است
جابة الحوار ويمكن أن تؤثر بشكل كبير على تجربة المستخدم وتعيق نتائج الإقناع. علاوة على ذلك، على الرغم من أن نهج التعزيز (RL) قد حقق نجاحا كبيرا في المهام الاستراتيجية مثل الألعاب، إلا أنها تتطلب محاكاة مستخدم متطورة لتوفير ملاحظات في الوقت الفعلي لنظام الحوار، مما يحد من تطبيق RL على حوارات الإقناع. لمعالجة هذه المشكلات نحو نظام حوار أفضل للإقناع، نقوم بتطبيق RL لتحسين خط الأساس طراز اللغة دون محاكاة المستخدمين، وتقطير المعلومات على مستوى الجملة حول التكرار، والتناسق، والأهمية المهمة من خلال المكافآت. علاوة على ذلك، لإنجاز مهمة الإقناع بشكل أفضل، يتعلم النموذج من مظاهرة بشرية لتقليد سلوك الإقناع البشري واختيار الاستجابات الأكثر إقناعا. تشير التجارب إلى أن نموذجنا يتفوق على نماذج الحوار السابقة من الحوار السابقة على كل من المقاييس التلقائية ونتائج التقييم البشري على مهمة إقناع التبرع، ويولد محادثات أكثر تنوعا ومتسقا ومقنعة وفقا لتعليقات المستخدمين. سنقوم بإجراء التعليمات البرمجية والنموذج المتاحة للجمهور.
النهج الحالي لجمع الأحكام البشرية لجودة الترجمة الآلية لمهمة الترجمة الأخبار في WMT - تصنيف القطاع مع سياق المستند - هو الأحدث في سلسلة من التغييرات في بروتوكول التعليق البشري WMT.نظرا لأن البروتوكولات التوضيحية هذه تغيرت مع مرور الوقت، فقد انجرفت بع
يدا عن بعض الافتراضات الإحصائية الأولية التي تدعمها، مع عواقب تسمون صحة تصنيفات نظام المهام الأخبار WMT إلى سؤال.في المحاكاة بناء على البيانات الحقيقية، نوضح أن التصنيفات يمكن أن تتأثر بوجود القيم المتطرفة (أنظمة عالية الجودة أو منخفضة الجودة)، مما أدى إلى تصنيفات ونظام مختلفة.ونحن ندرس أيضا أسئلة تكوين مهمة التوضيحية وكيف قد تؤثر سهولة ترجم أو صعوبة ترجمة المستندات المختلفة في تصنيفات النظام.نحن نقدم مناقشة طرق لتحليل هذه القضايا عند النظر في التغييرات المستقبلية في بروتوكولات التعليق التوضيحي.
Requery Rewrite (QR) هو مكون ناشئ في أنظمة المحادثة AI، مما يقلل من عيب المستخدم.سبب عيب المستخدم لأسباب مختلفة، مثل الأخطاء في نظام الحوار المنطوق أو عروض المستخدمين للسان أو لغتهم المختصرة.ينبع العديد من عيوب المستخدمين من العوامل الشخصية، مثل نمط
خطاب المستخدم أو اللهجة أو التفضيلات.في هذا العمل، نقترح إطار عمل QR القائم على البحث شخصي، والذي يركز على التخفيض التلقائي لعيب المستخدم.نقوم ببناء مؤشر شخصي لكل مستخدم، يشمل طبقات تقارب متنوعة لتعكس التفضيلات الشخصية لكل مستخدم في منظمة العفو الدولية المحادثة.يحتوي نظام QR الشخصي الخاص بنا على طبقات استرجاع وترتيب.بدعم من التعلم القائم على ملاحظات المستخدم، تدريب نماذجنا لا يتطلب بيانات مشروح يدوية.أظهرت التجارب على مجموعة الاختبارات الشخصية أن نظام QR الشخصي الخاص بنا قادر على تصحيح أخطاء النظامية والمستخدم باستخدام المدخلات الصوتية والدلية.
أظهرت نماذج الرؤية اللغوية المدربة مسبقا أداء رائعا حول مهمة الإجابة على السؤال المرئي (VQA). ومع ذلك، يتم تدريب معظم النماذج المدربة مسبقا من خلال النظر فقط في التعلم أحادي الأونلينغ، وخاصة اللغة الغنية بالموارد مثل اللغة الإنجليزية. تدريب هذه النما
ذج للكمات متعددة اللغات طلب موارد الحوسبة عالية ومجموعات بيانات الرؤية متعددة اللغات التي تعيق تطبيقها في الممارسة العملية. لتخفيف هذه التحديات، نقترح نهج تقطير المعرفة لتوسيع نموذج للرؤية باللغة الإنجليزية (المعلم) في نموذج متعدد اللغات ومزوج التعليمات البرمجية (طالبة). على عكس أساليب تقطير المعرفة الحالية، والتي تستخدم فقط الإخراج من الطبقة الأخيرة من شبكة المعلم للتقطير، يتعلم نموذج الطالب الخاص بنا وتقليد المعلم من طبقات متعددة الوسائط (تشفير اللغة والرؤية) بأهداف تقطير مصممة بشكل مناسب لاستخراج المعرفة الإضافية وبعد كما نقوم بإنشاء مجموعة بيانات VQA متعددة اللغات متعددة اللغات متعددة اللغات وخلطها في أحد عشر جهازا مختلفا للنظر في اللغات الهندية والأوروبية المتعددة. تظهر النتائج التجريبية والتحليل المتعمق فعالية نموذج VQA المقترح على نماذج الرؤية المدربة مسبقا في الرؤية المدربة مسبقا في أحد عشر من إعدادات لغة متنوعة.
تصف هذه الورقة أنظمة الترجمة الآلية العصبية MiningLamp لمهام الترجمة الأخبار WMT2021.لقد شاركنا في ثمانية اتجاهات مهام ترجمة لنص الأخبار بما في ذلك الصينية من / الإنجليزية، الهوسا من / إلى الإنجليزية، الألمانية من / إلى / اللغة الإنجليزية والفرنسية م
ن / إلى الألمانية.استند نظامنا الأساسي إلى بنية المحولات، مع بناء أوسع أو أصغر لمهام ترجمة أخبار مختلفة.استخدمنا بشكل رئيسي طريقة الترجمة الخلفي، وقراءة المعرفة والضبط بشكل جيد لتعزيز نموذج واحد، في حين تم استخدام الفرقة للجمع بين النماذج الفردية.احتل تقديمنا النهائي الأول لأول مرة في مهمة Hausa.
معظم الوقت، عند التعامل مع مهمة معينة لمعالجة اللغة الطبيعية، تتم مقارنة الأنظمة على أساس الإحصاءات العالمية مثل الاستدعاء والدقة ودرجة F1، وما إلى ذلك، بينما توفر هذه الدرجات فكرة عامة عن سلوك هذه الأنظمة، إنهم يتجاهلون جزءا رئيسيا من المعلومات التي
يمكن أن تكون مفيدة لتقييم التقدم المحرز والتحديات المتبقية المتميزة: الصعوبة النسبية في حالات الاختبار. لمعالجة هذا القصور، نقدم فكرة التقييم التفاضلي الذي يحدد فعليا التقسيم العملي من الحالات في صناديق أكثر صعوبة تدريجيا من خلال الاستفادة من التنبؤات التي قدمتها مجموعة من الأنظمة. تمكننا مقارنة الأنظمة على طول صناديق الصعوبة هذه أن تنتجنا تحليلا مدققا لأسعارها النسبية، والتي نوضحها على حالتي الاستخدام: مقارنة بين النظم المشاركة في مهمة تصنيف النص متعدد الملصقات (CLF EHENGE 2018 ICD-10 ICD-10 )، ومقارنة النماذج العصبية المدربة للكشف عن الكيانات الطبية الحيوية (مجموعة بيانات علاقات الأمراض الكيميائية الثنائية الطبيوم الكيميائية).
تناقش هذه الورقة المهمة المشتركة لمصطلحات WMT 2021 من منظور "Meta".نقدم نتائج تجاربنا باستخدام مجموعة بيانات المصطلحات و OpenNMT (Klein et al.، 2017) و Joeynmt (Kreutzer et al.، 2019) Toolkits لاتجاه اللغة الإنجليزية إلى الفرنسية.تجربتنا 1 يقارن تنبؤ
ات مجموعة الأدوات.تستخدم التجربة 2 OpenNMT لضبط النموذج.نبلغ عن نتائجنا للحصول على المهمة مع البرنامج النصي التقييم ولكن في الغالب مناقشة الخصائص اللغوية لمجموعة بيانات المصطلحات المقدمة للمهمة.نحن نقدم دليلا على أهمية أنواع الأنواع النصية عبر الدرجات، بعد أن تم تكرار البرامج النصية للتقييم.
جعلت نموذج الاستفادة من النماذج اللغوية الكبيرة المدربة مسبقا تقدما ملحوظا على معايير نظم الحوار الموجهة نحو المهام (TOD).في هذه الورقة، نجمع بين هذه النموذج مع إطار تعليمي متعدد المهام لنمذجة TOD نهاية إلى الطرفية من خلال اعتماد التنبؤ SPAN كامرأة م
ساعدة.في الإعداد المحرز، يحقق نموذجنا نتائج أحدث نتائج جديدة مع درجات مشتركة من 108.3 و 107.5 على MultiWoz 2.0 و MultiWoz 2.1، على التوالي.علاوة على ذلك، نوضح أن التعلم متعدد المهام يحسن ليس فقط أداء النموذج ولكن قدرة تعميمه من خلال تجارب تكيف المجال في إعداد القليل من اللقطة.الرمز متاح في github.com/bepoetree/mttod.
