أصبحت التمثيل التعلم للنص عبر الاحتمالات نموذج لغة على كوربوس كبيرة أصبح نقطة انطلاق قياسية لبناء أنظمة NLP. يقف هذا النهج على النقيض من السيارات الآلية، كما تم تدريبه على النص الخام، ولكن بهدف التعلم لترميز كل إدخال كجاغر يتيح إعادة الإعمار الكامل.
AutoNCoders جذابة بسبب هيكل الفضاء الكامن وخصائصها التوليدية. لذلك نستكشف بناء AutoNCoder على مستوى الجملة من نموذج لغة محول محول مسبقا. نحن نقوم بتكييف هدف نمذجة اللغة الملثمين كإنتاجية، وتمديد واحد، في حين أن تدرب فقط عنق الزجاجات الجملة ومكتشف محول بطبقة واحدة. نوضح أن تمثيلات الجملة التي اكتشفها طرازنا تحقق جودة أفضل من الأساليب السابقة التي استخراج تمثيلات من المحولات المسبدة مسبقا على مهام تشابه النص، ونقل النمط (مثال على الجيل الخاضع للرقابة)، ومهام تصنيف الجملة واحدة في معيار الغراء، أثناء استخدام عدد أقل من النماذج المحددة مسبقا.
نقدم طلباتنا إلى المهمة المشتركة WMT21 في الترجمة من موارد الموارد غير المنخفضة وغير المنخفضة للغاية بين الألمانية والألمانية والصورة الألمانية والسوربيانية، والروسية والجمع.يتم تدريب أنظمةنا المنخفضة الموارد (German↔upper Sorbian، Russian↔chuvash) م
سبقا على أزواج عالية الموارد لغات ذات صلة.نحن نغلق هذه الأنظمة باستخدام البيانات الموازية الأصلية المتاحة وتحسينها من خلال الترجمة مرة أخرى مرة أخرى.يتم تهيئة نظام Sorbian German↔Lower غير المعدل من قبل أفضل نظام Sorbian العلوي وتحسينه من خلال الترجمة مرة أخرى باستخدام بيانات أحادية الاتجاه فقط.
تم إحراك المصالح المتزايدة في أنظمة الموافقة على المحادثة (CRS)، والتي تستكشف تفضيل المستخدم من خلال تفاعلات المحادثة من أجل تقديم توصية مناسبة. ومع ذلك، لا يزال هناك نقص في القدرة في CRS الحالية إلى (1) اجتياز مسارات التفكير المتعددة على المعرفة الأ
ساسية لإدخال العناصر والسمات ذات الصلة، و (2) ترتيب كيانات مختارة بشكل مناسب بموجب نود النظام الحالي للسيطرة على جيل الاستجابة. لمعالجة هذه المشكلات، نقترح Walker CR-Walker في هذه الورقة، وهو نموذج يقوم بتنفيذ التفكير منظم في الأشجار في رسم بياني للمعرفة، ويولد أعمال حوار إعلامية لتوجيه توليد اللغة. ينظر المخطط الفريد من المنطق المنظم في الأشجار إلى الكيان اجتاز كل قفزة كجزء من أعمال الحوار لتسهيل توليد اللغة، والذي يربط كيف يتم اختيار الكيانات والأعرب عنها. تظهر التقييمات التلقائية والبشرية أن CR-Walker يمكن أن يصل إلى توصية أكثر دقة، وتوليد استجابات أكثر إعلامية وجذابة.
يتم إنشاء مجموعات بيانات الحوار الشائعة مثل MultiWoz من خلال توفير تعليمات حشد من التعليمات، معبرا عنها بلغة طبيعية، والتي تصف المهمة التي يجب إنجازها.يلعب عمال الحشد دور مستخدم وكيل لتوليد الحوار لإنجاز المهام التي تنطوي على جداول حجز مطعم، وتدعو إل
ى سيارة أجرة وما إلى ذلك. في هذه الورقة، نقدم استراتيجية إنشاء بيانات تستخدم نموذج اللغة المدرب مسبقا، GPT2، لمحاكاةالتفاعل بين عمال الحشد من خلال إنشاء روبوت مستخدم وبوت وكيل.نحن ندرب المحاكاة باستخدام نسبة أصغر من المحادثات الناتجة عن الحشود الفعلية وتعليماتها المقابلة.نوضح ذلك باستخدام البيانات المحاكاة، نحقق تحسينات كبيرة في إعدادات الموارد المنخفضة على مجموعة بيانات متوفرة للجمهور - مجموعة بيانات MultiWoz و DataSet Chamenta.
نحن تصف أنظمة NMT الخاصة بنا المقدمة إلى المهمة المشتركة WMT2021 في ترجمة الأخبار الإنجليزية - التشيكية: CUNI-DOCTRANSFORMER (CUBBITT على مستوى المستند) و Cuni-Marian-Baselines.نحن نحسن السابق بمعالجة أفضل من تجزئة الجملة وعلاج ما بعد معالجة الأخطاء
في تحديد الأرقام والوحدات.نحن نستخدم الأخير للتجارب مع تقنيات الخلفية المختلفة.
تتطلب مربعات الحوار التوصية النظام لبناء رابطة اجتماعية مع المستخدمين للحصول على الثقة وتطوير تقارب من أجل زيادة فرصة توصية ناجحة. من المفيد تقسيم هذه المحادثات، مثل هذه المحادثات مع مجموعات متعددة (مثل الدردشة الاجتماعية، الإجابة على السؤال، والتوصي
ة، وما إلى ذلك)، بحيث يمكن للنظام استرداد المعرفة المناسبة بدقة أفضل بموجب علمي مختلفين. في هذه الورقة، نقترح إطارا موحدا للحوار المشترك متعدد الهيئات المستندة إلى المعرفة: نظام التوصية المحسن المعزز للمعارف (KERS). نتنبأ أولا بتسلسل من الفئة الفرعية واستخدامها لتوجيه نموذج الحوار لتحديد المعرفة من مجموعة فرعية من الرسم البياني المعرفي الحالي. ثم نقترح ثلاث آليات جديدة لتصفية المعرفة الصاخبة وتعزيز إدراج المعرفة التي تنظيفها في عملية توليد استجابة الحوار. تظهر التجارب أن طريقتنا تحصل على نتائج حديثة على مجموعة بيانات Dreecdial في كل من التقييم التلقائي والبشري.
تجرب الكثير من سكان العالم بعض أشكال الإعاقة خلال حياتهم.يجب ممارسة الحذر أثناء تصميم أنظمة معالجة اللغة الطبيعية (NLP) لمنع الأنظمة من إدامة التحيز القوي عن غير قصد ضد الأشخاص ذوي الإعاقة، أي الإخلال بفضل القدرات النموذجية.نبلغ عن التحليلات المختلفة
بناء على تنبؤات كلمة لنموذج لغة بيرت واسعة النطاق.تظهر النتائج ذات دلالة إحصائية أن الأشخاص ذوي الإعاقة يمكنين محرومين.استكشاف النتائج أيضا أشكال التمييز المتداخلة المتعلقة بالجنس المترابط والهويات العرقية.
عادة ما تحتوي أنظمة الانتقال على العديد من الهياكل الديناميكية (على سبيل المثال، المداخن، المخازن المؤقتة).يجب أن يرميز النموذج المثالي في الانتقال هذه الهياكل تماما وكفاءة.تعمل الأعمال السابقة على الاعتماد على قوالب أو هياكل الشبكة العصبية إما تشفير
معلومات بنية جزئية أو تعاني من كفاءة الحساب.في هذه الورقة، نقترح تمثيل تشفير جديد يستند إلى الانتباه إلى جميع الهياكل في نظام انتقالي.على وجه التحديد، نقوم بفصل وجهتين على العناصر الموجودة في الهياكل، وهي طريقة عرض هيكل ثابتة وعرض تعتمد على الهيكل.بمساعدة شبكة الاهتمام الصديقة بالتوازي، نحن قادرون على تشفير الدول الانتقالية مع O (1) تعقيد إضافي (فيما يتعلق باستخراج الميزة الأساسية).تظهر التجارب على PTB و UD أن طريقةنا المقترحة تعمل بشكل كبير على تحسين سرعة الاختبار وتحقق أفضل نموذج يستند إلى الانتقال، ومقارنة مع الطرق الحديثة.
تصف هذه الورقة نظام الترجمة من مختبر الأبحاث الجوية (AFRL) والتحسينات التي تم تطويرها خلال حملة تقييم WMT21.هذا العام، نستكشف أساليب مختلفة تكييف نماذج الأساس لدينا من WMT20 ومرة أخرى قياس التحسينات في الأداء على زوج اللغة الروسية - الإنجليزية.
تصف هذه الورقة أنظمة الترجمة الآلية العصبية Niutrans لمهام الترجمة من الأخبار WMT 2021.لقد جعلنا التقديمات إلى 9 اتجاهات لغة، بما في ذلك محاميات اللغة الإنجليزية، اليابانية والروسية والأيسلندية والأيسلندية والإنجليزية.بنيت أنظمتنا الأساسية على العديد
من المتغيرات الفعالة من المحولات، على سبيل المثال، محول DLCL، ODE-Transformer.نحن نستخدم أيضا الترجمة مرة أخرى، وقطاع المعرفة، وتقنيات ما بعد الفرقة، والتقنيات الدقيقة للتكرار لتعزيز الأداء النموذجي كذلك.
