يقتصر معظم العمل المسبق على أنظمة الحوار الموجهة نحو المهام على دعم واجهات برمجة التطبيقات في المجال.ومع ذلك، قد يكون لدى المستخدمين طلبات خارج نطاق واجهات برمجة التطبيقات هذه.يركز هذا العمل على تحديد طلبات المستخدمين هذه.تعتمد الطرق الحالية لهذه الم
همة بشكل أساسي على النماذج المدربة مسبقا بشكل صحيح على البيانات المشروحة الكبيرة.نقترح طريقة رواية، ريد، بناء على تقدير التعلم والكثافة التكيفية.يمكن تطبيق Rede على حالات الطابع الصفرية، ويتدرك بسرعة كاشف عالية الأداء مع بعض الطلقات فقط عن طريق تحديث أقل من المعلمات 3K.نوضح أداء Rede التنافسي في بيانات DSTC9 ومجموعة اختبار مجمعة حديثا.
لقد أظهر العمل السابق أن أنظمة التسجيل الآلي للمقالات، ولا سيما أنظمة التعلم في الجهاز، ليست قادرة على تقييم جودة المقالات، ولكنها تعتمد على طول المقال، وهو عامل غير ذي صلة لكتابة الكفاءة.في هذا العمل، نوضح أولا أن الأنظمة الحديثة، أنظمة التسجيل العص
بي العصبي الحديثة، قد تتأثر أيضا بالارتباط بين طول المقال وعشرات في مجموعة بيانات قياسية.في تقييمنا، يظهر نموذج عصبي بسيط للغاية الأداء الحديث في مجموعة البيانات القياسية.للنظر في محتوى المقالات دون تناول طول المقالات في الاعتبار، نقدم نموذج عصبي بسيط تقييم تشابه المحتوى بين مقال الإدخال والمقالات تعيين درجات مختلفة.يحقق هذا النموذج العصبي أداء مماثل لدولة الفن على مجموعة بيانات قياسية وكذلك في مجموعة بيانات ثانية.تشير النتائج التي توصلنا إليها إلى أن أنظمة تسجيل المقالات العصبية يجب أن تنظر في خصائص مجموعات البيانات للتركيز على جودة النص.
تصف هذه الورقة نظام الترجمة من مختبر الأبحاث الجوية (AFRL) والتحسينات التي تم تطويرها خلال حملة تقييم WMT21.هذا العام، نستكشف أساليب مختلفة تكييف نماذج الأساس لدينا من WMT20 ومرة أخرى قياس التحسينات في الأداء على زوج اللغة الروسية - الإنجليزية.
أصبحت التمثيل التعلم للنص عبر الاحتمالات نموذج لغة على كوربوس كبيرة أصبح نقطة انطلاق قياسية لبناء أنظمة NLP. يقف هذا النهج على النقيض من السيارات الآلية، كما تم تدريبه على النص الخام، ولكن بهدف التعلم لترميز كل إدخال كجاغر يتيح إعادة الإعمار الكامل.
AutoNCoders جذابة بسبب هيكل الفضاء الكامن وخصائصها التوليدية. لذلك نستكشف بناء AutoNCoder على مستوى الجملة من نموذج لغة محول محول مسبقا. نحن نقوم بتكييف هدف نمذجة اللغة الملثمين كإنتاجية، وتمديد واحد، في حين أن تدرب فقط عنق الزجاجات الجملة ومكتشف محول بطبقة واحدة. نوضح أن تمثيلات الجملة التي اكتشفها طرازنا تحقق جودة أفضل من الأساليب السابقة التي استخراج تمثيلات من المحولات المسبدة مسبقا على مهام تشابه النص، ونقل النمط (مثال على الجيل الخاضع للرقابة)، ومهام تصنيف الجملة واحدة في معيار الغراء، أثناء استخدام عدد أقل من النماذج المحددة مسبقا.
نقدم طلباتنا إلى المهمة المشتركة WMT21 في الترجمة من موارد الموارد غير المنخفضة وغير المنخفضة للغاية بين الألمانية والألمانية والصورة الألمانية والسوربيانية، والروسية والجمع.يتم تدريب أنظمةنا المنخفضة الموارد (German↔upper Sorbian، Russian↔chuvash) م
سبقا على أزواج عالية الموارد لغات ذات صلة.نحن نغلق هذه الأنظمة باستخدام البيانات الموازية الأصلية المتاحة وتحسينها من خلال الترجمة مرة أخرى مرة أخرى.يتم تهيئة نظام Sorbian German↔Lower غير المعدل من قبل أفضل نظام Sorbian العلوي وتحسينه من خلال الترجمة مرة أخرى باستخدام بيانات أحادية الاتجاه فقط.
تم إحراك المصالح المتزايدة في أنظمة الموافقة على المحادثة (CRS)، والتي تستكشف تفضيل المستخدم من خلال تفاعلات المحادثة من أجل تقديم توصية مناسبة. ومع ذلك، لا يزال هناك نقص في القدرة في CRS الحالية إلى (1) اجتياز مسارات التفكير المتعددة على المعرفة الأ
ساسية لإدخال العناصر والسمات ذات الصلة، و (2) ترتيب كيانات مختارة بشكل مناسب بموجب نود النظام الحالي للسيطرة على جيل الاستجابة. لمعالجة هذه المشكلات، نقترح Walker CR-Walker في هذه الورقة، وهو نموذج يقوم بتنفيذ التفكير منظم في الأشجار في رسم بياني للمعرفة، ويولد أعمال حوار إعلامية لتوجيه توليد اللغة. ينظر المخطط الفريد من المنطق المنظم في الأشجار إلى الكيان اجتاز كل قفزة كجزء من أعمال الحوار لتسهيل توليد اللغة، والذي يربط كيف يتم اختيار الكيانات والأعرب عنها. تظهر التقييمات التلقائية والبشرية أن CR-Walker يمكن أن يصل إلى توصية أكثر دقة، وتوليد استجابات أكثر إعلامية وجذابة.
يتم إنشاء مجموعات بيانات الحوار الشائعة مثل MultiWoz من خلال توفير تعليمات حشد من التعليمات، معبرا عنها بلغة طبيعية، والتي تصف المهمة التي يجب إنجازها.يلعب عمال الحشد دور مستخدم وكيل لتوليد الحوار لإنجاز المهام التي تنطوي على جداول حجز مطعم، وتدعو إل
ى سيارة أجرة وما إلى ذلك. في هذه الورقة، نقدم استراتيجية إنشاء بيانات تستخدم نموذج اللغة المدرب مسبقا، GPT2، لمحاكاةالتفاعل بين عمال الحشد من خلال إنشاء روبوت مستخدم وبوت وكيل.نحن ندرب المحاكاة باستخدام نسبة أصغر من المحادثات الناتجة عن الحشود الفعلية وتعليماتها المقابلة.نوضح ذلك باستخدام البيانات المحاكاة، نحقق تحسينات كبيرة في إعدادات الموارد المنخفضة على مجموعة بيانات متوفرة للجمهور - مجموعة بيانات MultiWoz و DataSet Chamenta.
نحن تصف أنظمة NMT الخاصة بنا المقدمة إلى المهمة المشتركة WMT2021 في ترجمة الأخبار الإنجليزية - التشيكية: CUNI-DOCTRANSFORMER (CUBBITT على مستوى المستند) و Cuni-Marian-Baselines.نحن نحسن السابق بمعالجة أفضل من تجزئة الجملة وعلاج ما بعد معالجة الأخطاء
في تحديد الأرقام والوحدات.نحن نستخدم الأخير للتجارب مع تقنيات الخلفية المختلفة.
تتطلب مربعات الحوار التوصية النظام لبناء رابطة اجتماعية مع المستخدمين للحصول على الثقة وتطوير تقارب من أجل زيادة فرصة توصية ناجحة. من المفيد تقسيم هذه المحادثات، مثل هذه المحادثات مع مجموعات متعددة (مثل الدردشة الاجتماعية، الإجابة على السؤال، والتوصي
ة، وما إلى ذلك)، بحيث يمكن للنظام استرداد المعرفة المناسبة بدقة أفضل بموجب علمي مختلفين. في هذه الورقة، نقترح إطارا موحدا للحوار المشترك متعدد الهيئات المستندة إلى المعرفة: نظام التوصية المحسن المعزز للمعارف (KERS). نتنبأ أولا بتسلسل من الفئة الفرعية واستخدامها لتوجيه نموذج الحوار لتحديد المعرفة من مجموعة فرعية من الرسم البياني المعرفي الحالي. ثم نقترح ثلاث آليات جديدة لتصفية المعرفة الصاخبة وتعزيز إدراج المعرفة التي تنظيفها في عملية توليد استجابة الحوار. تظهر التجارب أن طريقتنا تحصل على نتائج حديثة على مجموعة بيانات Dreecdial في كل من التقييم التلقائي والبشري.
من المتوقع أن تحتوي أنظمة التسمية على الصور القدرة على الجمع بين المفاهيم الفردية عند وصف المشاهد مع مجموعات المفاهيم التي لم يتم ملاحظتها أثناء التدريب. على الرغم من التقدم الكبير في تقسيم الصور بمساعدة إطار الجيل التلقائي التلقائي، تفشل النهج الحال
ية في التعميم بشكل جيد إلى مجموعات مفهوم جديدة. نقترح إطارا جديدا يدور حول التحقيق في العديد من مثيلات تدريب التسمية التوضيحية في الصورة المماثلة (استرجاع)، وأداء المناسبات التناظرية على الكيانات ذات الصلة في النماذج الأولية المستردة (القياس)، وتعزيز عملية التوليد بنتائج المنطق (التكوين). تعزز طريقةنا نموذج الجيل عن طريق الإشارة إلى الحالات المجاورة في التدريب المحدد لإنتاج مجموعات مفهوم جديدة في التسميات التوضيحية المولدة. نقوم بإجراء تجارب على معايير تقسيم الصور المستخدمة على نطاق واسع. تحقق النماذج المقترحة تحسنا كبيرا على أساس الأساس المقارنة على كل من مقاييس التقييم المرتبطة بالتكوين ومقاييس تقسيم الصور التقليدية.
