يأتي تلخيص الحوار مع تحديات خاصة به على عكس تلخيص الأخبار أو المقالات العلمية. في هذا العمل، نستكشف أربعة تحديات مختلفة لهذه المهمة: التعامل مع أجزاء من الحوار والتمييز بين المتحدثين المتعددين، وفهم النفي، والمنطق حول الوضع، وفهم اللغة غير الرسمية.
باستخدام نموذج لغة متسلسل مدرب مسبقا، نستكشف محل استبدال اسم المتكلم، وإبراز نطاق النفي، والتعلم المتعدد المهام مع المهام ذات الصلة، وإحصاء البيانات داخل المجال.تظهر تجاربنا أن تقنياتنا المقترحة تحسن أداء الملخصات، وتتفوق على نظم أساسية قوية.
البحث في أنظمة الحوار مفتوح المجال التي تسمح بمواضيع مجانية صعبة في مجال معالجة اللغات الطبيعية (NLP). تم تحسين أداء نظام الحوار مؤخرا من خلال الطريقة التي تستخدم المعرفة المتعلقة بالحوار؛ ومع ذلك، فإن أنظمة الحوار غير الإنجليزية تعاني من إعادة إنتاج
أداء أنظمة الحوار باللغة الإنجليزية لأن تأمين المعرفة بنفس اللغة مع نظام الحوار صعب نسبيا. من خلال تجارب مع نظام حوار كوري، تثبت هذه الورقة أن أداء نظام الحوار غير الإنجليزي يمكن تحسينه عن طريق استخدام المعرفة الإنجليزية، وتسليط الضوء على النظام يستخدم المعرفة عبر اللغات. بالنسبة للتجارب، نحن 1) شيدنا نسخة كورية من معالج DataSet Wikipedia، 2) بنيت Korean-English T5 (KE-T5)، وهي نموذج لغة مدرب مسبقا مع كوريا والإنجليزية، و 3) طورت المعرفة وضع نموذج الحوار الكوري على أساس KE-T5. لاحظنا تحسين الأداء في نموذج الحوار الكوري مفتوح المجال حتى تم تقديم المعرفة الإنجليزية فقط. أظهرت النتائج التجريبية أن المعرفة المتأصلة في نماذج اللغة عبر اللغات يمكن أن تكون مفيدة لتوليد الاستجابات في أنظمة الحوار المفتوحة.
يعد عدم وجود بيانات تدريبية المسمى للميزات الجديدة مشكلة شائعة في أنظمة الحوار في العالم الحقيقي المتغيرة بسرعة.كحل، نقترح نموذج توليد إعادة صياغة متعددة اللغات يمكن استخدامه لإنشاء كلمات جديدة للميزة المستهدفة واللغة المستهدفة.يمكن استخدام الكلام ال
ذي تم إنشاؤه لزيادة بيانات التدريب الحالية لتحسين تصنيف نماذج وضع العلامات الفضائية.نحن نقيم جودة الكلام التي تم إنشاؤها باستخدام مقاييس التقييم الجوهرية وإجراء تجارب التقييم المصب مع اللغة الإنجليزية كلغة مصدر وتسع لغات مستهدفة مختلفة.تعرض طريقنا وعد عبر اللغات، حتى في إعداد طلقة صفرية حيث لا توجد بيانات بذرة متاحة.
على الرغم من التقدم الرائع في مجال الوسائط الحسابية، غالبا ما تعتمد نظم الحوار المعنية ذات المهام الجدلية على المعرفة المهيكلة حول الحجج وعلاقاتها. نظرا لأن الاستحواذ اليدوي لهياكل الوسيطة هذه تستغرق وقتا طويلا، فإن النظم المقابلة غير مرنة فيما يتعلق
بالموضوعات التي يمكنهم مناقشتها. لمعالجة هذه المشكلة، نقترح مجموعة من أنظمة الحوار الجدلية مع تكنولوجيا البحث الحجة التي تمكن النظام من مناقشة أي موضوع يقوم بمحرك البحث قادرا على العثور على حجج مناسبة. يستخدم نهجنا تصنيف العلاقة المستندة إلى التعلم في التعلم لتعيين الحجج المستردة في بنية شجرة عامة للاستخدام في أنظمة الحوار. نقيم النهج مع حالة من محرك البحث الفني ونموذج حوار تم إدخاله مؤخرا في دراسة مستخدم مكثفة فيما يتعلق بتماسك الحوار. تختلف النتائج بين الموضوعات التي تم التحقيق فيها (وبالتالي تعتمد على جودة البيانات الأساسية) ولكنها في بعض الحالات قريبة بشكل مدهش من النتائج التي تحققت مع هيكل الوسيطة المشروح يدويا.
في أنظمة الحوار، يقوم مكون فهم اللغة الطبيعي (NLU) عادة بقرار التفسير (بما في ذلك المجال، النية والفتحات) عن كلام قبل حل الكيانات المذكورة.قد ينتج عن هذا أخطاء تصنيف النوايا وعلامات الفتحة.في هذا العمل، نقترح نفايات ميزات دقة الكيان (ER) في NLU Reran
king وإدخال مصطلح خسائر رواية بناء على إشارات إيه لتحسين تعلم الأوزان النموذجية في إطار إعادة النشر.بالإضافة إلى ذلك، للحصول على سيناريو حوار متعدد المجالات، نقترح طريقة مطابقة توزيع النتيجة لضمان درجات الناتجة عن نماذج Reranking NLU من النطاقات المختلفة معايرة بشكل صحيح.في التجارب دون اتصال بالإنترنت، نوضح نهجنا المقترح تفوق بشكل كبير على نموذج خط الأساس على كل من تقييمات المجال الواحدة والعبر.
اكتسبت النماذج الإدارية لأنظمة الحوار اهتماما كبيرا بسبب النجاح الأخير من RNN والنماذج القائمة على المحولات في مهام مثل الإجابة على الأسئلة والتلخيص. على الرغم من أن مهمة استجابة الحوار ينظر إليها عموما على أنها تسلسل للتسلسل (SEQ2SEQ) المشكلة، فقد و
جدت الباحثون في الماضي أنه يمثل تحديا لتدريب أنظمة الحوار باستخدام نماذج SEQ2SEQ القياسية. لذلك، لمساعدة النموذج على تعلم نطق حقيقي وميزات مستوى المحادثة، Sordoni et al. (2015B)، serban et al. (2016) بنية RNN الهرمية المقترحة، التي تم اعتمادها لاحقا من قبل العديد من أنظمة الحوار RNN الأخرى. مع النماذج القائمة على المحولات التي تسيطر على مشاكل SEQ2SeQ مؤخرا، فإن السؤال الطبيعي الذي يجب طرحه هو قابلية مفهوم التسلسل الهرمي في أنظمة الحوار المحول. في هذه الورقة، نقترح إطارا عمليا لترميز المحولات الهرمية وإظهار كيف يمكن تحويل محول قياسي إلى أي ترميز هرمي، بما في ذلك Hred و Hibert مثل النماذج، باستخدام أقنعة اهتمام مصممة خصيصا والترميزات الموضعية. نوضح أن الترميز الهرمي يساعد في تحقيق فهم لغوي أفضل في اللغة الطبيعية للسياق في النماذج القائمة على المحولات لأنظمة الحوار الموجهة نحو المهام من خلال مجموعة واسعة من التجارب.
