نقترح نموذج وضع العلامات العصبي الرواية على الجهاز يستخدم توقعات خالية من التضمين ومعلومات الأحرف لبناء تمثيلات كلمة مضغوطة لتعلم نموذج تسلسل باستخدام مزيج من LSTM ثنائي الاتجاه مع انتباه الذات و CRF. على عكس نماذج الحوار النموذجية التي تعتمد على هيا
كل الشبكة العصبية الضخمة والمعقدة ومحولات مدربة مسبقا على نطاق واسع لتحقيق نتائج أحدث، فإن طريقتنا تحقق نتائج قابلة للمقارنة إلى بيرت وحتى تتفوق على التبرع البديل الأصغر في استخراج فتحة المحادثة مهام. طريقةنا أسرع من نماذج بيرت مع تحقيق تخفيض كبير في الحجم النموذجي - نموذجنا يتطلب 135x و 81x عدد أقل من المعلمات النموذجية من Bert and Distilbert، على التوالي. نقوم بإجراء تجارب على مجموعات بيانات محادثة متعددة وإظهار تحسينات كبيرة على الأساليب الحالية بما في ذلك النماذج الحديثة على الجهاز. تظهر النتائج التجريبية ودراسات الاجتثاث أيضا أن نماذجنا العصبية تحافظ على بصمة الذاكرة الصغيرة اللازمة للعمل على الأجهزة الذكية، مع الحفاظ على الأداء العالي.
في هذه الورقة، ندرس استخدام النماذج اللغوية المدربة مسبقا لتمكين توليد لغة البندقية القليلة (NLG) في أنظمة الحوار الموجهة نحو المهام. نقدم نظاما يتكون من التدريب الذاتي التكراري وإطار قالب صغير قابل للتوسيع يتم تخصيص بيانات الإدخال المهيكلة في نص شبه
طبيعي للاستفادة الكاملة من نماذج اللغة المدربة مسبقا. نحن نقارن تمثيلات Var Ious لإدخال ونماذج NLG وإخراجها وإظهار أن تحويل المدخلات والمخرجات لتكون مشابهة لما شابه نموذج اللغة من قبل أثناء التدريب المسبق يحسن أداء الطراز القليل من الطرازات. نظظ أن Mod-Els العصبي يمكن تدريبها على أساس عدد قليل من الأمثلة المشروحة مع توفير الدقة العالية، وخفضت إلى حد كبير متطلبات الموارد الخاصة بوقوف مجال جديد أو لغة. هذا مستوى كفاءة البيانات يزيل الحاجة إلى جمع بيانات الحشد مما أدى إلى جودة أعلى جودة مشروح من قبل اللغويين الخبراء. بالإضافة إلى ذلك، ستحسن عمليات صيانة النموذج والتصحيح في هذا الإعداد القليل من الرصاص. أخيرا، نستكشف تقطير واستخدام نظام التخزين المؤقت لإرضاء متطلبات الكمون لأنظمة العالم الحقيقي.
