وقد حققت نماذج اللغة المدربة على نطاق واسع (LMS) أداء مستوى بشري على اتساع مهام فهم اللغة.ومع ذلك، فإن التقييمات فقط بناء على أداء المهام النهائي ألقت الضوء قليلا على الآلات القدرة الحقيقية في فهم اللغة والتفكير.في هذه الورقة، نسلط الضوء على أهمية تق
ييم عملية التفكير الأساسية بالإضافة إلى الأداء النهائي.نحو هذا الهدف، نقدم المنطق المتدرج في الفيزياء البديهية (الرحلة)، وهناك مجموعة بيانات المنطق الرواية المنطقية مع شروح كثيفة تمكن التقييم متعدد المتدرج لعملية التفكير الآلات.تظهر نتائج التجريبية الخاصة بنا أنه في حين أن LMS كبيرة يمكن أن تحقق أداء متطورا للغاية، إلا أنهم يكافحون لدعم تنبؤاتهم بأدلة داعمة صالحة.ستحفز مجموعة بيانات الرحلة ونتائج أساسية لدينا لتحفيز تقييم يمكن التحقق منه من المنطق المنطقي وتسهيل البحوث المستقبلية نحو تطوير نماذج أفضل لغات وتفكير اللغة.
تحتوي العديد من مجموعات بيانات NLP الجماعية على القطع الأثرية المنهجية التي تم تحديدها فقط بعد اكتمال جمع البيانات. يجب أن يسهل تحديد الهوية السابقة من هذه القضايا إنشاء بيانات تدريبية وتقييم عالية الجودة. نحاول ذلك عن طريق تقييم البروتوكولات التي يع
مل فيها اللغويين الخبراء في الحلقة "أثناء جمع البيانات لتحديد هذه المشكلات ومعالجتها عن طريق ضبط تعليمات المهام والحوافز. باستخدام الاستدلال اللغوي الطبيعي كحالة اختبار، قارن ثلاثة بروتوكولات جمع البيانات: (1) بروتوكول أساسي مع عدم وجود تورط لغوي، (2) تدخل لغوي في حلقة مع قيود محدثة بشكل متطور على مهمة الكتابة، و (3) تمديد يضيف التفاعل المباشر بين اللغويين والملائقيين عبر غرفة الدردشة. نجد أن المشاركة اللغوية لا تؤدي إلى زيادة الدقة على مجموعات اختبار خارج المجال مقارنة مع خط الأساس، وإضافة غرفة من الدردشة ليس لها تأثير على البيانات. ومع ذلك، فإن المشاركة اللغوية تؤدي إلى بيانات تقييم أكثر تحديا ودقة أعلى في بعض مجموعات التحدي، مما يدل على فوائد دمج تحليل الخبراء أثناء جمع البيانات.
أحد كتل المبنى الأولى لإنشاء مساعد صوت يتعلق بمهمة وضع علامة الكيانات أو السمات في استعلامات المستخدم. يمكن أن يكون هذا تحديا بشكل خاص عندما تكون الكيانات في العاشر من الملايين، كما هو الحال على سبيل المثال كتالوجات الموسيقى. تتطلب نماذج وضع العلامات
التدريبية التدريبية على نطاق صناعي كميات كبيرة من استفسارات المستخدم المسمى بدقة، والتي غالبا ما تكون صعبة ومكلفة لجمعها. من ناحية أخرى، جمع المساعدون الصوتيين عادة الكثير من الاستفسارات غير المستمرة التي لا تزال غير منفصلة في كثير من الأحيان. تقدم هذه الورقة منهجية خاضعة للإشراف ضعيفا لتسمية كميات كبيرة من سجلات الاستعلام الصوتية، معززة مع خطوة تصفية يدوية. تظهر التقييمات التجريبية لدينا أن نماذج علامات الشريعة المدربة على البيانات المتفوقة على البيانات التي تجريب ضعيف تدربت على البيانات المشروحة باليد أو الاصطناعية، بتكلفة أقل. علاوة على ذلك، يؤدي التصفية اليدوية للبيانات الخاضعة للإشراف إلى انخفاض كبير في معدل خطأ العقوبة، مع السماح لنا بتقليل جهود الرعاية البشرية بشكل كبير من أسابيع إلى ساعات، فيما يتعلق بالتعليق اليدوي للاستفسارات. يتم تطبيق الطريقة بنجاح Bootstrap نظام علامات Slot لخدمة تدفق الموسيقى الرئيسية التي تخدم حاليا العديد من عشرات الآلاف من الاستفسارات الصوتية اليومية.
في أنظمة الحوار، يقوم مكون فهم اللغة الطبيعي (NLU) عادة بقرار التفسير (بما في ذلك المجال، النية والفتحات) عن كلام قبل حل الكيانات المذكورة.قد ينتج عن هذا أخطاء تصنيف النوايا وعلامات الفتحة.في هذا العمل، نقترح نفايات ميزات دقة الكيان (ER) في NLU Reran
king وإدخال مصطلح خسائر رواية بناء على إشارات إيه لتحسين تعلم الأوزان النموذجية في إطار إعادة النشر.بالإضافة إلى ذلك، للحصول على سيناريو حوار متعدد المجالات، نقترح طريقة مطابقة توزيع النتيجة لضمان درجات الناتجة عن نماذج Reranking NLU من النطاقات المختلفة معايرة بشكل صحيح.في التجارب دون اتصال بالإنترنت، نوضح نهجنا المقترح تفوق بشكل كبير على نموذج خط الأساس على كل من تقييمات المجال الواحدة والعبر.
