تتيح المعالجة الإضافية أنظمة تفاعلية تستجيب بناء على المدخلات الجزئية، وهي خاصية مرغوبة على سبيل المثال في عوامل الحوار. تقوم بنية المحولات الشعبية حاليا بطبيعتها بمعالجة التسلسلات ككل، تجرد فكرة الوقت. محاولات العمل الحديثة لتطبيق المحولات بشكل تدري
جي عن طريق إعادة التشغيل - تدريجيا من خلال التغذية بشكل متكرر، إلى نموذج غير متقلب، بادئات إدخال أطول بشكل متزايد لإنتاج مخرجات جزئية. ومع ذلك، فإن هذا النهج مكلف بشكل حسابي ولا يتجادل بكفاءة للتسلسل الطويل. بالتوازي، نشهد جهود لجعل المحولات أكثر كفاءة، على سبيل المثال المحول الخطي (LT) مع آلية تكرار. في هذا العمل، ندرس جدوى LT ل NLU تدريجي باللغة الإنجليزية. تبين نتائجنا أن نموذج LT المتكرر لديه أفضل أداء تدريجي وسرعة الاستدلال أسرع مقارنة بالمحول القياسي واللفنت مع إعادة التشغيل التدريجي، بتكلفة جزء من جودة غير متزايدة (التسلسل الكامل). نظرا لأن إسقاط الأداء يمكن تخفيفه عن طريق تدريب النموذج لانتظار السياق الصحيح قبل الالتزام بإخراج وأن التدريب بادئة الإدخال مفيد لتقديم المخرجات الجزئية الصحيحة.
وقد حققت نماذج اللغة المدربة على نطاق واسع (LMS) أداء مستوى بشري على اتساع مهام فهم اللغة.ومع ذلك، فإن التقييمات فقط بناء على أداء المهام النهائي ألقت الضوء قليلا على الآلات القدرة الحقيقية في فهم اللغة والتفكير.في هذه الورقة، نسلط الضوء على أهمية تق
ييم عملية التفكير الأساسية بالإضافة إلى الأداء النهائي.نحو هذا الهدف، نقدم المنطق المتدرج في الفيزياء البديهية (الرحلة)، وهناك مجموعة بيانات المنطق الرواية المنطقية مع شروح كثيفة تمكن التقييم متعدد المتدرج لعملية التفكير الآلات.تظهر نتائج التجريبية الخاصة بنا أنه في حين أن LMS كبيرة يمكن أن تحقق أداء متطورا للغاية، إلا أنهم يكافحون لدعم تنبؤاتهم بأدلة داعمة صالحة.ستحفز مجموعة بيانات الرحلة ونتائج أساسية لدينا لتحفيز تقييم يمكن التحقق منه من المنطق المنطقي وتسهيل البحوث المستقبلية نحو تطوير نماذج أفضل لغات وتفكير اللغة.
نتعامل مع مشكلة شبكات التدريب الذاتي ل NLU في بيئة الموارد المنخفضة --- عدد قليل من البيانات المسمى والكثير من البيانات غير المسماة. إن فعالية التدريب الذاتي هي نتيجة لزيادة مقدار البيانات التدريبية أثناء التدريب. ومع ذلك، يصبح أقل فعالية في إعدادات
الموارد المنخفضة بسبب الملصقات غير الموثوقة المتوقعة بواسطة نموذج المعلم على البيانات غير المسبقة. تم استخدام قواعد القواعد، التي تصف الهيكل النحوي للبيانات، في NLU للحصول على شرح أفضل. نقترح استخدام قواعد القواعد في التدريب الذاتي كآلية وضع العلامات الزائفة أكثر موثوقية، خاصة عندما يكون هناك عدد قليل من البيانات المسمى. نقوم بتصميم خوارزمية فعالة تقوم ببناء وتوسيع قواعد قواعد اللغة دون تورط بشري. ثم ندمج القواعد المبنية كآلية وضع العلامات الزائفة في التدريب الذاتي. هناك سيناريوهات محتملة فيما يتعلق بتوزيع البيانات: غير معروف أو معروف في التدريب قبل التدريب. إننا نوضح تجريبيا أن نهجنا يتفوق بشكل كبير على الأساليب الحديثة في ثلاث مجموعات بيانات معيار لكل من السيناريوهات.
تحتوي العديد من مجموعات بيانات NLP الجماعية على القطع الأثرية المنهجية التي تم تحديدها فقط بعد اكتمال جمع البيانات. يجب أن يسهل تحديد الهوية السابقة من هذه القضايا إنشاء بيانات تدريبية وتقييم عالية الجودة. نحاول ذلك عن طريق تقييم البروتوكولات التي يع
مل فيها اللغويين الخبراء في الحلقة "أثناء جمع البيانات لتحديد هذه المشكلات ومعالجتها عن طريق ضبط تعليمات المهام والحوافز. باستخدام الاستدلال اللغوي الطبيعي كحالة اختبار، قارن ثلاثة بروتوكولات جمع البيانات: (1) بروتوكول أساسي مع عدم وجود تورط لغوي، (2) تدخل لغوي في حلقة مع قيود محدثة بشكل متطور على مهمة الكتابة، و (3) تمديد يضيف التفاعل المباشر بين اللغويين والملائقيين عبر غرفة الدردشة. نجد أن المشاركة اللغوية لا تؤدي إلى زيادة الدقة على مجموعات اختبار خارج المجال مقارنة مع خط الأساس، وإضافة غرفة من الدردشة ليس لها تأثير على البيانات. ومع ذلك، فإن المشاركة اللغوية تؤدي إلى بيانات تقييم أكثر تحديا ودقة أعلى في بعض مجموعات التحدي، مما يدل على فوائد دمج تحليل الخبراء أثناء جمع البيانات.
تم تطبيق نهج التعلم العميقة الخاضعة للإشراف على مربع الحوار الموجه في المهام وأثبت أنها فعالة لتطبيقات المجال واللغة المحدودة عند توفر عدد كاف من الأمثلة التدريبية. في الممارسة العملية، تعاني هذه الأساليب من عيوب التصميم الذي يحركه المجال ولغات أقل م
ن الموارد. من المفترض أن تنمو نماذج المجال واللغة وتتغير مع تطور مساحة المشكلة. من ناحية، أظهرت الأبحاث حول تعلم التعلم القدرة المتبادلة من النماذج القائمة على المحولات متعددة اللغات لتعلم تمثيلات غنية بالدليل. من ناحية أخرى، بالإضافة إلى الأساليب المذكورة أعلاه، مكنت التعلم التلوي تطوير خوارزميات التعلم المهمة واللغة القادرة على تعميم البعيد. من خلال هذا السياق، تقترح هذه المقالة التحقيق في التحويل عبر اللغات المتبادلة باستخدام التعلم القليل من التآزر مع الشبكات العصبية النموذجية والنماذج القائمة على المحولات متعددة اللغات. تجارب في مجال التفاهم الطبيعي فهم المهام على Multiatis + Corpus يدل على أن نهجنا يحسن بشكل كبير من العروض التعليمية الملحقة بالتنقل بين لغات الموارد المنخفضة والعالية. بشكل عام، تؤكد نهجنا بشكل عام أن المساحة الكامنة ذات الأغلب المستفادة في لغة معينة يمكن تعميمها للتسامح غير المرئي وغير الموارد باستخدام التعلم التلوي.
نأخذ الخطوة الأولى نحو نقل النمط متعدد اللغات عن طريق إنشاء وإطلاق Xformal، وهو معيار من إعادة شحن رسمي متعدد النص غير الرسمي في البرتغالية البرازيلية والفرنسية والإيطالية.تشير النتائج على XFormal إلى أن نهج نقل النمط للحديث أداء قريبة من خطوط الأساس
البسيطة، مما يشير إلى أن نقل النمط هو أكثر تحديا عند التحرك متعدد اللغات.
لقد شهد التقدم الأخير في فهم اللغة الطبيعية (NLU) أحدث النماذج تفوق الأداء البشري على العديد من المهام القياسية. قادت هذه النتائج المثيرة للإعجاب المجتمع إلى التقاطية بشأن قيود البيانات، وتكرر التحديات الأكثر دقة. في هذه الورقة، نقدم مهمة تجميع العنو
ان الرئيسي (HLG) ومجموعة بيانات مقابلة (HLGD) تتكون من 20،056 أزواج من عناوين الأخبار، والتي تم تسمية كل منها بحكم ثنائي فيما إذا كان الزوج ينتمي إلى نفس المجموعة. على HLGD، يحقق المعلقون البشري الأداء العالي حوالي 0.9 F-1، في حين تصل نماذج المحولات الحالية من المحولات الحالية إلى 0.75 F-1، وفتح المسار لمزيد من التحسينات. نقترحنا كذلك نموذج مبادلة عناوين رئيسية رواية غير مدهشة لمهمة تجميع العنوان الرئيسي الذي يحقق في غضون 3 F-1 من أفضل النموذج الإشرافي. أخيرا، نقوم بتحليل نماذج عالية الأداء مع اختبارات الاتساق، وتجد أن النماذج ليست متسقة في تنبؤاتها، وكشف عن حدود النمذجة من الهندسة الحالية.
نعتمد وتقييم وتحسين خطاب خط أنابيب طبيعي من خطوتين (NLU) على خطاب (NLU) الذي يرصد تدريجيا على تباين إيداع اللغة الطبيعية غير المقيدة والخرائط إلى سلوكيات الروبوت القابلة للتنفيذ.يقوم خط الأنابيب أولا بإضافة تمثيل تمثيل المعنى التجريدي (AMR) لالتقاط ا
لمحتوى المقترح للكلام بالكلام، وتحول ثانيا إلى هذا الحوار-عمرو، "مما يؤدي إلى زيادة AMR القياسية مع معلومات عن التوتر والجانب والعقار والكلمات.يتم تقييم العديد من الأساليب البديلة وتدريب مجموعات البيانات التدريبية لكلا الخطوتين والمكونات المقابلة لخط الأنابيب، بعضها يتفوق على الأصل الأصلي.نقوم بتوسيع مخطط التعليق التوضيحي للحوار - AMR لتغطية مجال التعليمات التعاوني المختلفة وتقييم على كلا النطاقات.مع القليل جدا من البيانات التدريبية، نحقق أداء واعد في المجال الجديد، مما يدل على قابلية هذا النهج.
أحد كتل المبنى الأولى لإنشاء مساعد صوت يتعلق بمهمة وضع علامة الكيانات أو السمات في استعلامات المستخدم. يمكن أن يكون هذا تحديا بشكل خاص عندما تكون الكيانات في العاشر من الملايين، كما هو الحال على سبيل المثال كتالوجات الموسيقى. تتطلب نماذج وضع العلامات
التدريبية التدريبية على نطاق صناعي كميات كبيرة من استفسارات المستخدم المسمى بدقة، والتي غالبا ما تكون صعبة ومكلفة لجمعها. من ناحية أخرى، جمع المساعدون الصوتيين عادة الكثير من الاستفسارات غير المستمرة التي لا تزال غير منفصلة في كثير من الأحيان. تقدم هذه الورقة منهجية خاضعة للإشراف ضعيفا لتسمية كميات كبيرة من سجلات الاستعلام الصوتية، معززة مع خطوة تصفية يدوية. تظهر التقييمات التجريبية لدينا أن نماذج علامات الشريعة المدربة على البيانات المتفوقة على البيانات التي تجريب ضعيف تدربت على البيانات المشروحة باليد أو الاصطناعية، بتكلفة أقل. علاوة على ذلك، يؤدي التصفية اليدوية للبيانات الخاضعة للإشراف إلى انخفاض كبير في معدل خطأ العقوبة، مع السماح لنا بتقليل جهود الرعاية البشرية بشكل كبير من أسابيع إلى ساعات، فيما يتعلق بالتعليق اليدوي للاستفسارات. يتم تطبيق الطريقة بنجاح Bootstrap نظام علامات Slot لخدمة تدفق الموسيقى الرئيسية التي تخدم حاليا العديد من عشرات الآلاف من الاستفسارات الصوتية اليومية.
تشير الدراسات الحديثة إلى أن نماذج NLU عرضة للإعتماد على ميزات الاختصار للتنبؤ، دون تحقيق فهم اللغة الحقيقية. نتيجة لذلك، تفشل هذه النماذج في التعميم إلى بيانات الواقع الحقيقي خارج التوزيع. في هذا العمل، نظهر أن الكلمات الموجودة في مجموعة تدريب NLU ي
مكن أن تكون على غرارها كتوزيع طويل الذيل. هناك نتائج توصلتان: 1) نماذج NLU لها تفضيل قوي للميزات الموجودة في رأس التوزيع الطويل الذيل، و 2) يتم التقاط ميزات الاختصار خلال التكرارات القليلة المبكرة للغاية للتدريب النموذجي. يتم استخدام هاتين الملاحمينين أيضا لصياغة قياس يمكن تحديد درجة الاختصار من كل عينة تدريبية. استنادا إلى قياس الاختصار هذا، نقترح وضع إطار تخفيف الاختصار LGTR، لقمع النموذج من إصدار تنبؤات مكثفة للعينات مع درجة اختصار كبيرة. النتائج التجريبية على ثلاثة معايير NLU توضح أن شرح التوزيع طويل الذيل يعكس بدقة سلوك التعلم الاختصار لنماذج NLU. يشير التحليل التجريبي كذلك إلى أن LGTR يمكن أن يحسن دقة التعميم على بيانات OOD، مع الحفاظ على الدقة على بيانات التوزيع.
