برزت التعلم المتعدد المهام مع ترميز المحولات (MTL) كتقنية قوية لتحسين الأداء على المهام ذات الصلة عن كثب لكل من الدقة والكفاءة في حين أن السؤال لا يزال يبقى ما إذا كان من شأنه أن يؤدي ذلك على المهام المميزة أم لا بشكل جيد في الطبيعة أم لا. نقوم أولا
بإجراء نتائج MTL على خمس مهام NLP، POS، NER، DEP، CON، SRL، وتصوير نقصها على تعلم المهمة الفردية. ثم نقوم بإجراء تحليل جذري واسع النطاق لإظهار أن مجموعة معينة من رؤساء الاهتمام تعلن أن معظم المهام خلال MTL، والذين يتداخلون مع بعضهم البعض لضبط تلك الرؤوس لأهدافهم الخاصة. استنادا إلى هذا النتيجة، نقترح فرضية الخلايا الجذعية للكشف عن وجود اهتمام يرأس الموهوبين بشكل طبيعي للعديد من المهام التي لا يمكن تدريبها بشكل مشترك على إنشاء شرائح كافية لجميع تلك المهام. أخيرا، نقوم بتصميم تحقيقات خالية من المعلمات الجديدة لتبرير فرضيتنا وإظهار كيفية تحويل رؤساء الانتباه عبر المهام الخمسة خلال MTL من خلال تحليل الملصقات.
تعرض نماذج اللغة متعددة اللغات أداء أفضل لبعض اللغات مقارنة بالآخرين (Singh et al.، 2019)، وعدد العديد من اللغات لا تستفيد من تقاسم متعدد اللغات على الإطلاق، من المفترض أن تكون نتيجة تجزئة متعددة اللغات (بيزال O وآخرون)2020).يستكشف هذا العمل فكرة تعل
م نماذج اللغة متعددة اللغات بناء على تجميع شرائح أحادية الأونلينغ.نعرض تحسينات كبيرة على تجزئة وتدريب وتعدد اللغات القياسية عبر تسعة لغات بشأن مهمة الإجابة على سؤال، سواء في نظام نموذج صغير ونموذج حجم قاعدة بيرت.
نظرا لأن طرازات لغة واسعة النطاق مدربة مسبقا تحقق دقة على المستوى البشري والأخبار الدقة على مهام فهم اللغة الحالية، دعت التحيز الإحصائي في البيانات القياسية والدراسات التحقيق مؤخرا إلى قدراتهم الحقيقية.للحصول على تقييم أكثر إعلانية من الدقة بشأن مهام
تصنيف النص يمكن أن تقدم، نقترح تقييم أنظمة من خلال مقياس جديد لتماسك التنبؤ.نحن نطبق إطار عملنا على اثنين من التفاهم مع المعايير ذات الخصائص المختلفة لإظهار تنوعه.تبين نتائجنا التجريبية أن إطار التقييم هذا، على الرغم من بسيطة في الأفكار والتنفيذ، هو إجراء سريع وفعال وتنوعا لتوفير نظرة ثاقبة في تماسك تنبؤات الآلات.
تقدم هذه الورقة التقديمات الكلية الإمبراطورية لندن إلى المهمة المشتركة لتقدير الجودة WMT21 (QE) 3: اكتشاف الخطأ الحرج.ينشئ نهجنا على تمثيلات متدرب مسبقا عبر اللغات في نموذج تصنيف التسلسل.ونحن كذلك تحسين المصنف الأساسي من خلال (ط) إضافة عينات مرجحة لل
تعامل مع البيانات غير المتوازنة و (2) إدخال هندسة ميزة، حيث يتم استخراج الميزات المتعلقة بالسمية، المسماة الكيانات والمعنويات، والتي من المحتمل أن تكون مؤشرا على الأخطاء الحرجة، باستخدامالأدوات الموجودة ومتكاملة للنموذج بطرق مختلفة.نحن ندرب النماذج مع نوع واحد من الميزات في وقت واحد وفرق تلك النماذج التي تتحسن عبر المصنف الأساسي على مجموعة تطوير (dev).إن عروضنا الرسمية تحقق نتائج تنافسية للغاية، ترتيب المرتبة الثانية لثلاثة من أزواج أربعة لغات.
خلال مرحلة التوصيل الدقيقة للتعلم، لا يزال المفردات المسبدة مسبقا دون تغيير، في حين يتم تحديث المعلمات النموذجية.المفردات الناتجة بناء على البيانات المحددة مسبقا هي فرعية نفسية للبيانات المصب عند وجود تناقض المجال.نقترح النظر في المفردات كمعلمة قابلة
للتحسين، مما يسمح لنا بتحديث المفردات من خلال توسيعها مع المفردات المحددة للمجال بناء على إحصاء التكتيف.علاوة على ذلك، نحافظ على تضيير الكلمات المضافة من التجاوز إلى البيانات المصب عن طريق الاستفادة من المعرفة المستفادة من نموذج لغة مسبق مع مصطلح التنظيم.حققت طريقتنا تحسينات أداء ثابتة حول مجالات متنوعة (أي، العلوم الطبية الحيوية، علوم الكمبيوتر، الأخبار، والمراجعات).
لقد جاء الكثير من التقدم المحرز في NLP المعاصر من تمثيلات التعلم، مثل Embeddings Manked Language Model (MLM)، يتحول إلى مشاكل تحديا في مهام التصنيف البسيطة. ولكن كيف يمكننا تحديد وتفسير هذا التأثير؟ نحن نتكيف مع أدوات عامة من نظرية التعلم الحاسوبية ل
تناسب الخصائص المحددة لمجموعات البيانات النصية وتقديم طريقة لتقييم التوافق بين التمثيلات والمهام. على الرغم من أن العديد من المهام يمكن حلها بسهولة مع تمثيلات بسيطة من الكلمات (القوس)، فإن القوس لا ضعيف على مهام الاستدلال باللغة الطبيعية الثابت. لأحد هذه المهمة، نجد أن القوس لا يستطيع التمييز بين اللقطات الحقيقية والعشوائية، في حين تظهر تمثيلات الامتيازات المدربة مسبقا تمييزا أكبر بنسبة 72x بين وضع علامات حقيقية وعشوائية من القوس. توفر هذه الطريقة مقياسا معايرة وكمية لصعوبة مهمة NLP القائمة على التصنيف، مما يتيح المقارنات بين التمثيلات دون الحاجة إلى تقييمات تجريبية قد تكون حساسة للتهيئة والفظايات. توفر الطريقة منظورا جديدا على الأنماط الموجودة في مجموعة بيانات ومحاذاة تلك الأنماط مع ملصقات محددة.
غالبا ما ينطوي نظام استخراج المعلومات العالمي الحقيقي (IE) لصور وثيقة شبه منظمة أن خط أنابيب طويل من وحدات متعددة، مما يزيد تعقيده بشكل كبير من تكلفة التطوير والصيانة.يمكن للمرء بدلا من ذلك النظر في نموذج نهاية إلى نهاية يدري مباشرة المدخلات إلى الإخ
راج المستهدف وتبسيط العملية بأكملها.ومع ذلك، يعرف نهج هذا الجيل أن يؤدي إلى أداء غير مستقر إذا لم يتم تصميمه بعناية.هنا نقدم جهدنا الأخير على الانتقال من نظام IE الحالي الذي يعتمد على خط الأنابيب إلى نظام نهاية إلى نهاية يركز على التحديات العملية المرتبطة باستبدال ونشر النظام في الإنتاج الحقيقي والنطاق على نطاق واسع.من خلال صياغة المستند بعناية أي مهمة توليد التسلسل، نوضح أن نظام IE نهاية واحدة إلى النهاية يمكن بناؤه ولا يزال يحقق الأداء المختص.
لتفسير سلوك نموذج الاحتمالية، من المفيد قياس معايرة النموذج --- المدى الذي ينتج عنه درجات ثقة موثوقة.نحن نتطلع إلى مشكلة المعايرة المفتوحة لوضع العلامات النماذج ذات الأشكال المتناقضة، والتوصية باستراتيجيات لقياس وتقليل خطأ المعايرة (CE) في هذه النماذ
ج.نظهر أن العديد من تقنيات إعادة التدوير بعد المخصص كلها تقلل من خطأ المعايرة عبر التوزيع الهامشي لطاغين تسلسلين موجودين.علاوة على ذلك، نقترح مجموعة تجميع الترددات (TFG) كوسيلة لقياس خطأ المعايرة في نطاقات التردد المختلفة.علاوة على ذلك، يعزز إعادة معايرة كل مجموعة بشكل منفصل تخفيض أكثر إنصافا لخطأ المعايرة عبر طيف تردد العلامات.
النمط هو جزء لا يتجزأ من اللغة الطبيعية.ومع ذلك، فإن أساليب التقييم لتدابير النمط نادرة، وغالبا ما تكون المهام الخاصة وعادة ما لا تتحكم في المحتوى.نقترح إطار تقييم النمط المعياري والحبوب المحتوى ومقره المحتوى (STEL) لاختبار أداء أي نموذج يمكن مقارنة
جملتين على النمط.نحن نوضح ستيل مع أبعاد عامين من النمط (رسمي / غير رسمي وبسيط / معقد) بالإضافة إلى خصائصين محددة للأسلوب (Contrac'tion and Numb3r البديلة).نجد أن الأساليب القائمة على BERT تفوق إصدارات بسيطة من تدابير النمط الشائعة الاستخدام مثل 3 غرامات وترقيب الترقيم والنهج القائمة على LIWC.نحن ندعو إضافة مهام أخرى وثيمات مهمة إلى ستيل ونأمل في تسهيل تحسين التدابير الحساسة للنمط.
إن الإجابة على السؤال المرئي (VQA) تحديا ليس فقط لأن النموذج يتعين على النموذج التعامل مع معلومات متعددة الوسائط، ولكن أيضا لأنه من الصعب للغاية جمع أمثلة تدريبية كافية --- هناك الكثير من الأسئلة يمكن أن يسأل عن صورة. نتيجة لذلك، يمكن أن يؤدي نموذج V
QA الذي تم تدريبه فقط على أمثلة مشروح عن الإنسان بسهولة إلى أن يناسب أساليب سؤال محددة أو محتويات الصورة التي يتم طرحها، مما يترك النموذج جاهل إلى حد كبير حول التنوع الشديد للأسئلة. تعالج الطرق الحالية هذه المشكلة في المقام الأول عن طريق إدخال مهمة مساعدة مثل التأريض البصري أو الاتساق الدائرية أو الدخل. في هذه الورقة، نأخذ نهج مختلف بشكل كبير. وجدنا أن العديد من المجهولين "إلى نموذج VQA المستفاد معروف بالفعل" في DataSet ضمنيا. على سبيل المثال، تكون الأسئلة التي تسأل عن نفس الكائن في صور مختلفة من المرجح؛ يوفر عدد الكائنات المكتشفة أو المشروح في صورة بالفعل الإجابة على عدد السؤال ""، حتى لو لم يتم تفجيح السؤال لهذه الصورة. بناء على هذه الأفكار، نقدم خط أنابيب تكبير البيانات بسيطة Simpleaug لتحويل هذه المعرفة المعروفة إلى أمثلة تدريبية ل VQA. نظظ أن هذه الأمثلة المعززة يمكن أن تحسن أداء نماذج VQA المستفادة، ليس فقط على مجموعة بيانات VQA-CP مع التحولات السابقة للغة ولكن أيضا على DataSet VQA V2 دون مثل هذه التحولات. تفتح طريقةنا كذلك الباب للاستفادة من الصور المسمى ضعيفة أو غير المسماة بطريقة مبدئية لتعزيز نماذج VQA. تتوفر كودنا والبيانات علنا في https://github.com/heendung/simpleach.
