نماذج لغة محول كبيرة مدربة مسبقا، والتي تكون منتشرة في مهام معالجة اللغة الطبيعية، تكون مكلفة للغاية للتدريب. لتقليل تكلفة التدريب هذه النماذج الكبيرة، طورت العمل السابق طرزا أصغر وأكثر ضغطا تحقق تسريعا كبيرا في وقت التدريب مع الحفاظ على دقة تنافسية
للنموذج الأصلي على مهام المصب. على الرغم من أن هذه النماذج الصغيرة المدربة مسبقا تم اعتمادها على نطاق واسع من قبل المجتمع، إلا أنه ليس معروفا مدى جودة معايرة مقارنة بنظيراتهم الأكبر. في هذه الورقة، مع التركيز على مجموعة واسعة من المهام، يمكننا التحقيق بدقة في خصائص المعايرة للمحولات المدربين مسبقا، كدالة لحجمها. نوضح أنه عند تقييم النماذج داخل المجال، تكون النماذج الصغيرة قادرة على تحقيق معايرة تنافسية وغالبا ما تكون أفضل، مقارنة بالنماذج الكبيرة، مع تحقيق تسريع كبير في وقت التدريب. تقنيات المعايرة بعد المخصص تقلل من خطأ المعايرة لجميع النماذج في المجال. ومع ذلك، عند تقييم النماذج الكبيرة التي تم تقييمها، تميل النماذج الكبيرة إلى أن تكون معايرة أفضل، وتعويض التسمية بدلا من ذلك استراتيجية فعالة لمعايرة النماذج في هذا الإعداد.
إن تضمين الموضع النسبي (RPE) هو طريقة ناجحة لتشفير معلومات موقف مركزية وفعالة في نماذج المحولات.في هذه الورقة، نحقق في المشكلات المحتملة في Shaw-RPE و XL-RPE، والتي تعد أكثر من الممثلين والجلوب السائدة، واقتراح اثنين من روبيس رواية تسمى RPE الخشنة ال
خشنة الرفيعة المستوى الرفيع المستوى (LFHC)Gaussian وظيفة التوزيع التراكمي (GCDF) RPE.LFHC-RPE هو تحسن شو-RPE، مما يعزز قدرة التصور على المناصب النسبية المتوسطة والطويلة.تستخدم GCDF-RPE الخصائص الممتازة لوظيفة Gaussian لتعديل آلية الترميز السابقة في XL-RPE.النتائج التجريبية على تسعة مجموعات بيانات موثوقة تظهر فعالية أساليبنا تجريبيا.علاوة على ذلك، تحقق GCDF-RPE أفضل الأداء العام بين خمسة RPES مختلفة.
تشكل طبقات الأعلاف إلى الأمام ثلثي معلمات نموذج المحولات، لكن دورها في الشبكة لا تزال غير مستكشفة.نظرا لأن طبقة الأعلاف إلى الأمام في نماذج اللغة المحولات تعمل كذكريات ذات قيمة رئيسية، حيث يرتبط كل مفتاح بأنماط نصية في أمثلة التدريب، وكل قيمة تحفز تو
زيعا على مفردات الناتج.تبين تجاربنا أن الأنماط المستفادة قابلة للتفسير بشري، وأن الطبقات المنخفضة تميل إلى التقاط أنماط ضحلة، في حين تعلم الطبقات العليا تلك الدلالية أكثر.تكمل القيم أنماط إدخال المفاتيح من خلال تحفيز توزيعات الإخراج التي تركز كتلة الاحتمالية على الرموز المرجح أن تظهر مباشرة بعد كل نمط، خاصة في الطبقات العليا.أخيرا، نوضح أن إخراج طبقة الأعلاف إلى الأمام هو تكوين ذكرياتها، والتي تم تنصيرها لاحقا في جميع طبقات النموذج عبر الاتصالات المتبقية لإنتاج توزيع الناتج النهائي.
هدف التنبؤ بالحقائق في الحدث (EFP) هو تحديد درجة الواقعية لذكر الحدث، مما يمثل مدى احتمال ذكر الحدث في النص.أظهرت نماذج التعلم العميق الحالية أهمية الهياكل النحوية واللاللالية للجمل لتحديد كلمات السياق الهامة ل EFP.ومع ذلك، فإن المشكلة الرئيسية في نم
اذج EFP هذه هي أنها تشفص مسارات القفزة الواحدة فقط بين الكلمات (I.E.، والاتصالات المباشرة) لتشكيل هياكل الجملة.في هذا العمل، نظهر أن مسارات القفزات متعددة القفزة بين الكلمات ضرورية أيضا لحساب هياكل الجملة ل EFP.تحقيقا لهذه الغاية، نقدم نموذجا للتعليم العميق الجديد ل EFP الذي يعتبر صراحة مسارات القفزات متعددة القفزات مع كل من الحواف القائمة على بناء الجملة والدلية بين الكلمات للحصول على هياكل الجملة للتعلم في EFP.نوضح فعالية النموذج المقترح عبر التجارب الواسعة في هذا العمل.
نقترح نظام رواية لاستخدام محول Levenshtein لأداء مهمة تقدير جودة مستوى Word.محول Levenshtein هو مناسب طبيعي لهذه المهمة: تم تدريبه على إجراء فك التشفير بطريقة تكرارية، يمكن لمحول Levenshtein أن يتعلم النشر بعد تحرير دون إشراف صريح.لزيادة تقليل عدم ال
تطابق بين مهمة الترجمة ومهمة QE على مستوى الكلمة، نقترح إجراء تعلم نقل من مرحلتين على كل من البيانات المعززة وبيانات ما بعد التحرير البشري.نقترح أيضا الاستدلال لبناء ملصقات مرجعية متوافقة مع Finetuning على مستوى الكلمات الفرعية والاستدلال.النتائج على مجموعة بيانات المهام المشتركة WMT 2020 تشاركت إلى أن طريقةنا المقترحة لها كفاءة بيانات فائقة تحت الإعداد المقيد للبيانات والأداء التنافسي تحت الإعداد غير المقيد.
مستوحاة من تعلم المناهج الدراسية، نقترح إطار جيل التوليد على التوالي (I.E.، إلى نص إلى نص) حيث نقسم مشكلة جيل تقرير الأشعة في خطوتين.عكس ذلك لتوليد تقرير الأشعة الكاملة من الصورة في وقت واحد، يولد النموذج مفاهيم عالمية من الصورة في الخطوة الأولى ثم إ
صلاحها إلى نصوص أدق ومتماسكة باستخدام الهندسة المعمارية القائمة على المحولات.نحن نتبع نموذج التسلسل المستند إلى التسلسل المحول في كل خطوة.نحن نحسن على أحدث مجموعة من مجموعات البيانات القياسية.
برزت التعلم المتعدد المهام مع ترميز المحولات (MTL) كتقنية قوية لتحسين الأداء على المهام ذات الصلة عن كثب لكل من الدقة والكفاءة في حين أن السؤال لا يزال يبقى ما إذا كان من شأنه أن يؤدي ذلك على المهام المميزة أم لا بشكل جيد في الطبيعة أم لا. نقوم أولا
بإجراء نتائج MTL على خمس مهام NLP، POS، NER، DEP، CON، SRL، وتصوير نقصها على تعلم المهمة الفردية. ثم نقوم بإجراء تحليل جذري واسع النطاق لإظهار أن مجموعة معينة من رؤساء الاهتمام تعلن أن معظم المهام خلال MTL، والذين يتداخلون مع بعضهم البعض لضبط تلك الرؤوس لأهدافهم الخاصة. استنادا إلى هذا النتيجة، نقترح فرضية الخلايا الجذعية للكشف عن وجود اهتمام يرأس الموهوبين بشكل طبيعي للعديد من المهام التي لا يمكن تدريبها بشكل مشترك على إنشاء شرائح كافية لجميع تلك المهام. أخيرا، نقوم بتصميم تحقيقات خالية من المعلمات الجديدة لتبرير فرضيتنا وإظهار كيفية تحويل رؤساء الانتباه عبر المهام الخمسة خلال MTL من خلال تحليل الملصقات.
يقترح هذا العمل تحليلا مكثفا للهندسة المعمارية المحول في إعداد الترجمة الآلية العصبية (NMT).مع التركيز على آلية اهتمام التشفير في فك التشفير، نثبت أن أوزان الاهتمام بانتظام أخطاء المحاذاة من خلال الاعتماد بشكل أساسي على الرموز غير المصنفة من تسلسل ال
مصدر.ومع ذلك، نلاحظ أن نماذج NMT تخصص الاهتمام بهؤلاء الرموز لتنظيم المساهمة في التنبؤ بالسياقتين المصدرين وبادئة التسلسل المستهدف.نحن نقدم دليلا على تأثير محاذاة خاطئة على السلوك النموذجي، مما يدل على أن آلية اهتمام فك تشفير التشفير مفاجأة بشكل جيد كطريقة الترجمة الترجمة الترجمة الشخصية ل NMT.أخيرا، استنادا إلى تحليلنا، نقترح طرق تقلل إلى حد كبير معدل خطأ محاذاة الكلمة مقارنة بالمحاذاة المستحثة القياسية من أوزان الاهتمام.
النمذجة المتنقلة المتسلسلة قوية هي مهمة أساسية في العالم الحقيقي حيث تكون المدخلات صاخبة في كثير من الأحيان. تحتوي المدخلات التي تم إنشاؤها عن المستخدمين والآلة على أنواع مختلفة من الضوضاء في شكل أخطاء إملائية، والأخطاء النحوية، وأخطاء التعرف على الأ
حرف، والتي تؤثر على مهام المصب وتأثر على الترجمة الشفوية للنصوص. في هذا العمل، نرتند بنية جديدة للتسلسل إلى التسلسل للكشف عن وتصحيح مختلف العالم الحقيقي والضوضاء الاصطناعية (هجمات الخصومة) من النصوص الإنجليزية. نحو ذلك اقترحنا بنية فك التشفير المعدلة التي تعتمد على المحولات التي تستخدم آلية Gating للكشف عن أنواع التصحيحات المطلوبة وبناء على تصحيح النصوص. تظهر النتائج التجريبية أن الهندسة المعمارية المصورة لدينا مع نماذج لغوية مدربة مسبقا تؤدي بشكل أفضل بشكل كبير إلى أن النظيرات غير الدائرين ونماذج تصحيح الأخطاء الأخرى غير المدرجة في تصحيح الأخطاء الإملائية والحدائية. التقييم الخارجي لنموذجنا على الترجمة الآلية (MT) ومهام التلخيص تظهر الأداء التنافسي للنموذج مقابل نماذج تسلسل تسلسل أخرى أخرى تحت المدخلات الصاخبة.
أصبح تحسين كفاءة المحولات جذابة بشكل متزايد مؤخرا.تم اقتراح مجموعة واسعة من الطرق، على سبيل المثال، التشذيب، الكمي، البنيات الجديدة وغيرها. ولكن هذه الأساليب إما متطورة في التنفيذ أو التعتمد على الأجهزة.في هذه الورقة، نظير على أنه يمكن تحسين كفاءة ال
محولات من خلال الجمع بين بعض الطرق البسيطة والأجهزة غير المرجعية، بما في ذلك ضبط المعلمات فرط، وخيارات تصميم أفضل واستراتيجيات التدريب.في مهام الترجمة الأخبار WMT، نحسن كفاءة الاستدلال لنظام محول قوي بنسبة 3.80x على وحدة المعالجة المركزية و 2.52X على GPU.
