الخلل من الطبقة هو تحد مشترك في العديد من مهام NLP، ولديه اتصالات واضحة إلى التحيز، في هذا التحيز في البيانات التدريبية يؤدي غالبا إلى دقة أعلى بالنسبة لمجموعات الأغلبية على حساب مجموعات الأقليات.ومع ذلك، كان هناك تقليديا قطع اتصال بين البحث في التعل
م المتوازن في الفئة والتخفيف من التحيز، ولديه مؤخرا فقط تم النظر في اثنين من خلال عدسة مشتركة.في هذا العمل، نقيم أساليب التعلم الطويلة ذات الذيل الطويل لتغريد المعنويات وتصنيف الاحتلال، وتوسيع نهج قائم على الهامش مع طرق لفرض الإنصاف.نعرض تجريبيا من خلال تجارب محكومة أن الأساليب المقترحة تساعد في تخفيف كل من الخلل في الطبقة والتحيزات الديموغرافية.
على الرغم من التحسينات المستمرة في جودة الترجمة الآلية، تظل الترجمة التلقائية الشعر مشكلة صعبة بسبب عدم وجود شاعرية موازية مفتوحة، وبالنسبة إلى التعقيدات الجوهرية المعنية في الحفاظ على الدلالات والأناقة والطبيعة المجازية للشعر. نقدم إجراءات تجريبية ل
ترجمة الشعر على طول عدة أبعاد: 1) حجم وأسلوب بيانات التدريب (Poetic vs. غير شعري)، بما في ذلك إعداد الصفر بالرصاص؛ 2) ثنائي اللغة مقابل التعلم متعدد اللغات؛ و 3) نماذج لغة خاصة للعائلة مقابل نماذج عائلية مختلطة. لإنجاز ذلك، نساهم في مجموعة بيانات متوازية من ترجمات الشعر لعدة أزواج اللغة. تبين نتائجنا أن ضبط التركيب المتعدد اللغات على النص الشعري يتفوق بشكل كبير على النص المتعدد اللغوي على النص غير الشعري الذي هو 35X أكبر في الحجم، كلاهما من حيث المقاييس التلقائية (BLEU، Bertscore، المذنب) ومقاييس التقييم البشري مثل الإخلاص ( معنى والأناقة الشعرية). علاوة على ذلك، فإن ضبط التردد متعدد اللغات على البيانات الشعرية تتفوق على ضبط ثنائي اللغة على البيانات الشعرية.
يوفر تقطير المعرفة (KD) وسيلة طبيعية لتقليل الكمون واستخدام الذاكرة / الطاقة للنماذج المسبقة للأعياد الضخمة التي تأتي للسيطرة على معالجة اللغة الطبيعية (NLP) في السنوات الأخيرة. في حين أن العديد من المتغيرات المتطورة في خوارزميات KD قد اقترحت لتطبيقا
ت NLP، فإن العوامل الرئيسية التي تدعم أداء التقطير الأمثل غالبا ما تكون مرتبكة وتبقى غير واضحة. نحن نهدف إلى تحديد مدى تأثير مكونات مختلفة في خط أنابيب KD على الأداء الناتج ومقدار خط أنابيب KD الأمثل يختلف عبر مجموعات البيانات / المهام المختلفة، مثل سياسة تكبير البيانات، وظيفة الخسارة، والتمثيل الوسيط لنقل المعرفة بين المعلم وطالب. لتتأكد من أن آثارها، نقترح تقطير، إطار التقطير، يجمع بشكل منهجي بين مجموعة واسعة من التقنيات عبر مراحل مختلفة من خط أنابيب KD، مما يتيح لنا تحديد مساهمة كل مكون. ضمن تقطير، ونحن نقوم بتحديد الأهداف الشائعة الاستخدام لتقطير التمثيلات الوسيطة بموجب هدف معلومات متبادلة عالمية (MI) واقتراح فئة من الوظائف الموضوعية MI مع التحيز / تباين التباين أفضل لتقدير ميل بين المعلم والطالب. في مجموعة متنوعة من مجموعات بيانات NLP، يتم تحديد أفضل تكوينات تقطير عبر تحسين المعلمة على نطاق واسع. تجاربنا تكشف عن ما يلي: 1) النهج المستخدم لتقطير التمثيل الوسيط هو أهم عامل في أداء الدكتوراط، 2) بين أهداف مختلفة للتقطير الوسيط، MI-تنفذ أفضل، و 3) يوفر تكبير البيانات دفعة كبيرة ل مجموعات البيانات التدريب الصغيرة أو شبكات الطلاب الصغيرة. علاوة على ذلك، نجد أن مجموعات البيانات / المهام المختلفة تفضل خوارزميات KD المختلفة، وبالتالي اقترح خوارزمية بسيطة ل Autodistiller التي يمكن أن توصي بخط أنابيب KD جيدة لمجموعة بيانات جديدة.
فهم عندما لا يوفر مقتطف النص معلومات سعية بعد هي جزء أساسي من اللغة الطبيعية Utnderstanding. العمل الحديث (Squad 2.0؛ Rajpurkar et al.، 2018) حاولت إحراز بعض التقدم في هذا الاتجاه من خلال إثراء بيانات الفريق الخاصة بمهمة ضمان الجودة الاستخراجية مع أس
ئلة لا يمكن إجراؤها. ومع ذلك، كما نعرض، فإن أداء النظام الأعلى المدرب على الفريق 2.0 قطرات إلى حد كبير سيناريوهات خارج المجال، مما يحد من استخدامه في المواقف العملية. من أجل دراسة هذا، نقوم ببناء كوربوس خارج المجال، مع التركيز على الأسئلة البسيطة القائمة على الأحداث والتمييز بين نوعين من الأسئلة الموجودة: أسئلة تنافسية، حيث يتضمن السياق كيان من نفس النوع مثل الإجابة المتوقعة، و أسئلة أبسط وغير تنافسية حيث لا يوجد أي كيان من نفس النوع في السياق. نجد أن النماذج المستندة إلى Squad 2.0 تفشل حتى في حالة الأسئلة الأكثر بساطة. ثم نحلل أوجه التشابه والاختلافات بين ظاهرة IDK في ضمان الجودة الاستخراجية ومهمة الاعتراف بالاتصالات النصية (RTE؛ Dagan et al.، 2013) والتحقيق في المدى الذي يمكن استخدامه الأخير لتحسين الأداء.
تقدم هذه الورقة دراسة تجريبية للبيئة اللغوية التلقائية من التحليل اليوناني القديم والبيزنطي، والمورفولوجي بشكل أكثر تحديدا. تحقيقا لهذه الغاية، تم تدريب نموذج لغة بيرت القائم على الكلمات الفرعية على أساس نصوص متنوعة من النصوص اليونانية الحديثة والقدي
مة وما بعد الكلاسيكية. وبالتالي، أدرجت شرطة بيرت التي تم الحصول عليها لتدريب علامة جزء من الكلام من الرباعي عن اليونانية القديمة والبيزنطية. بالإضافة إلى ذلك، تم الإعلان عن كائن من Epigrams اليونانية يدويا واستخدم معيار الذهب الناتج لتقييم أداء محلل مورفولوجي على بيزنطين يوناني. تظهر النتائج التجريبية درجات حيرة جيدة للغاية (4.9) لنموذج لغة بيرت والأداء الحديثة لعلامة جزء من الكلام المحبب للبيانات داخل المجال (TreeBanks التي تحتوي على مزيج من الكلاسيكية والقرون الوسطى اليونانية)، وكذلك بالنسبة لمجموعة بيانات البيانات المالية اليونانية اليونانية التي تم إنشاؤها حديثا. يتم توفير نماذج اللغة والرمز المرتبط باستخدامها في https://github.com/pranaydeeps/ancient-greek-bert
يلخص الحوار يساعد القراء على التقاط المعلومات البارزة من محادثات طويلة في الاجتماعات والمقابلات والمسلسلات التلفزيونية. ومع ذلك، فإن حوالات العالم الحقيقي تشكل تحديا كبيرا لنماذج التلخيص الحالية، حيث يتجاوز طول الحوار عادة حدود المدخلات التي تفرضها ا
لنماذج المدربة مسبقا القائمة على المحولات، والطبيعة التفاعلية للحوالات هي المعلومات ذات الصلة أكثر تعتمد على السياق وقدر موزعة من المقالات الإخبارية. في هذا العمل، نقوم بإجراء دراسة شاملة حول تلخيص الحوار الطويل من خلال التحقيق في ثلاث استراتيجيات للتعامل مع مشكلة الإدخال المطول وتحديد موقع المعلومات ذات الصلة: (1) نماذج المحولات الموسعة مثل Longformer، (2) استرداد نماذج خط أنابيب العديد من طرق استرجاع الحوار النطق، و (3) نماذج ترميز الحوار الهرمي مثل HMNet. نتائجنا التجريبية على ثلاث مجموعات بيانات حوار طويلة (QMSUM، MediaSum، Searscreen) تبين أن نماذج خط أنابيب الاسترداد - بعد ذلك، تسفر عن أفضل أداء. نوضح أيضا أنه يمكن تحسين جودة الملخص مع نموذج استرجاع أقوى وأحيث محاكاة بيانات الملخصات الخارجية المناسبة.
يتم استخدام نماذج اللغة المحددة على كورسا شاسعة للنص غير منظم باستخدام إطار التعلم الذاتي للإشراف في العديد من فهم اللغة الطبيعية ومهام الجيل. تشير العديد من الدراسات إلى أن الاستحواذ على اللغة في البشر يتبع نمطا بسيطا مهيكيا ومجهدا بهذا الحدس، وتعلم
المناهج الدراسية، مما يتيح تدريب النماذج الحسابية في ترتيب مغزى، مثل معالجة العينات السهلة قبل الصعب، وقد عرضت للحد من وقت التدريب المحتمل. لا يزال السؤال ما إذا كان يمكن لمعرفة المناهج الدراسية أن تستفيد من نماذج اللغة. في هذا العمل، نقوم بإجراء تجارب شاملة تنطوي على استراتيجيات مناهج متعددة تختلف معايير التعقيد وجداول التدريب. النتائج التجريبية لتدريب نماذج لغة المحولات على الإنجليزي كوربوس وتقييمها جوهريا وكذلك بعد التقليل من ثمانية مهام من معيار الغراء، تظهر مكاسب تحسن متسقة حول تدريب الفانيليا التقليدي. ومن المثير للاهتمام، في تجاربنا، عند تقييمها على عصر واحد، أفضل نموذج في أعقاب المناهج الدراسية ذات المستوى الثابت على مستوى المستند، تتفوق على نموذج الفانيليا بنسبة 1.7 نقطة (متوسط درجة الغراء) ويستغرق نموذج الفانيليا ضعف العديد من خطوات التدريب للوصول إلى أداء مماثل.
مع الانفراج الأخير لتكنولوجيات التعلم العميق، اجتذبت البحث عن الفهم في قراءة الآلة (MRC) اهتماما كبيرا ووجدت تطبيقاتها متعددة الاستخدامات في العديد من حالات الاستخدام. MRC هي مهمة مهمة لمعالجة اللغة الطبيعية (NLP) تهدف إلى تقييم قدرة الجهاز لفهم تعبي
رات اللغة الطبيعية، والتي يتم تشغيلها عادة عن طريق طرح الأسئلة أولا بناء على فقرة نصية معينة ثم تلقي الإجابات التي تم إنشاؤها بواسطة الجهاز وفقا ل إعطاء الفقرة والأسئلة السياق. في هذه الورقة، نستفيد نماذج لغة رواية روبيتين تم بناؤها على رأس تمثيلات التشفير الثنائية من المحولات (بيرت)، وهي بيرت WWM و Macbert، لتطوير أساليب MRC الفعالة. بالإضافة إلى ذلك، نسعى أيضا إلى التحقيق في ما إذا كان قد يستفيد التأسيس الإضافي للمعلومات الفئوية حول فقرة السياق MRC أم لا، والتي تحققت، على أساس تجميع الفقرة السياق على مجموعة بيانات التدريب. من ناحية أخرى، يقترح نهج التعلم الفرعي تسخير القوة التآزرية للنماذج التي تعتمد على برت المذكور أعلاه من أجل زيادة تعزيز أداء MRC.
يمكن أن نطاقات اللغة العصبية التي تدركها القبض على العلاقة بين الكلمات من خلال استغلال معلومات مستوى الطابع وهي فعالة بشكل خاص للغات مع التشكل الغني.ومع ذلك، عادة ما تكون هذه النماذج متحيزة باتجاه المعلومات من أشكال السطح.لتخفيف هذه المشكلة، نقترح طر
يقة بسيطة وفعالة لتحسين نموذج اللغة العصبي على الحرف من خلال إجبار ترميز الأحرف لإنتاج شرائح قائمة على الكلمات تحت بنية Skip-Gram في خطوة الاحماء دون بيانات تدريب إضافية.نظرا لإيبربريكيا أن نموذج اللغة العصبي الإدراك على الطابع الناتج يحقق تحسينات واضحة لدرجات الحيرة على لغات متنوعة من النطبية، والتي تحتوي على العديد من الكلمات منخفضة التردد أو غير المرئي.
بالنسبة لمعظم مجموعات اللغة والبيانات الموازية إما نادرة أو غير متوفرة ببساطة.لمعالجة هذا والترجمة الآلية غير المرفوعة (UMT) باستغلال كميات كبيرة من البيانات الأحادية من خلال استخدام تقنيات توليد البيانات الاصطناعية مثل الترجمة الخلفية والتوزيع وبينم
ا يحدد NMT (SSNMT) بشكل مرئي جمل متوازية في بيانات وقابلة للمقارنة أصغر.لهذا التاريخ، لم يتم التحقيق في تقنيات توليد بيانات UMT في SSNMT.نظهر أنه بما في ذلك تقنيات UMT في SSNMT تتفوق بشكل كبير SSNMT (يصل إلى +4.3 بلو و AF2EN) بالإضافة إلى خطوط خطوط إحصائية (+50.8 بلو) و Sybrid UMT (+51.5 بلو) على أزواج لغة ذات صلة وغير ذات صلة وغير ذات صلة.
