تم إظهار نماذج الإجابة على الأسئلة (QA) للحصول على فهم القراءة لاستغلال تحيزات محددات غير مقصودة مثل السؤال - التداخل المعجمي السياق. هذا يعيق نماذج ضمان الجودة من المعمم إلى العينات الممثلة تمثيلا مثل الأسئلة ذات التداخل المعجمي المنخفض. يمكن أن يكو
ن جيل السؤال (QG)، وهي طريقة لتعزيز مجموعات بيانات QA، حل تدهور الأداء إذا كان QG يمكن أن Debias QA بشكل صحيح. ومع ذلك، نكتشف أن نماذج QG العصبية الأخيرة متحيزة نحو توليد الأسئلة ذات التداخل المعجمي العالي، والتي يمكن أن تضخيم تحيز DataSet. علاوة على ذلك، يكشف تحليلنا أن تكبير البيانات مع نماذج QG هذه تضعف بشكل متكرر الأداء على الأسئلة مع التداخل المعجمي المنخفض، مع تحسين ذلك على الأسئلة ذات التداخل المعجمي العالي. لمعالجة هذه المشكلة، نستخدم نهج مرادف يستند إلى استبدال أسئلة زيادة التداخل المعجمي المنخفض. نوضح أن نهج تكبير البيانات المقترح بسيط ولكنه فعال في التخفيف من مشكلة التدهور مع الأمثلة الاصطناعية 70K فقط.
يعد تدريب الاتساق غير الخاضع للتناسق طريقة للتعلم شبه الإشرافه يشجع الاتساق في التنبؤات النموذجية بين البيانات الأصلية والمعزز.للحصول على التعرف على الكيان المسمى (NER)، زيادة النهج الحالية تسلسل الإدخال مع استبدال الرمز المميز، بافتراض التعليقات الت
وضيحية على المناصب المستبدة دون تغيير.في هذه الورقة، نستكشف استخدام إعادة الصياغة كمخطط تعزز البيانات أكثر مبدئيا للتدريب على الاتساق غير المدعوم.على وجه التحديد، نقوم بتحويل المجال العشوائي الشرطي (CRF) إلى وحدة تصنيف متعدد العلامات وتشجيع الاتساق على مظهر الكيان بين التسلسلات الأصلية المعززة.تبين التجارب أن طريقتنا فعالة بشكل خاص عندما تكون التعليقات التوضيحية محدودة.
التصنيفات هي تمثيل رمزي للعلاقات الهرمية بين المصطلحات أو الكيانات. في حين أن التصنيفات مفيدة في تطبيقات واسعة، فإن تحديثها أو الحفاظ عليها يدويا كثيفة العمالة وصعبة الحجم في الممارسة العملية. تفشل الأساليب الإشرافية التقليدية لهذه المهمة التخصيب هذه
في العثور على والدي الأمثل للمصطلحات الجديدة في إعدادات الموارد المنخفضة حيث تتوفر تصنيفات صغيرة فقط بسبب التجاوز عن العلاقات الهرمية في التصنيفات. لمعالجة مشكلة تخصيب التصنيف المنخفض للموارد، نقترح Musubu، وهو إطار فعال لإثراء التصنيف في إعدادات الموارد المنخفضة مع نماذج اللغة المحددة مسبقا (LMS) كقواعد المعرفة للتعويض عن نقص المعلومات. يستفيد Musubu مصنف قائم على LM لتحديد ما إذا كان أزواج المصطلح المدبأ أو عدم وجود علاقات هرمية. يستخدم Musubu أيضا أنماطا هارا لتوليد استفسارات للاستفادة من المعرفة الضمنية من LM بكفاءة من أجل التنبؤ الأكثر دقة. إننا نوضح تجريبيا فعالية طريقتنا في تجارب واسعة النطاق بشأن التصنيفات من كل من مهمة Semeval ومجموعات بيانات التجزئة العالمية الحقيقية.
وصفنا تقديم Edinsaar إلى المهمة المشتركة للترجمة ذات الموارد متعددة اللغات لغات شمال الجرمانية في المؤتمر السادس حول الترجمة الآلية (WMT2021).نقدم نماذج الترجمة متعددة اللغات للترجمات من / إلى الأيسلاندية (IS)، Norwegian-bokmal (NB)، والسويدية (SV).ن
حن نوظف العديد من الأساليب التجريبية، بما في ذلك التدريب المسبق متعدد اللغات، الترجمة الخلفي، والضبط الجميل، والكمية.في معظم اتجاهات الترجمة، تتفوق نماذجنا على أنظمة أخرى مقدمة.
تصف هذه الورقة مهمة Charles University الفرعية للمصطلحات المهمة المشتركة للترجمة في WMT21.الهدف من هذه المهمة هو تصميم نظام يترجم مع شروط معينة بناء على قاعدة بيانات المصطلحات المقدمة، مع الحفاظ على جودة الترجمة الشاملة عالية.تنافسنا في زوج اللغة الإ
نجليزية الفرنسية.يعتمد نهجنا على توفير الترجمات المرغوبة إلى جانب جملة الإدخال وتدريب النموذج لاستخدام هذه المصطلحات المقدمة.نحن Lemmatize المصطلحات على حد سواء أثناء التدريب والاستدلال، للسماح للنموذج لمعرفة كيفية إنتاج الأشكال السطحية الصحيحة للكلمات، عندما تختلف عن النماذج المتوفرة في قاعدة بيانات المصطلحات.
مع الزيادة السريعة في حجم بيانات الحوار من الحياة اليومية، هناك طلب متزايد على تلخيص الحوار. لسوء الحظ، تدريب نموذج تلخيص كبير بشكل عام بشكل عام بسبب عدم كفاية بيانات الحوار مع ملخصات مشروح. معظم الأعمال الموجودة لتلخيص حوار الموارد المنخفضة بشكل مبا
شر مؤمن النماذج بشكل مباشر في مجالات أخرى، على سبيل المثال، مجال الأخبار، لكنهم يهملون بشكل عام الفرق الكبير بين الحوارات والمقالات التقليدية. لسد الفجوة بين الاحتجاج بها من خارج المجال والضبط الجميل داخل المجال، في هذا العمل، نقترح نموذجا محددا متعدد المصدر لتحسين الاستفادة من البيانات الموجزة الخارجية. على وجه التحديد، نستمس في بيانات موجزة داخل المجال واسعة النطاق بشكل منفصل بدرجة أن تشفير الحوار ومكتشف الملخص. ثم يتم الاحتمية بعد ذلك نموذج فك تشفير التشفير على البيانات الموجزة خارج المجال باستخدام منتقدي العدوين، تهدف إلى تسهيل تلخيص المجال اللاإرادي. تظهر النتائج التجريبية على مجموعة من مجموعات البيانات العامة أنه مع بيانات تدريب محدودة فقط، يحقق نهجنا أداء تنافسي وتعميم جيد في سيناريوهات الحوار المختلفة.
على الرغم من أن تصحيح الخطأ النحوي (GEC) قد حقق أداء جيدا على النصوص التي كتبها المتعلمون من اللغة الإنجليزية كلغة ثانية، فإن الأداء على نطاقات كثافة الأخطاء المنخفضة حيث لا يزال من الممكن تحسين النصوص عن طريق مكبرات الصوت الإنجليزية من مستويات مختلف
ة من الكفاءة.في هذه الورقة، نقترح نهجا للتعلم المتعاقيض لتشجيع نموذج GEC لتعيين احتمال أعلى من الجملة الصحيحة مع تقليل احتمالية جمل غير صحيحة أن النموذج يميل إلى توليدها، وذلك لتحسين دقة النموذج.تظهر النتائج التجريبية أن نهجنا يحسن بشكل كبير أداء نماذج GEC في مجالات كثافة خطأ منخفضة، عند تقييمه على مجموعة بيانات CWEB القياسية.
أظهرت نماذج استخراج العلاقات العصبية نتائج واعدة في السنوات الأخيرة؛ومع ذلك، فإن أداء النموذج يسقط بشكل كبير منحت فقط بعض عينات التدريب فقط.تعمل الأعمال الحديثة التي تحاول الاستفادة من التقدم في سلطة قليلة التعلم لحل مشكلة الموارد المنخفضة، حيث تقوم
بتدريب نماذج الملصقات الملائمة لمقارنة أوجه التشابه الدلالي بشكل مباشر بين جمل السياق في مساحة التضمين.ومع ذلك، فإن المعلومات التي تدرك الملصقات، أي علبة العلاقة التي تحتوي على المعرفة الدلالية المتعلقة بالعلاقة نفسها، مهملة في كثير من الأحيان للتنبؤ.في هذا العمل، نقترح إطارا للنظر في معلومات رسم الخرائط الدلالية الملمع والملصقات على حد سواء لاستخراج العلاقات المتعلقة بالموارد المنخفضة.نظهر أن دمج النوعين المذكورين أعلاه من تعيين معلومات التعيين في كلا المحالمان والضبط بشكل جيد يمكن أن يحسن بشكل كبير من أداء النموذج على مهام استخراج العلاقات المتعلقة بالموارد المنخفضة.
حقق التعلم التلوي نجاحا كبيرا في الاستفادة من المعرفة المستفادة التاريخية لتسهيل عملية التعلم المهمة الجديدة.ومع ذلك، فإن تعلم معرفة المهام التاريخية، التي اعتمدتها خوارزميات التعلم التلوي الحالية، قد لا تعميم بشكل جيد للاختبار المهام عندما لا تكون م
دعومة جيدا بمهام التدريب.تدرس هذه الورقة مشكلة تصنيف النص المنخفض للموارد ويزيد الفجوة بين مهام اختبار التوطين والاختبار التلوي من خلال الاستفادة من قواعد المعرفة الخارجية.على وجه التحديد، نقترح KGML لإدخال تمثيل إضافي لكل جملة مستفادة من الرسم البياني المعرفي الخاص بالحكم الجملة المستخرجة.توضح التجارب الواسعة على ثلاثة مجموعات بيانات فعالية KGML تحت كلا من إعدادات التكيف والإشراف غير المدفوع.
أصبح أكبر انفجار أفضل في عدد المعلمات في الشبكات العصبية العميقة جعلته صعبة بشكل متزايد لجعل الشبكات الحديثة التي يمكن الوصول إليها في البيئات المقيدة لحسابها. أخذت تقنيات ضغط الأهمية المتجددة كوسيلة لسد الفجوة. ومع ذلك، فإن تقييم المفاضلات المتكبدة
من خلال تقنيات الضغط الشعبية قد تركزت على مجموعات بيانات عالية الموارد. في هذا العمل، نعتبر بدلا من ذلك تأثير الضغط في نظام محدود من البيانات. نقدم مصطلح رابط مزدوج الموارد المنخفضة للإشارة إلى حدوث قيود البيانات ويحسب قيود الموارد. هذا هو إعداد شائع لبرنامج NLP لغات الموارد المنخفضة، ومع ذلك، تتم دراسة المفاضلات في الأداء بشكل سيء. يقدم عملنا رؤى مفاجئة في العلاقة بين القدرات والتعميم في الأنظمة المحدودة البيانات لمهمة الترجمة الآلية. تجاربنا على حجم تشذيب الترجمات من الإنجليزية إلى يوروبا، هاوسا، إغيبو وألماني تظهر أنه في أنظمة الموارد المنخفضة، تحافظ Sparsity على أداء على جمل متكررة ولكن لها تأثير متباين على النادر. ومع ذلك، فإنه يعمل على تحسين نوبات التوزيع، وخاصة بالنسبة لمجموعات البيانات المميزة للغاية عن توزيع التدريب. تشير نتائجنا إلى أن Sparsity يمكن أن تلعب دورا مفيدا في الحد من حفظ سمات التردد المنخفضة، وبالتالي يقدم حلا واعدا للربط المزدوج الموارد المنخفضة.
