على الرغم من أن نماذج التدريب المسبق قد حققت نجاحا كبيرا في توليد الحوار، إلا أن أدائها ينخفض بشكل كبير عندما يحتوي المدخلات على كيان لا يظهر في مجموعات بيانات ما قبل التدريب والضبط (كيان غير مرئي). لمعالجة هذه المشكلة، تستفيد الأساليب الحالية لقاع
دة المعرفة الخارجية لتوليد الاستجابات المناسبة. في العالم الحقيقي العملي، قد لا يتم تضمين الكيان من قبل قاعدة المعارف أو تعاني من دقة استرجاع المعرفة. للتعامل مع هذه المشكلة، بدلا من إدخال قاعدة المعرفة كإدخال، نقوم بإجبار النموذج على تعلم التمثيل الدلالي الأفضل من خلال التنبؤ بالمعلومات في قاعدة المعرفة، فقط بناء على سياق الإدخال. على وجه التحديد، بمساعدة قاعدة المعرفة، نقدم هدفين تدريبين مساعدين: 1) تفسير الكلمة الملثمين، والتي تخنق معنى الكيان الملثمين بالنظر إلى السياق؛ 2) توليد Hypernym، الذي يتنبأ فرق الكيان بناء على السياق. نتائج التجربة على اثنين من الحوار كوربوس تحقق من فعالية أساليبنا تحت كلا المعرفة والإعدادات المتاحة وغير متوفرة.
في هذا العمل، نستكشف ضبط موجه، "آلية بسيطة ولكنها فعالة لتعلم المطالبات الناعمة" لحالة نماذج اللغة المجمدة لتنفيذ مهام المصب المحددة. على عكس مطالبات النص المنفصلة المستخدمة من قبل GPT-3، يتم تعلم المطالبات الناعمة من خلال إعادة الاتصال ويمكن ضبطها ل
دمج الإشارات من أي عدد من الأمثلة المسمى. يتفوق نهجنا المستفاد من طرفي تنضم إلى التعلم القليل من GPT-3 لهامش كبير. بشكل ملحوظ، من خلال ablations على حجم النموذج باستخدام T5، نظهر أن الضبط الفوري يصبح أكثر تنافسية على نطاق الحجم: نظرا لأن النماذج تتجاوز مليارات المعلمات، فإن طريقتنا تغلق الفجوة "وتطابق الأداء القوي لضبط النموذج (حيث جميع الأوزان النموذجية ضبطها). هذه النتيجة ذات صلة خاصة لأن النماذج الكبيرة مكلفة للمشاركة والخدمة والقدرة على إعادة استخدام نموذج واحد مجمد لمهام متعددة المصب يمكن أن تخفف من هذا العبء. يمكن اعتبار طريقةنا بمثابة تبسيط لضبط البادئة المقترح مؤخرا "لى ولديانغ (2021) ونوفر مقارنة بهذه الطريقة وغيرها من الأساليب المماثلة. أخيرا، نظهر أن تكييف نموذج مجمد مع مطالبات ناعمة يمنح الفوائد في متانة نقل المجال وتمكين الكفاءة الفعالة من الفئة الفعالة. "نحن ندرك رمز نقاط التفتيش والنموذج لإعادة إنتاج تجاربنا.
تقارير هذه الورقة أنظمة الترجمة الآلية المقدمة من فريق IIITT للغة الإنجليزية → أزواج اللغة المهاراتية والإنجليزية أزواج LORESMT 2021 المشاركة المشتركة.تركز المهمة على الحصول على ترجمات استثنائية لغات منخفضة بالموارد منخفضة إلى حد ما مثل الأيرلندية وا
لماراثية.نحن نايت Tune Endertrans، نموذج NMT متعدد اللغات مسبقا للغة الإنجليزية → Marathi، باستخدام Corpus الموازي الخارجي كمدخل للتدريب الإضافي.لقد استخدمنا نموذج English Helsinki-NLP Opus Mt للزواج باللغة الأخير.تؤدي نهجنا إلى نتائج واعدة نسبيا على مقاييس بلو.تحت اسم الفريق IIITT، تصنيف أنظمتنا في المرتبة 1، 1، و 2 باللغة الإنجليزية → الماراثي، الأيرلندية → الإنجليزية، والإنجليزية → الأيرلندية على التوالي.يتم نشر رموز أنظمتنا 1.
تم تطوير نماذج الترجمة للمجال المحدد لترجمة بيانات CovID من الإنجليزية إلى الأيرلندية لمهمة LORESMT 2021 المشتركة.تم تطبيق تقنيات التكيف عن المجال، باستخدام كوربوس 55K 55K تكييفها كوفي من المديرية العامة للترجمة.تم مقارنة أداء الدقيقة والضبط الجمنيات
المختلطة ومقارنة أساليب البيانات المشتركة مع النماذج المدربة على مجموعة بيانات داخلية ممتدة.كجزء من هذه الدراسة، تم تطوير مجموعة بيانات باللغة الإنجليزية والأيرلندية من البيانات ذات الصلة بالكوفت، من المجالات الصحية والتعليمية.يستخدم نموذج أعلى مستوياته بنية محول مدربة مع مجموعة بيانات Covid داخل المجال.في سياق هذه الدراسة، أظهرنا أن تمديد مجموعة بيانات أساسية 8K داخل المجال من خلال خطوط 5K فقط تحسنت درجة بلو بمقدار 27 نقطة.
في هذه الورقة وصفنا تقديمنا إلى الترجمة متعددة اللغات متعددة اللغات Wtask MulticeIndicMt '' تحت اسم الفريق Nict-5 ''.هذه المهمة تنطوي على الترجمة من 10 لغات ind إلى الإنجليزية والعكس العكس.كان الهدف من المهمة هو استكشاف فائدة النهج متعددة اللغات باست
خدام مجموعة متنوعة من المجال والموازيات غير المباشرة وغير المباشرة.بالنظر إلى النجاح الأخير للتعددية العامة للتدريب المسبق ل NMT، قررنا استكشاف ما قبل التدريب نموذج MBART على مجموعة كبيرة من أحادي الأطراف أحادية تغطي جميع اللغات في هذه المهمة متبوعة بضبط متعدد اللغات على الفور في المجال.أولا، لاحظنا أن كمية صغيرة من التدريب المسبق مسبقا تليها ضبط الدقيقة على شركت ثنائية اللغة يمكن أن تسفر عن مكاسب كبيرة عندما لا يتم استخدام التدريب المسبق.علاوة على ذلك، يؤدي الضبط الجمني متعدد اللغات إلى مزيد من المكاسب في جودة الترجمة التي تتفوق بشكل كبير على خط أساسي قوي متعدد اللغات لا يعتمد على أي تدريب مسبق.
تقدم هذه الورقة تقديم Duluthnlp إلى المهمة 7 من مسابقة Semeval 2021 بشأن الكشف عن الفكاهة والجريمة تصنيفها.في ذلك، نوضح النهج المستخدم لتدريب النموذج مع عملية ضبط النموذج الخاص بنا في الحصول على النتائج.ونحن نركز على الكشف عن الفكاهة والتصنيف والتصني
ف الفاسد، وهو ما يمثل ثلاثة من الأساس الأربع الفرعية التي قدمت.نظهر أن تحسين المعلمات فرطا لمعدل التعلم، يمكن أن يزيد حجم الدفعة وعدد EFOCHs من الدقة ونتيجة F1 للكشف عن الفكاهة
يحقق النماذج المحددة ذات الأهداف الإشراف ذاتية الإشراف على النصوص الكبيرة على تحقيق أداء حديثة على مهام تلخيص النص الإنجليزية. ومع ذلك، فإن هذه النماذج عادة ما يتم ضبطها على مئات الآلاف من نقاط البيانات، ومتطلبات غير قابلة للتنفيذ عند تطبيق تلخيص لمج
الات مخصصة جديدة. في هذا العمل، نقدم طريقة جديدة ومتعمول، تسمى Wikitransfer، للحصول على نماذج مطاطية دقيقة مسبقا للتلخيص بطريقة غير منشأة، خاصة بموجب البيانات. Wikitransfer Ground-Descrees نماذج مسبقا على الملخصات الزائفة، التي تم إنتاجها من بيانات Wikipedia العامة، والتي تحتوي على خصائص DataSet المستهدفة، مثل طول ومستوى التجريد من الملخصات المرغوبة. حقق نماذج Wikitransfer أداء موجات خارجي من بين الفن، وهو أداء التلخيص المبشط عن الصفر على مجموعة بيانات CNN-Dailymail وإظهار فعالية نهجنا على ثلاث مجموعات بيانات متنوعة إضافية. هذه النماذج هي أكثر قوة للبيانات الصاخبة وكذلك تحقيق أداء أقل أو قابلة للمقارنة قليلا باستخدام 10 و 100 أمثلة تدريبية عند مقارنة بنقل القليل من بيانات الملخصات الأخرى. لتعزيز الأداء، نؤدي إلى زيادة تكبير البيانات عبر الترجمة المستديرة الرحلة وكذلك إدخال مصطلح تنظيمي لتحسين تحويل القليل من الرصاص. لفهم دور جوانب البيانات في أداء النقل ونوعية ملخصات الإخراج الناتجة، فإننا ندرس تأثير مكونات مكونات بيانات الطاقة الدقيقة الخاصة بنا وتحليل الأداء القليل من الأداء باستخدام التقييم التلقائي والبشري.
تم عرض التعلم النشط للحد من متطلبات التوضيحية للعديد من مهام معالجة اللغة الطبيعية، بما في ذلك وضع العلامات الدلالية (SRL).تنطوي SRL على وسيطة وسيطة تمتد من أجل المحتمل أن يحتمل أن يتسرب المتعددة في جملة، مما يجعل من الصعب تجميع القرارات العديدة في د
رجة واحدة لتحديد حالات جديدة للتعليق.في هذه الورقة، نطبق طريقتين للحصول على درجات تجميع عبر المسندات المتعددة من أجل اختيار جمل الاستعلام مع طريقتين تقدير اليقين النموذجي: استخدام مخرجات الشبكة العصبية واستخدام التعلم النشط في Bayesian في التسرب عن طريق الخلاف.قارنا هذه الأساليب بثلاثة أسماطية سلبية --- اختيار الجملة العشوائية، تحديد المستندات العشوائية بالكامل، واختيار الجمل مع معظم المتوقع --- وتحليل تأثير هذه الاستراتيجيات لديها على منحنى التعلم فيما يتعلق بتخفيض عدد المشروحالجمل والمسند لتحقيق الأداء العالي.
في تطبيقات خدمة العملاء الخاصة بالمجال على الإنترنت، تكافح العديد من الشركات بنشر نماذج NLP المتقدمة بنجاح، بسبب توفر وضوضاء محدودة في مجموعات البيانات الخاصة بهم.في حين أن الأبحاث المسبقة أظهرت إمكانية ترحيل النماذج الكبيرة المسبقة للمجال المفتوحة ل
لمهام الخاصة بالمهام الخاصة بالمجال، فإن استراتيجيات التدريب المناسبة (قبل) لم يتم تقييمها بشدة في إعدادات خدمة العملاء في وسائل التواصل الاجتماعي، خاصة في ظل ظروف متعددة اللغات.نحن نتعامل مع هذه الفجوة من خلال جمع وجعة إعلامية اجتماعية متعددة اللغات تحتوي على محادثات خدمة العملاء (تغريدات 865K)، ومقارنة خطوط أنابيب مختلفة من الأساليب المحددة والفصل، وتطبيقها على 5 مهام مختلفة مختلفة.نوضح أنه يلاحظ نموذج محول عام متعدد اللغات على مجموعة بياناتنا داخل المجال، قبل التصميم في مهام نهاية محددة، يعزز الأداء باستمرار، خاصة في الإعدادات غير الإنجليزية.
تقدم هذه الورقة بشكل أساسي المحتوى ذي الصلة للكشف عن خطاب الأمل للمهمة للمساواة والتنوع والإدراج في LT-EDI 2021-EACL 2021 ''.تم توفير ما مجموعه ثلاث مجموعات بيانات لغوية، ونختار مجموعة البيانات الإنجليزية لإكمال هذه المهمة.الهدف المهمة المحددة هو تصن
يف الكلام المحدد إلى خطاب الأمل "، وليس الكلام الأمل"، وليس في اللغة المقصودة ".فيما يتعلق بالطريقة، نستخدم Albert Tuned و K Fold Validation لإنجاز هذه المهمة.في النهاية، حققنا نتيجة جيدة في قائمة رتبة النتيجة المهمة، وكانت النتيجة F1 النهائية 0.93، ربط للمكان الأول.ومع ذلك، سوف نستمر في محاولة تحسين الأساليب للحصول على نتائج أفضل في العمل في المستقبل.
