نحن نتطلع إلى تحدي التركيب المقدم من مؤشر المسح.باستخدام تكبير البيانات وتعديل هندسة SEQ2SEQ القياسية مع الاهتمام، نحقق نتائج SOTA على جميع المهام ذات الصلة من المعيار، وإظهار أن النماذج يمكن أن تعميم الكلمات المستخدمة في السياقات غير المرئية.نقترح امتدادا للمعيار من خلال مهمة أصعب، والتي لا يمكن حلها بالطريقة المقترحة.
We address the compositionality challenge presented by the SCAN benchmark. Using data augmentation and a modification of the standard seq2seq architecture with attention, we achieve SOTA results on all the relevant tasks from the benchmark, showing the models can generalize to words used in unseen contexts. We propose an extension of the benchmark by a harder task, which cannot be solved by the proposed method.
المراجع المستخدمة
https://aclanthology.org/
تعظيم البيانات غير المزعجة (UDA) هي تقنية شبه بيئية تنطبق على فقدان الاتساق لمعاقبة الاختلافات بين تنبؤات النماذج على (أ) أمثلة ملحوظة (غير مسفحة)؛ و (ب) الأمثلة الواضحة المقابلة التي تم إنتاجها عبر تكبير البيانات. في حين أن UDA اكتسبت شعبية لتصنيف ا
أثارت نماذج اللغة المدربة مسبقا مقرها الانتباه مثل GPT-2 تقدما كبيرا لنمذجة حوار نهاية إلى نهاية.ومع ذلك، فإنهم يقدمون أيضا مخاطر كبيرة للحوار الموجهة إلى المهام، مثل عدم وجود أسس المعرفة أو التنوع.لمعالجة هذه القضايا، نقدم أهداف تدريبية معدلة لنموذج
حققت نماذج تمثيل اللغة المدربة مؤخرا مثل بيرت وروبرتا نتائج مهمة في مجموعة واسعة من مهام معالجة اللغة الطبيعية (NLP)، ومع ذلك، فإنها تتطلب تكلفة حسابية عالية للغاية.يعد تعلم المناهج الدراسية (CL) أحد الحلول المحتملة لتخفيف هذه المشكلة.CL هي استراتيجي
تصف هذه الورقة نظام فريق Cambridge المقدم إلى المهمة المشتركة SEMEVAL-2021 على الغموض المتعدد اللغات واللغة الاجتماعية في السياق.بناء فوق نموذج لغة ملثم مسبقا مدرب مسبقا، يتم تدريب نظامنا أولا مسبقا على بيانات خارج المجال، ثم ضبطها على بيانات داخل ال
إن استخراج وسيطة الحدث الضمني (EAE) هي مهمة حاسمة لاستخراج المعلومات على مستوى المستندات تهدف إلى تحديد حجج الحدث بما يتجاوز مستوى الجملة.على الرغم من الجهود العديدة لهذه المهمة، فإن عدم وجود بيانات تدريبية كافية قد أعاقت الدراسة.في هذه الورقة، نأخذ