للحد من حجم النموذج ولكن الاحتفاظ بالأداء، كنا نعتمد في كثير من الأحيان على تقطير المعرفة (دينار كويتي) الذي ينقل المعرفة من نموذج المعلم الكبير إلى نموذج طالب أصغر. ومع ذلك، فإن KD على مجموعات بيانات متعددة الوسائط مثل مهام اللغة الرؤية غير مستكشفة
نسبيا، وهضم معلومات متعددة الوسائط تحديا لأن طرائق مختلفة تقدم أنواعا مختلفة من المعلومات. في هذه الورقة، نقوم بإجراء دراسة تجريبية واسعة النطاق للتحقيق في أهمية وآثار كل طريقة في تقطير المعرفة. علاوة على ذلك، نقدم إطارا لتقطير المعرفة متعددة الوسائط، وقطاع التقطير الخاص بالطرياء (MSD)، لنقل المعرفة من المعلم عن مهام متعددة الوسائط عن طريق تعلم سلوك المعلم داخل كل طريقة. تهدف الفكرة إلى تحية التنبؤات الخاصة بنوية المعلم من خلال إدخال شروط الخسائر المساعدة لكل طريقة. علاوة على ذلك، نظرا لأن كل طريقة لها اتفاقية مختلفة بالنسبة للتنبؤات، فإننا نحدد درجات الرافية لكل طريقة وتحقيق في مخططات الترجيح القائم على الرافية للخسائر الإضافية. ندرس نهج تعليم الوزن لمعرفة الأثقال المثلى على شروط الخسارة هذه. في تحليلنا التجريبي، نقوم بفحص اتفاقية كل طريقة في KD، وأوضح فعالية نظام الترجيح في MSD، وإظهار أنه يحقق أداء أفضل من KD على أربعة مجموعات بيانات متعددة الوسائط.
عند قراءة قطعة أدبية، غالبا ما يصنع القراء استنتاجات حول أدوار الشخصيات والشخصيات والعلاقات والمهالية والإجراءات، وما إلى ذلك بينما يمكن للبشر السحب بسهولة على تجاربهم السابقة لبناء مثل هذه النظرة التي تركز على الطابع للسرد، فهم الشخصياتيمكن أن تكون
الروايات مهمة صعبة للأجهزة.لتشجيع البحث في هذا المجال من فهم السرد المركزي بالشخصية، نقدم LCSU - مجموعة بيانات جديدة من القطع الأدبية وملخصاتها مقترن بأوصاف الشخصيات التي تظهر فيها.نقدم أيضا مهام جديدة على LCCU: تحديد الأحرف وتوليد وصف الشخصيات.تجاربنا مع العديد من النماذج اللغوية المدربة مسبقا مكيفة لهذه المهام توضح أن هناك حاجة إلى نماذج أفضل من الفهم السردي.
على مدار العقد الماضي، طورت مجال معالجة اللغة الطبيعية مجموعة واسعة من الأساليب الحسابية لمعرفة الرواية، بما في ذلك تلخيص، استنتاج المنطقي، والكشف عن الحدث.في حين أن هذا العمل قد جلب عدسة تجريبية مهمة لفحص السرد، فهو مطلقات كبيرة من الجسم الكبير من ا
لعمل النظري على السرد داخل العلوم الإنسانية والاجتماعية والعلوم المعرفية.في هذه الورقة الموضعية، نقدم الأطر النظرية المهيمنة إلى مجتمع NLP، وتوليد البحوث الحالية في NLP داخل التقاليد السريعة المميزة، وتجادل أن ربط العمل الحسابي في NLP بالنظرية يفتح مجموعة من الأسئلة التجريبية الجديدة التي من شأنها أن تساعد كلاهما في التقدم لدينافهم السرد وفتح تطبيقات عملية جديدة.
وقد حققت نماذج اللغة المدربة على نطاق واسع (LMS) أداء مستوى بشري على اتساع مهام فهم اللغة.ومع ذلك، فإن التقييمات فقط بناء على أداء المهام النهائي ألقت الضوء قليلا على الآلات القدرة الحقيقية في فهم اللغة والتفكير.في هذه الورقة، نسلط الضوء على أهمية تق
ييم عملية التفكير الأساسية بالإضافة إلى الأداء النهائي.نحو هذا الهدف، نقدم المنطق المتدرج في الفيزياء البديهية (الرحلة)، وهناك مجموعة بيانات المنطق الرواية المنطقية مع شروح كثيفة تمكن التقييم متعدد المتدرج لعملية التفكير الآلات.تظهر نتائج التجريبية الخاصة بنا أنه في حين أن LMS كبيرة يمكن أن تحقق أداء متطورا للغاية، إلا أنهم يكافحون لدعم تنبؤاتهم بأدلة داعمة صالحة.ستحفز مجموعة بيانات الرحلة ونتائج أساسية لدينا لتحفيز تقييم يمكن التحقق منه من المنطق المنطقي وتسهيل البحوث المستقبلية نحو تطوير نماذج أفضل لغات وتفكير اللغة.
كجزء من المهمة المشتركة الحميرة، قمنا بتطوير بنية قوية ومضبوطة بدقة للتعامل مع الاسترجاع المشترك وتتبعها على البيانات النصية وكذلك البيانات الهيكلية مثل الجداول.اقترحنا خططين تدريبي لمعالجة العقبات المتأصلة لمجموعات البيانات متعددة الوسائط متعددة الق
فزات.أول واحد يسمح بإجراء استرجاع قوي لمجموعات الأدلة الكاملة، في حين أن المرء الثاني يتيح الاستيطاط الاستفادة الكاملة من مدخلات الأدلة الصاخبة.بالإضافة إلى ذلك، كشف عملنا عن رؤى مهمة وسيلة بحثية محتملة للتحسين في المستقبل على هذا النوع من مجموعة البيانات.في التقييم الأولي حول مجموعة اختبار المهام المشتركة الحميرة، يحقق نظامنا 0.271 درجة حمامة، مع استدعاء الأدلة 0.4258 ودقة استقامة 0.5607.
نقدم VideoClip، وهو نهج مقاوم للتناقض في تدريب نموذج موحد مسبقا لفهم الفيديو والنصية الصفرية، دون استخدام أي ملصقات على مهام المصب.يقوم VideoClep بتدريب محول الفيديو والنص عن طريق تناقض أزواج فيديو إيجابية مؤقتة متداخلة مع السلبيات الصعبة من أقرب است
رجاع جار.تجاربنا على سلسلة متنوعة من المهام المصب، بما في ذلك استرجاع الفيديو على مستوى التسلسل، والتعريب الخاص بمستوى عمل Videoqa ومستوى الرمز المميز، وتجزئة العمل تكشف عن أداء حالة من بين الفن، وتجاوز العمل السابق، وفي بعض الحالات يفوقنالنهج الخاضعة للإشراف.يتوفر الكود في https://github.com/pytorch/fairseq/examples/mmpt.
غالبا ما يكون لدى السياسيين جداول أعمال أساسية عند الرد على الأحداث.تعكس الحجج في سياقات الأحداث المختلفة مجموعة متسقة إلى حد ما من جدول أعمال كيان معين.على الرغم من التطورات الأخيرة في نماذج اللغة المحددة مسبقا، فإن هذه التمثيلات النصية غير مصممة لا
لتقاط مثل هذه الأنماط الدقيقة.في هذه الورقة، نقترح نموذج قارئ ترخيص يتكون من وحدات التشفير والملحن، والتي تلتقط هذه المعلومات وتزود هذه المعلومات لتوليد تمثيلات أكثر فعالية للكيانات والقضايا والأحداث.هذه التمثيلات محكوم علي تغريدات، البيانات الصحفية، والقضايا، والمقالات الإخبارية، والكيانات المشاركة.يعالج النموذج لدينا العديد من المستندات في وقت واحد ويولد تمثيلات مؤلفة للحصول على كيانات متعددة على العديد من القضايا أو الأحداث.من خلال التحليل التجريبي النوعي والكمي، نوضح أن هذه التمثيلات ذات مغزى وفعال.
يتم استخدام تقطير المعرفة (KD) على نطاق واسع لضغط ونشر نماذج لغة كبيرة مدربة مسبقا على أجهزة EDGE لتطبيقات العالم الحقيقي.ومع ذلك، فإن مساحة البحث واحدة مهملة هي تأثير الملصقات الصاخبة (التالفة) على KD.نقدم، إلى حد علمنا، أول دراسة حول الملكية الدماغ
ية مع ملصقات صاخبة في فهم اللغة الطبيعية (NLU).نحن توثق نطاق المشكلة وتقديم طريقتين لتخفيف تأثير ضوضاء التسمية.تشير التجارب على مرجع الغراء إلى أن أساليبنا فعالة حتى تحت مستويات ضوضاء عالية.ومع ذلك، تشير نتائجنا إلى أن المزيد من البحث ضروري للتعامل مع ضجيج الملصقات تحت KD.
غالبا ما يتم تحديد موكب النموذج إلى التحيز من خلال التعميم على مجموعات البيانات الخارجية المصممة بعناية.أساليب الدخل الحديثة في فهم اللغة الطبيعية (NLU) تحسين الأداء على مجموعات البيانات هذه عن طريق الضغط على النماذج في تحقيق تنبؤات غير متحيزة.الافتر
اض الأساسي وراء هذه الأساليب هو أن هذا يؤدي أيضا إلى اكتشاف ميزات أكثر قوة في التمثيلات الداخلية للنموذج.نقترح إطارا عاما يستند إلى التحقيق العامة يسمح بتفسير ما بعد الهوك للتحيزات في طرازات اللغة، واستخدام نهج نظرية معلومات لقياس قابلية استخراج بعض التحيزات من تمثيلات النموذج.نقوم بتجربة العديد من مجموعات بيانات NLU والتحيزات المعروفة، وتظهر ذلك، مضادا بشكل حدسي، كلما دفع نموذج لغة أكثر نحو نظام ديبي، فإن التحيز الأكثر ترميزا بالفعل في تمثيلاته الداخلية.
أصبحت ميمات الإنترنت في كل مكان في شبكات وسائل التواصل الاجتماعي اليوم.نظرا لشعبيةهم، فهي أيضا وضع التعبير المستخدم على نطاق واسع لنشر التضليل عبر الإنترنت.نظرا لأن الميمات تتكون من مزيج من النص والصورة، فإنها تتطلب نهجا متعدد الوسائط للتحليل التلقائ
ي.في هذه الورقة، نصف مساهمتنا في اكتشاف Semeval-2021 من تقنيات الاقتران في النصوص والصور المهمة.نقترح نظام تعليمي متعدد الوسائط، مما يشتمل على membeddings ''، viz.ميزات النص المشتركة والرؤية من خلال الجمع بينها مع تجمع bilinear المدمجة، لتحديد تقنيات التهاضة الخطابية والنفسية تلقائيا.تظهر النتائج التجريبية أن النظام المقترح يتفوق باستمرار على خط الأساس في المسابقة، وتحقق أفضل درجة ماكرو F1 و 14 درجة 14 درجة مئوية من جميع المشاركين.
