أظهرت التقدم المحدد في استخدام مكونات الاسترجاع على مصادر المعرفة الخارجية نتائج رائعة لمجموعة متنوعة من المهام المصب في معالجة اللغة الطبيعية.هنا، نستكشف استخدام مصادر المعرفة الخارجية غير منتهية للصور وتستياؤها المقابلة لتحسين الإجابة على السؤال ال
مرئي (VQA).أولا، نحن ندرب نموذج محاذاة جديدة لتضمين الصور والتعليقات التوضيحية في نفس الفضاء، والذي يحقق تحسنا كبيرا في الأداء على استرجاع التعليق على الصورة W.r.T.طرق مماثلة.ثانيا، نظهر أن المحولات متعددة الوسائط متعددة الاسترجاع باستخدام نموذج المحاذاة المدربين يحسن النتائج على VQA عبر خطوط خطوط خطوط خطوط خطوط خطوط خطوط خطوط خطوط طويلة.كلنا إجراء تجارب مكثفة لإثبات وعد هذا النهج، وفحص طلبات جديدة لوقت الاستدلال مثل مؤشرات التبديلات الساخنة.
تم دراسة التعرف على الكيان المسمى Nestate (NNER) على نطاق واسع، تهدف إلى تحديد جميع الكيانات المتداخلة من تمديدات محتملة (I.E.، واحد أو أكثر من الرموز المستمرة). ومع ذلك، فإن الدراسات الحديثة لأي نانر إما التركيز على مخططات العلامات الشاقة أو الاستفا
دة من الهياكل المعقدة، والتي تفشل في تعلم تمثيلات فعالة من جملة المدخلات مع كيانات متداخلة للغاية. بمعنى حدسي، ستساهم تمثيلات صريحة في نانر بسبب معلومات السياق الغنية التي تحتوي عليها. في هذه الدراسة، نقترح شبكة محول هرمية (HITRANS) للمهمة NNER، والتي تتحلل جملة الإدخال إلى تمثال متعدد الحبوب وتعزز التعلم التمثيل بطريقة هرمية. على وجه التحديد، نستخدم أول وحدة من المرحلة الأولى لتوليد تمثيلات تمتد عن طريق معلومات السياق التجميعية بناء على شبكة محول من أسفل إلى أعلى وهبوطا. ثم تم تصميم طبقة التنبؤ الملصق للتعرف على الكيانات المتداخلة هرمية، والتي تستكشف بشكل طبيعي التبعيات الدلالية بين تمديد مختلفة. تثبت تجارب مجموعات بيانات Genia و ACE-2004 و ACE-2005 و NNE أن طريقةنا المقترحة تحقق أداء أفضل بكثير من النهج التي من بين الفني.
