في حين أن مجموعات بيانات الإجابة على الأسئلة المتنوعة (QA) اقترحت وساهمت بشكل كبير في تطوير نماذج التعلم العميق لمهام ضمان الجودة، فإن البيانات الحالية تقصر في جوانبين. أولا، نفتقر إلى مجموعات بيانات ضمان الجودة التي تغطي الأسئلة المعقدة التي تنطوي ع
لى إجابات بالإضافة إلى عمليات التفكير للحصول عليها. نتيجة لذلك، لا تزال أبحاث ضمنيا في ضمان الجودة العددية تركز على حسابات بسيطة ولا توفر التعبيرات الرياضية أو الأدلة التي تبرر الإجابات. ثانيا، ساهم مجتمع ضمان الجودة في الكثير من الجهد لتحسين إمكانية تفسير نماذج QA. ومع ذلك، فإنهم يفشلون في إظهار عملية التفكير صراحة، مثل أمر الأدلة من أجل التفكير والتفاعلات بين الأدلة المختلفة. لمعالجة العيب المذكور أعلاه، نقدم Noahqa ومجموعة بيانات QA محادثة وثنائية اللغة مع أسئلة تتطلب التفكير العددي مع التعبيرات الرياضية المركبة. مع Noahqa، نقوم بتطوير رسم بياني لتفكير قابل للتفسير بالإضافة إلى متري التقييم المناسب لقياس جودة الإجابة. نقوم بتقييم حديثة نماذج ضمان الجودة المدربة باستخدام مجموعات بيانات QA الحالية على Noahqa وإظهار أن الأفضل من بينها يمكن فقط تحقيق 55.5 عشر درجات مطابقة محددة، في حين أن الأداء البشري هو 89.7. نقدم أيضا نموذجا جديدا في ضمان الجودة لتوليد رسم بياني للمنطق حيث لا يزال متري الرسم البياني للمنطق فجوة كبيرة مقارنة بمركبات البشر، على سبيل المثال، 28 درجات.
ركزت أبحاث NLP باللغة العبرية إلى حد كبير على التورفولوجيا وبناء جملة، حيث تتوفر مجموعات البيانات المشروحة الغنية بروح التبعيات العالمية.ومع ذلك، تعد مجموعات البيانات الدلالية في العرض القصير، مما يعوق السلف الحاسم في تطوير تكنولوجيا NLP باللغة العبر
ية.في هذا العمل، نقدم البسجة، والسؤال الأول يجيب على DataSet في العبرية الحديثة.تتبع DataSet التنسيق والتعبئة المنهجية من المنهجية من التدقيق، وتحتوي على ما يقرب من 3000 من الأمثلة المشروحة، مماثلة لمجموعات بيانات الإجابة على الأسئلة الأخرى بلغات الموارد المنخفضة.نحن نقدم نتائج خط الأساس الأولى باستخدام نماذج مصممة على طراز برت صدر مؤخرا للعبرية، مما يدل على أن هناك مجالا مهما للتحسين في هذه المهمة.
نقوم بتطوير نظام موحد للإجابة مباشرة من أسئلة النص المفتوح النص قد تتطلب عددا مختلفا من خطوات الاسترجاع. نحن نوظف نموذجا واحدا للمحولات متعددة المهام لأداء جميع الملاحات الفرعية اللازمة - - استرجاع الحقائق الداعمة، وإعادة تشغيلها، والتنبؤ بإجابة جميع
المستندات المستردة --- بطريقة تكرارية. نتجنب الافتراضات الحاسمة للعمل السابق لا ينقل جيدا إلى إعدادات العالم الحقيقي، بما في ذلك استغلال المعرفة بالعدد الثابت من خطوات الاسترجاع المطلوبة للإجابة على كل سؤال أو استخدام البيانات الوصفية الهيكلية مثل قواعد المعرفة أو روابط الويب التي لها توافر محدود. بدلا من ذلك، نقوم بتصميم نظام يمكنه الرد على أسئلة مفتوحة على أي مجموعة نصية دون معرفة مسبقة بتعقيد المعنى. لمحاكاة هذا الإعداد، نبني معيارا جديدا، يسمى BEERSQA، من خلال الجمع بين مجموعات البيانات الموجودة ذات الخطوة الحالية مع مجموعة جديدة من 530 سؤالا تتطلب ثلاث صفحات ويكيبيديا للرد عليها، توحيد إصدارات ويكيبيديا كوربور في العملية. نظهر أن نموذجنا يوضح أداء تنافسي على كل من المعايير الحالية وهذا المعيار الجديد. نجعل المعيار الجديد متاحا في https://beerqa.github.io/.
نحن نتعامل مع استجابة سؤال متعددة الاختيار.الحصول على معرفة المنطقية ذات الصلة بالسؤال والخيارات يسهل الاعتراف بالإجابة الصحيحة.ومع ذلك، تعاني نماذج التفكير الحالية من الضوضاء في المعرفة المستردة.في هذه الورقة، نقترح طريقة ترميز جديدة قادرة على إجراء
الاعتراض والتصفية الناعمة.وهذا يساهم في حصاد وامتصاص المعلومات التمثيلية مع تدخل أقل من الضوضاء.نقوم بتجربة commonsenseqa.توضح النتائج التجريبية أن طريقتنا تعطي تحسينات كبيرة ومتسقة مقارنة بخدمات الأساس والقاعدة القائمة على روبرتا وألبرت.
يمكن إلقاء العديد من الأسئلة المفتوحة على المشكلات بمثابة مهمة استقامة نصية، حيث يتم تسليم الإجابات السؤال والمرشح لتشكيل الفرضيات. ثم يحدد نظام ضمان الجودة إذا كان قواعد المعرفة الداعمة، التي تعتبر مباني محتملة، تنطوي على الفرضيات. في هذه الورقة، نح
قق في نهج ضمان الجودة العصبي الرمزي الذي يدمج المنطق الطبيعي في مجال البندسة التعليمية العميقة، نحو تطوير نماذج إجابة فعالة وغير قابلة للتفسير. النموذج المقترح يسجل تدريجيا فرضية ومباني مرشحة بعد خطوات الاستدلال المنطقي الطبيعي لبناء مسارات إثبات. يتم قياس درجات الاستلام بين الفرضيات المتوسطة المكتسبة ومباني المرشح لتحديد ما إذا كانت الفرضية تستلزم الفرضية. نظرا لأن عملية التفكير الطبيعي للمنطق تشكل هيكل يشبه الأشجار وتسلسلا هرميا، فإننا قمنا بتضمين الفرضيات والمباني في مساحة مفرطة بدلا من مساحة Euclidean للحصول على تمثيلات أكثر دقة. تجريبيا، وطريقة لدينا تفوقت على العمل المسبق على الإجابة على أسئلة علوم متعددة الخيارات، وتحقيق أفضل النتائج في مجموعة بيانات متوفرة للجمهور. توفر عملية الاستدلال المنطقي الطبيعي بطبيعتها الأدلة للمساعدة في تفسير عملية التنبؤ.
أظهرت نماذج الرؤية اللغوية المدربة مسبقا أداء رائعا حول مهمة الإجابة على السؤال المرئي (VQA). ومع ذلك، يتم تدريب معظم النماذج المدربة مسبقا من خلال النظر فقط في التعلم أحادي الأونلينغ، وخاصة اللغة الغنية بالموارد مثل اللغة الإنجليزية. تدريب هذه النما
ذج للكمات متعددة اللغات طلب موارد الحوسبة عالية ومجموعات بيانات الرؤية متعددة اللغات التي تعيق تطبيقها في الممارسة العملية. لتخفيف هذه التحديات، نقترح نهج تقطير المعرفة لتوسيع نموذج للرؤية باللغة الإنجليزية (المعلم) في نموذج متعدد اللغات ومزوج التعليمات البرمجية (طالبة). على عكس أساليب تقطير المعرفة الحالية، والتي تستخدم فقط الإخراج من الطبقة الأخيرة من شبكة المعلم للتقطير، يتعلم نموذج الطالب الخاص بنا وتقليد المعلم من طبقات متعددة الوسائط (تشفير اللغة والرؤية) بأهداف تقطير مصممة بشكل مناسب لاستخراج المعرفة الإضافية وبعد كما نقوم بإنشاء مجموعة بيانات VQA متعددة اللغات متعددة اللغات متعددة اللغات وخلطها في أحد عشر جهازا مختلفا للنظر في اللغات الهندية والأوروبية المتعددة. تظهر النتائج التجريبية والتحليل المتعمق فعالية نموذج VQA المقترح على نماذج الرؤية المدربة مسبقا في الرؤية المدربة مسبقا في أحد عشر من إعدادات لغة متنوعة.
الإجابة السؤالية (QA) هي واحدة من أكثر المهام التحدي والآثار في معالجة اللغة الطبيعية.ومع ذلك، ركزت معظم الأبحاث في ضمان الجودة على النطاق المفتوح أو الأبدية في حين أن معظم تطبيقات العالم الواقعي تعامل مع مجالات أو لغات محددة.في هذا البرنامج التعليمي
، نحاول سد هذه الفجوة.أولا، نقدم معايير قياسية في مجال QA متعدد اللغات متعددة اللغات.في كل من السيناريوهين، نناقش النهج الحديثة التي تحقق أداء مثير للإعجاب، تتراوح من التعلم من تحويل صفرية إلى التدريب خارج الصندوق مع أنظمة QA المجال المفتوحة.أخيرا، سنقدم مشاكل بحثية مفتوحة أن أجندة الأبحاث الجديدة تشكل مثل التعلم متعدد المهام، وتعلم التحويل عبر اللغات، وتكييف المجال وتدريب نماذج لغة متعددة اللغات المدربة مسبقا مسبقا.
في إجابة سؤال مفتوحة بسيطة (QA)، أصبح استرجاع كثيف أحد الأساليب القياسية لاستعادة المقاطع ذات الصلة إلى استنتاج إجابة.في الآونة الأخيرة، حققت الاسترجاع الكثيف أيضا نتائج أحدث النتائج في هفور تشاينا، حيث يلزم تجميع المعلومات من أجزاء متعددة من المعلوم
ات والمناسبات عليها.على الرغم من نجاحها، فإن أساليب استرجاع كثيفة هي مكثفة حسابية، مما يتطلب تدريب GPUs المتعدد للتدريب.في هذا العمل، نقدم نهجا هجينا (معجميا وتكثيفا) تنافسية للغاية مع نماذج استرجاع كثيفة الحديث، مع مطالبة موارد حسابية أقل بكثير.بالإضافة إلى ذلك، نحن نقدم تقييم متعمق لأساليب استرجاع كثيفة على إعدادات الموارد الحاسوبية المحدودة، وهو شيء مفقود من الأدبيات الحالية.
تم إنشاء العديد من مجموعات البيانات لتدريب نماذج الفهم في القراءة، والسؤال الطبيعي هو ما إذا كان يمكننا دمجها لبناء النماذج التي (1) أداء أفضل على جميع مجموعات بيانات التدريب و (2) تعميم وتحويل أفضل بيانات جديدة إلى مجموعات البيانات الجديدة. عالج الع
مل المسبق هذا الهدف من خلال تدريب شبكة واحدة في وقت واحد على مجموعات بيانات متعددة، والتي تعمل بشكل جيد في المتوسط ولكنها عرضة للتوزيعات الفرعية المختلفة أو غير الضرورية ويمكن نقلها أسوأ مقارنة بالنماذج المصدر بأكثر تداخل مع DataSet المستهدف. يتمثل نهجنا في نموذج سؤال متعدد البيانات مستجيب مع مجموعة من خبراء DataSet واحد، من خلال تدريب مجموعة من وحدات محول محول خفيفة الوزن وخفيفة الوزن (Houlsby et al.، 2019) التي تشترك في نموذج محول أساسي. نجد أن خبراء مجموعة البيانات متعددة المحولات (صنع) تفوقوا جميع خطوط الأساس لدينا من حيث دقة التوزيع، والأساليب البسيطة القائمة على متوسط المعلمة تؤدي إلى تحسين التعميم الصفرية وأداء قليل من الرصاص، مما يوفر قويا و نقطة انطلاق متعددة الاستخدامات لبناء أنظمة مفهوم القراءة الجديدة.
إلى جانب توفر مجموعات بيانات واسعة النطاق، مكنت هياكل التعلم العميق التقدم السريع في مهمة الإجابة على السؤال.ومع ذلك، فإن معظم مجموعات البيانات هذه باللغة الإنجليزية، وأدائيات النماذج متعددة اللغات الحديثة أقل بكثير عند تقييمها على البيانات غير الإنج
ليزية.نظرا لتكاليف جمع البيانات العالية، فهي ليست واقعية للحصول على بيانات مشروحة لكل لغة رغبة واحدة لدعمها.نقترح طريقة لتحسين السؤال المتبادل الإجابة على الأداء دون الحاجة إلى بيانات مشروح إضافية، واستفادة نماذج توليد السؤال لإنتاج عينات اصطناعية في أزياء متصلة.نظهر أن الطريقة المقترحة تتيح التوفيق بشكل كبير على خطوط الأساس المدربين على بيانات اللغة الإنجليزية فقط.نبلغ عن أحدث طرف جديد في أربع مجموعات بيانات: MLQA و Xquad و Squad-It و PIAF (FR).
