تشير الدراسات الحديثة إلى أن العديد من أنظمة NLP حساسة وعرضة للاضطرابات الصغيرة للمدخلات ولا تعميمها بشكل جيد عبر مجموعات البيانات المختلفة. هذا الافتقار إلى المتانة ينطبق على استخدام أنظمة NLP في تطبيقات العالم الحقيقي. يهدف هذا البرنامج التعليمي إل
ى زيادة الوعي بالشواغل العملية حول متانة NLP. يستهدف الباحثون والممارسون الخماسيون الذين يهتمون ببناء أنظمة NLP موثوقة. على وجه الخصوص، سنراجع الدراسات الحديثة حول تحليل ضعف أنظمة NLP عند مواجهة المدخلات والبيانات المعديين مع تحول التوزيع. سوف نقدم للجمهور بهدف شامل من 1) كيفية استخدام أمثلة الخصومة لفحص ضعف نماذج NLP وتسهيل تصحيح الأخطاء؛ 2) كيفية تعزيز متانة نماذج NLP الحالية والدفاع ضد المدخلات الخصومة؛ 3) كيف يؤثر النظر في المتانة على تطبيقات NLP العالمية الحقيقية المستخدمة في حياتنا اليومية. سنختتم البرنامج التعليمي عن طريق تحديد اتجاهات البحث في المستقبل في هذا المجال.
الإجابة السؤالية (QA) هي واحدة من أكثر المهام التحدي والآثار في معالجة اللغة الطبيعية.ومع ذلك، ركزت معظم الأبحاث في ضمان الجودة على النطاق المفتوح أو الأبدية في حين أن معظم تطبيقات العالم الواقعي تعامل مع مجالات أو لغات محددة.في هذا البرنامج التعليمي
، نحاول سد هذه الفجوة.أولا، نقدم معايير قياسية في مجال QA متعدد اللغات متعددة اللغات.في كل من السيناريوهين، نناقش النهج الحديثة التي تحقق أداء مثير للإعجاب، تتراوح من التعلم من تحويل صفرية إلى التدريب خارج الصندوق مع أنظمة QA المجال المفتوحة.أخيرا، سنقدم مشاكل بحثية مفتوحة أن أجندة الأبحاث الجديدة تشكل مثل التعلم متعدد المهام، وتعلم التحويل عبر اللغات، وتكييف المجال وتدريب نماذج لغة متعددة اللغات المدربة مسبقا مسبقا.
إلى جانب توفر مجموعات بيانات واسعة النطاق، مكنت هياكل التعلم العميق التقدم السريع في مهمة الإجابة على السؤال.ومع ذلك، فإن معظم مجموعات البيانات هذه باللغة الإنجليزية، وأدائيات النماذج متعددة اللغات الحديثة أقل بكثير عند تقييمها على البيانات غير الإنج
ليزية.نظرا لتكاليف جمع البيانات العالية، فهي ليست واقعية للحصول على بيانات مشروحة لكل لغة رغبة واحدة لدعمها.نقترح طريقة لتحسين السؤال المتبادل الإجابة على الأداء دون الحاجة إلى بيانات مشروح إضافية، واستفادة نماذج توليد السؤال لإنتاج عينات اصطناعية في أزياء متصلة.نظهر أن الطريقة المقترحة تتيح التوفيق بشكل كبير على خطوط الأساس المدربين على بيانات اللغة الإنجليزية فقط.نبلغ عن أحدث طرف جديد في أربع مجموعات بيانات: MLQA و Xquad و Squad-It و PIAF (FR).
نقوم بتطوير نظام موحد للإجابة مباشرة من أسئلة النص المفتوح النص قد تتطلب عددا مختلفا من خطوات الاسترجاع. نحن نوظف نموذجا واحدا للمحولات متعددة المهام لأداء جميع الملاحات الفرعية اللازمة - - استرجاع الحقائق الداعمة، وإعادة تشغيلها، والتنبؤ بإجابة جميع
المستندات المستردة --- بطريقة تكرارية. نتجنب الافتراضات الحاسمة للعمل السابق لا ينقل جيدا إلى إعدادات العالم الحقيقي، بما في ذلك استغلال المعرفة بالعدد الثابت من خطوات الاسترجاع المطلوبة للإجابة على كل سؤال أو استخدام البيانات الوصفية الهيكلية مثل قواعد المعرفة أو روابط الويب التي لها توافر محدود. بدلا من ذلك، نقوم بتصميم نظام يمكنه الرد على أسئلة مفتوحة على أي مجموعة نصية دون معرفة مسبقة بتعقيد المعنى. لمحاكاة هذا الإعداد، نبني معيارا جديدا، يسمى BEERSQA، من خلال الجمع بين مجموعات البيانات الموجودة ذات الخطوة الحالية مع مجموعة جديدة من 530 سؤالا تتطلب ثلاث صفحات ويكيبيديا للرد عليها، توحيد إصدارات ويكيبيديا كوربور في العملية. نظهر أن نموذجنا يوضح أداء تنافسي على كل من المعايير الحالية وهذا المعيار الجديد. نجعل المعيار الجديد متاحا في https://beerqa.github.io/.
غالبا ما تعتمد مهام الإجابة على الأسئلة التي تتطلب معلومات من وثائق متعددة على نموذج استرجاع لتحديد المعلومات ذات الصلة للتفكير. يتم تدريب نموذج الاسترجاع عادة على تعظيم احتمالية الأدلة الداعمة المسمى. ومع ذلك، عند الاسترجاع من نصائح نصية كبيرة مثل W
ikipedia، غالبا ما يتم الحصول على الإجابة الصحيحة من مرشحين أدلة متعددة. علاوة على ذلك، لا يتم تصنيف جميع هؤلاء المرشحين على أنها إيجابية أثناء التوضيحية، مما يجعل إشارة التدريب ضعيفة وصاخبة. يتم تفاقم هذه المشكلة عندما تكون الأسئلة غير مرضية أو عندما تكون الإجابات منطقية، نظرا لأن النموذج لا يمكن أن يعتمد على التداخل المعجمي لإجراء اتصال بين الإجابة والدليل الدعم. نقوم بتطوير مخففة جديدة لاسترجاع المحدد الذي يتعامل مع الاستعلامات غير المجهولية، ونظهر أن التهميش حول هذه المجموعة أثناء التدريب يسمح للنموذج لتخفيف السلبيات الخاطئة في دعم التعليقات التوضيحية للأدلة. نحن نختبر طريقتنا في مجموعات بيانات QA متعددة الوثائق، IIRC و hotpotqa. على IIRC، نظهر أن النمذجة المشتركة مع التهميش يحسن أداء نموذجي بنسبة 5.5 F1 ونحقق أداء جديد من بين الفنون 50.5 F1. نوضح أيضا أن تهميش استرجاع ينتج عنه تحسن 4.1 ضمير QA F1 على خط الأساس غير المهمش في HOTPOTQA في إعداد FullWiki.
يمكن إلقاء العديد من الأسئلة المفتوحة على المشكلات بمثابة مهمة استقامة نصية، حيث يتم تسليم الإجابات السؤال والمرشح لتشكيل الفرضيات. ثم يحدد نظام ضمان الجودة إذا كان قواعد المعرفة الداعمة، التي تعتبر مباني محتملة، تنطوي على الفرضيات. في هذه الورقة، نح
قق في نهج ضمان الجودة العصبي الرمزي الذي يدمج المنطق الطبيعي في مجال البندسة التعليمية العميقة، نحو تطوير نماذج إجابة فعالة وغير قابلة للتفسير. النموذج المقترح يسجل تدريجيا فرضية ومباني مرشحة بعد خطوات الاستدلال المنطقي الطبيعي لبناء مسارات إثبات. يتم قياس درجات الاستلام بين الفرضيات المتوسطة المكتسبة ومباني المرشح لتحديد ما إذا كانت الفرضية تستلزم الفرضية. نظرا لأن عملية التفكير الطبيعي للمنطق تشكل هيكل يشبه الأشجار وتسلسلا هرميا، فإننا قمنا بتضمين الفرضيات والمباني في مساحة مفرطة بدلا من مساحة Euclidean للحصول على تمثيلات أكثر دقة. تجريبيا، وطريقة لدينا تفوقت على العمل المسبق على الإجابة على أسئلة علوم متعددة الخيارات، وتحقيق أفضل النتائج في مجموعة بيانات متوفرة للجمهور. توفر عملية الاستدلال المنطقي الطبيعي بطبيعتها الأدلة للمساعدة في تفسير عملية التنبؤ.
في إجابة سؤال مفتوحة بسيطة (QA)، أصبح استرجاع كثيف أحد الأساليب القياسية لاستعادة المقاطع ذات الصلة إلى استنتاج إجابة.في الآونة الأخيرة، حققت الاسترجاع الكثيف أيضا نتائج أحدث النتائج في هفور تشاينا، حيث يلزم تجميع المعلومات من أجزاء متعددة من المعلوم
ات والمناسبات عليها.على الرغم من نجاحها، فإن أساليب استرجاع كثيفة هي مكثفة حسابية، مما يتطلب تدريب GPUs المتعدد للتدريب.في هذا العمل، نقدم نهجا هجينا (معجميا وتكثيفا) تنافسية للغاية مع نماذج استرجاع كثيفة الحديث، مع مطالبة موارد حسابية أقل بكثير.بالإضافة إلى ذلك، نحن نقدم تقييم متعمق لأساليب استرجاع كثيفة على إعدادات الموارد الحاسوبية المحدودة، وهو شيء مفقود من الأدبيات الحالية.
يتطلب الإجابة السؤال المنطوقة (SQA) فهما غريبا من الوثائق والأسئلة المنطوقة للتنبؤ بالأجواب المثلى. في هذه الورقة، نقترح خطط تدريبية جديدة للسؤال المستحضر الرد على مرحلة تدريب ذاتية الإشراف ومرحلة تعليم التمثيل المتعاقبة. في المرحلة الإشراف ذاتيا، نق
ترح ثلاث مهام إضافية للإشراف على الذات، بما في ذلك استعادة الكلام وإدراج الكلام، والتمييز على السؤال، وتدريب النموذج المشترك على التقاط الاتساق والتماسك بين وثائق الكلام دون أي بيانات أو شروح إضافية. بعد ذلك اقترحنا تعلم تمثيلات الكلام الثغري في الضوضاء في هدف مرتعيض من خلال اعتماد استراتيجيات تكبير متعددة، بما في ذلك حذف الأمان والإحلال. علاوة على ذلك، نقوم بتصميم اهتمام مؤقت للمحاذاة بمحاذاة أدلة نص الكلام في المساحة المشتركة المستفادة ويفيد مهام SQA. بهذه الطريقة، يمكن أن توجه مخططات التدريب بشكل أكثر فعالية نموذج الجيل للتنبؤ بأجوبة أكثر سليمة. تظهر النتائج التجريبية أن نموذجنا يحصل على نتائج أحدث النتائج على ثلاثة معايير SQA. سيتم توفير الكود الخاص بنا علنا بعد النشر.
في هذه الورقة، ندرس إمكانية إجابة سؤاليات متعددة الخيارات غير المدعومة (MCQA).من المعرفة الأساسية للغاية، يعرف نموذج MCQA أن بعض الخيارات لديها احتمالات أعلى من كونها صحيحة من غيرها.المعلومات، على الرغم من صاخبة جدا، يرشد تدريب نموذج MCQA.يتم عرض الط
ريقة المقترحة تفوقت على النهج الأساسية في السباق وهي قابلة للمقارنة مع بعض مناهج التعلم الخاضعة للإشراف على MC500.
ركزت أبحاث NLP باللغة العبرية إلى حد كبير على التورفولوجيا وبناء جملة، حيث تتوفر مجموعات البيانات المشروحة الغنية بروح التبعيات العالمية.ومع ذلك، تعد مجموعات البيانات الدلالية في العرض القصير، مما يعوق السلف الحاسم في تطوير تكنولوجيا NLP باللغة العبر
ية.في هذا العمل، نقدم البسجة، والسؤال الأول يجيب على DataSet في العبرية الحديثة.تتبع DataSet التنسيق والتعبئة المنهجية من المنهجية من التدقيق، وتحتوي على ما يقرب من 3000 من الأمثلة المشروحة، مماثلة لمجموعات بيانات الإجابة على الأسئلة الأخرى بلغات الموارد المنخفضة.نحن نقدم نتائج خط الأساس الأولى باستخدام نماذج مصممة على طراز برت صدر مؤخرا للعبرية، مما يدل على أن هناك مجالا مهما للتحسين في هذه المهمة.
