تعتمد أنظمة مجردة للاستفادة من النطاق المفتوح (OpenQA) بشكل عام على المسترد لإيجاد مقاطع مرشحة في كوربس كبيرة وقارئ لاستخراج إجابات من تلك الممرات.في العمل الحديث بكثير، المسترد هو عنصر تعلم يستخدم تمثيلات ناقلات الخشنة من الأسئلة والمرورات.نقول أن خ
يار النمذجة هذا غير معبرة بما فيه الكفاية للتعامل مع تعقيد أسئلة اللغة الطبيعية.لمعالجة هذا، نحدد Colbert-Qa، الذي يتكيف مع نموذج استرجاع العصبي القابل للتطوير كولبيرت إلى OpenQA.Colbert يخلق تفاعلات جيدة المحبوس بين الأسئلة والمرورات.نقترح استراتيجية إشرافية ضعيفة فعالة تستخدم Colbert لإنشاء بيانات التدريب الخاصة بها.هذا يحسن إلى حد كبير استرجاع OpenQA على الأسئلة الطبيعية والتشكيني و Triviaqa، ويقوم النظام الناتج بأداء OpenQa الاستخراجي من بين الفن على جميع مجموعات البيانات الثلاثة.
أظهرت الأعمال التجريدية الأخيرة أن نماذج اللغة (LM) تلتقط أنواعا مختلفة من المعرفة فيما يتعلق بالحقائق أو الحس السليم. ومع ذلك، نظرا لأن أي نموذج مثالي، إلا أنهم لا يزالون يفشلون في تقديم إجابات مناسبة في العديد من الحالات. في هذه الورقة، نطرح السؤال
، كيف يمكننا أن نعرف متى تعرف نماذج اللغة، بثقة، الإجابة على استعلام معين؟ "نحن ندرس هذا السؤال من وجهة نظر المعايرة، وخاصية الاحتمالات المتوقعة للنموذج الاحتمالية في الواقع يجري ارتباطا جيدا مع احتمالات صحة. نحن ندرس ثلاث نماذج تولئة قوية --- T5، بارت، و GPT-2 --- ودراسة ما إذا كانت احتمالاتهم على مهام ضمان الجودة معا معايرة بشكل جيد، والعثور على الجواب لا أحد غير مؤكد نسبيا. ثم نقوم بعد ذلك بفحص الأساليب لمعايرة هذه النماذج لجعل ثقتهم عشرات ترتبط بتحسن مع احتمال صحة الصواب من خلال التعديل الدقيق أو التعديل أو تعديل المخرجات أو المدخلات المتوقعة. تجارب مجموعة متنوعة من مجموعات البيانات توضح فعالية أساليبنا. كما نقوم بإجراء تحليل لدراسة نقاط القوة والقيود المتمثلة في هذه الأساليب، وإلقاء الضوء على المزيد من التحسينات التي قد يتم إجراؤها في أساليب معايرة LMS. لقد أصدرنا التعليمات البرمجية في https://github.com/jzbjyb/lm-calibration.
