كيف يمكننا أن نعرف متى تعرف نماذج اللغة؟على معايرة نماذج اللغة للحصول على السؤال الرد

أظهرت الأعمال التجريدية الأخيرة أن نماذج اللغة (LM) تلتقط أنواعا مختلفة من المعرفة فيما يتعلق بالحقائق أو الحس السليم. ومع ذلك، نظرا لأن أي نموذج مثالي، إلا أنهم لا يزالون يفشلون في تقديم إجابات مناسبة في العديد من الحالات. في هذه الورقة، نطرح السؤال، كيف يمكننا أن نعرف متى تعرف نماذج اللغة، بثقة، الإجابة على استعلام معين؟ "نحن ندرس هذا السؤال من وجهة نظر المعايرة، وخاصية الاحتمالات المتوقعة للنموذج الاحتمالية في الواقع يجري ارتباطا جيدا مع احتمالات صحة. نحن ندرس ثلاث نماذج تولئة قوية --- T5، بارت، و GPT-2 --- ودراسة ما إذا كانت احتمالاتهم على مهام ضمان الجودة معا معايرة بشكل جيد، والعثور على الجواب لا أحد غير مؤكد نسبيا. ثم نقوم بعد ذلك بفحص الأساليب لمعايرة هذه النماذج لجعل ثقتهم عشرات ترتبط بتحسن مع احتمال صحة الصواب من خلال التعديل الدقيق أو التعديل أو تعديل المخرجات أو المدخلات المتوقعة. تجارب مجموعة متنوعة من مجموعات البيانات توضح فعالية أساليبنا. كما نقوم بإجراء تحليل لدراسة نقاط القوة والقيود المتمثلة في هذه الأساليب، وإلقاء الضوء على المزيد من التحسينات التي قد يتم إجراؤها في أساليب معايرة LMS. لقد أصدرنا التعليمات البرمجية في https://github.com/jzbjyb/lm-calibration.

Abstract Recent works have shown that language models (LM) capture different types of knowledge regarding facts or common sense. However, because no model is perfect, they still fail to provide appropriate answers in many cases. In this paper, we ask the question, How can we know when language models know, with confidence, the answer to a particular query?'' We examine this question from the point of view of calibration, the property of a probabilistic model's predicted probabilities actually being well correlated with the probabilities of correctness. We examine three strong generative models---T5, BART, and GPT-2---and study whether their probabilities on QA tasks are well calibrated, finding the answer is a relatively emphatic no. We then examine methods to calibrate such models to make their confidence scores correlate better with the likelihood of correctness through fine-tuning, post-hoc probability modification, or adjustment of the predicted outputs or inputs. Experiments on a diverse range of datasets demonstrate the effectiveness of our methods. We also perform analysis to study the strengths and limitations of these methods, shedding light on further improvements that may be made in methods for calibrating LMs. We have released the code at https://github.com/jzbjyb/lm-calibration.