Surface Form Competition: Why the Highest Probability Answer Isn't Always Right

أظهرت نماذج لغة كبيرة نتائج واعدة في إعدادات Zero-Shot. على سبيل المثال، يمكنهم تنفيذ مهام خيارات متعددة ببساطة عن طريق تكييف سؤال وتحديد الإجابة بأعلى احتمال. ومع ذلك، يمكن أن يكون الترتيب حسب احتمال السلسلة مشكلة بسبب مسابقة شكل السطح --- حيث تنافس أشكال سطح مختلفة على كتلة الاحتمالات، حتى لو تمثل نفس المفهوم الأساسي في سياق معين، على سبيل المثال الكمبيوتر الشخصي والكمبيوتر. نقدم المجال الشرطي المشترك بين المعلومات المتبادلة، وظيفة تسجيل بديلة تعزز مباشرة لمسابقة نموذج السطح ببساطة عن طريق إعادة إخراج كل خيار وفقا لاحتمال البداية في سياق مهمة محددة. لأنه يحقق مكاسب ثابتة في أداء تسديدة صفرية على كل من وظائف التسجيل المعايرة وغير المعايير على جميع نماذج GPT-2 و GPT-3 على مجموعة متنوعة من مجموعات بيانات الاختيار المتعدد.

Large language models have shown promising results in zero-shot settings. For example, they can perform multiple choice tasks simply by conditioning on a question and selecting the answer with the highest probability. However, ranking by string probability can be problematic due to surface form competition---wherein different surface forms compete for probability mass, even if they represent the same underlying concept in a given context, e.g. computer'' and PC.'' Since probability mass is finite, this lowers the probability of the correct answer, due to competition from other strings that are valid answers (but not one of the multiple choice options). We introduce Domain Conditional Pointwise Mutual Information, an alternative scoring function that directly compensates for surface form competition by simply reweighing each option according to its a priori likelihood within the context of a specific task. It achieves consistent gains in zero-shot performance over both calibrated and uncalibrated scoring functions on all GPT-2 and GPT-3 models on a variety of multiple choice datasets.