مسابقة شكل السطح: لماذا إجابة احتمالية أعلى ليس دائما على حق

أظهرت نماذج لغة كبيرة نتائج واعدة في إعدادات Zero-Shot. على سبيل المثال، يمكنهم تنفيذ مهام خيارات متعددة ببساطة عن طريق تكييف سؤال وتحديد الإجابة بأعلى احتمال. ومع ذلك، يمكن أن يكون الترتيب حسب احتمال السلسلة مشكلة بسبب مسابقة شكل السطح --- حيث تنافسأشكال سطح مختلفة على كتلة الاحتمالات، حتى لو تمثل نفس المفهوم الأساسي في سياق معين، على سبيل المثال الكمبيوتر الشخصي والكمبيوتر. نقدم المجال الشرطي المشترك بين المعلومات المتبادلة، وظيفة تسجيل بديلة تعزز مباشرة لمسابقة نموذج السطح ببساطة عن طريق إعادة إخراج كل خيار وفقا لاحتمال البداية في سياق مهمة محددة. لأنه يحقق مكاسب ثابتة في أداء تسديدة صفرية على كل من وظائف التسجيل المعايرة وغير المعايير على جميع نماذج GPT-2 و GPT-3 على مجموعة متنوعة من مجموعات بيانات الاختيار المتعدد.