ماذا يمكن أن يجيب نموذج اللغة التوليدية حول مقطع؟

نماذج اللغة التوليدية المدربة على كبيرة، يمكن لشركة Corga الإجابة على الأسئلة حول مرور عن طريق توليد استمرار المرجح للمقطع الذي يتبعه زوج سؤال / إجابة.ومع ذلك، تختلف معدلات الدقة اعتمادا على نوع السؤال المطروح.في هذه الورقة، نحتفظ بالمرور الثابت، واختبار مجموعة واسعة من أنواع الأسئلة، واستكشاف نقاط القوة والضعف في نموذج لغة GPT-3.نحن نقدم أسئلة المرور واختبارها كتحدي محدد لنماذج لغات أخرى.

Generative language models trained on large, diverse corpora can answer questions about a passage by generating the most likely continuation of the passage followed by a question/answer pair. However, accuracy rates vary depending on the type of question asked. In this paper we keep the passage fixed, and test with a wide variety of question types, exploring the strengths and weaknesses of the GPT-3 language model. We provide the passage and test questions as a challenge set for other language models.