تم عرض الجمع بين نموذج لغة مسبق (PLM) مع أنماط نصية للمساعدة في كل من إعدادات الطلقة الصفرية وعدد. بالنسبة للأداء الصفر بالرصاص، فمن المنطقي تصميم أنماط تشبه النص الذي ينظر إليه عن كثب أثناء الاحتجاج بالإشراف على الذات لأن النموذج لم ير أي شيء آخر. ا
لتدريب الخاضع للإشراف يسمح بمزيد من المرونة. إذا سمحنا بالرمز الرموز خارج المفردات PLM، فيمكن تكييف الأنماط بشكل أكثر مرونة لمصمم الخصوصيات PLM. الأنماط المتناقضة حيث يمكن أن يكون الرمز المميز أي ناقل مستمر من تلك التي يجب أن يتم فيها اختيار منفصل بين عناصر المفردات، ونحن نسمي أنماط طريقنا المستمرة (كونان). نقوم بتقييم كونان على معايير مدرجة للاستدلال المعجمي في السياق (LIIC) A.K.a. المستقلة المستقلة، وهي مهمة تفاهم لغة طبيعية صعبة مع بيانات تدريب صغيرة نسبيا. في مقارنة مباشرة مع الأنماط المنفصلة، يؤدي كونان باستمرار إلى تحسين الأداء، وضع حالة من الفن الجديد. تجربتنا تعطي رؤى قيمة على نوع النمط الذي يعزز أداء PLM على LIC ورفع أسئلة مهمة فيما يتعلق بفهم PLMS باستخدام أنماط النص.
أظهرت تمثيلات الأرقام المتخصصة في NLP تحسينات على مهام التفكير العددي مثل مشاكل الكلمات الحسابية والتنبؤ بالرقم المحدد. لكن البشر يستخدمون أيضا الحساب لتحسين الشعور بالمفاهيم العالمية، على سبيل المثال، يمكنك مقعد 5 أشخاص في غرفتك "ولكن ليس 500. هل لد
يك فهم أفضل للأرقام تحسين فهم النموذج للمفاهيم والكلمات الأخرى؟ تدرس هذه الورقة تأثير استخدام ستة أرقام مختلفة على مهمة التنبؤ بالكلمة الملثمين (MWP)، كوكيل لتقييم معرفة القراءة والكتابة. لدعم هذا التحقيق، نطور Wiki-Convolution، لوحة بيانات 900،000 الجملة المشروحة بأرقام ووحدات، لتجنب حدوث حوادث الأرقام الاسمية والترتيوية. نجد تحسنا كبيرا في MWP للجمل التي تحتوي على أرقام، أن المظلات المتأثرة هي أفضل ترميز أرقام، مما أدى إلى قفزة أكثر من 2 نقطة في دقة التنبؤ عبر خط الأساس بيرت، وأن هذه مهارات محو الأمية المعززة تعميم أيضا إلى السياقات دون أرقام مشروح. نطلق كل الكود في https://git.io/juzxn.
