تعتبر تمثيل التعلم من الكيانات والعلاقات في قواعد المعرفة المنظمة مجالا نشطا من الأبحاث، مع التركيز بكثير في اختيار الهندسة المناسبة لالتقاط الهياكل الهرمية المستغلة في علاقات ISA أو Haspart. تضيحية الصندوق (Vilnis et al.، 2018؛ لي وآخرون، 2019؛ Dasg
upta et al.، 2020)، والتي تمثل المفاهيم مثل تسلسلات النفايات الأبعاد، قادرة على تضمين التسلسلات الهرمية عند التدريب على مجموعة فرعية من الإغلاق المتعتقدين. في Patel et al.، (2020)، يوضح المؤلفون أن التخفيض المتعتقدين فقط مطلوب ومواصلة توسيع نطاق مذكرات الصندوق لالتقاط التسلسلات الهرمية المشتركة عن طريق زيادة الرسم البياني مع العقد الجديدة. في حين أنه من الممكن تمثيل التسلسلات الهرمية المشتركة بهذه الطريقة، يتم فصل المعلمات لكل التسلسل الهرمي، مما يجعل التعميم بين التسلسلات الهرمية بشكل غير قابل للإصلاح. في هذا العمل، نقدم تحول مربع إلى مربع المستفاد يحترم بنية كل التسلسل الهرمي. نوضح أن هذا لا يحسن فقط القدرة على النمذجة الحواف التركيبية في النمذجة، ولكنها قادرة أيضا على التعميم من مجموعة فرعية من الحد المتعدود.
حقق التطورات الحديثة في أنظمة NLP، ولا سيما النموذج الاحتياطي والأصلون، نجاحا كبيرا في الدقة التنبؤية. ومع ذلك، عادة ما لا يتم معايرة هذه الأنظمة بشكل جيد بسبب عدم اليقين خارج الصندوق. تم اقتراح العديد من طرق إعادة المعاير في الأدبيات لتحديد حالة عدم
اليقين التنبؤية ونواتج النماذج المعايرة، بدرجات متفاوتة من التعقيد. في هذا العمل، نقدم دراسة منهجية لبعض هذه الأساليب. التركيز على مهمة تصنيف النص ونماذج اللغة الكبيرة المسبقة مسبقا، نظرا لأول مرة أن العديد من النماذج الفعلية غير معايرت بشكل جيد خارج المربع، خاصة عندما تأتي البيانات من إعدادات خارج المجال. بعد ذلك، قارنا فعالية بعض أساليب إعادة المعايير المستخدمة على نطاق واسع (مثل الكفرات، تحجيم درجة الحرارة). بعد ذلك، نوضح تجريبيا اتصالا بين التقطير والمعايرة. نعتبر تقطير مصطلح تنظيمي يشجع نموذج الطالب على إخراج الشكوك التي تتناسب مع نموذج المعلمين. بهذه البصيرة، نطور أساليب إعادة المعايير البسيطة القائمة على التقطير دون أي تكلفة إضافية لاستنتاج الاستدلال. نظهر على معيار الغراء أن أساليبنا البسيطة يمكن أن تحقق أداء المعايرة المنافسة خارج المجال (OOD) W.R.T. مناهج أكثر تكلفة. أخيرا، ندرج ablations لفهم فائدة مكونات أسلوبنا المقترح وفحص قابلية نقل المعايرة عبر التقطير.
