تحرير المعرفة الواقعية في نماذج اللغة

المعرفة الواقعية المكتسبة أثناء التدريب المسبق وتخزينها في معلمات نماذج اللغة (LMS) يمكن أن تكون مفيدة في مهام المصب (على سبيل المثال، الإجابة على السؤال أو الاستدلال النصي). ومع ذلك، يمكن أن تسبب بعض الحقائق أو تصبح عفا عليها الزمن مع مرور الوقت. نقدم المعلمين، وهي طريقة يمكن استخدامها لتحرير هذه المعرفة، وبالتالي إصلاح الأخطاء أو التنبؤات غير المتوقعة دون الحاجة إلى إعادة تدريب مكلفة أو ضبط جيد. إلى جانب كونها فعالة بشكل حسابي، لا تتطلب المعرفة المعرفة أي تعديلات في LM قبل التدريب (على سبيل المثال، استخدام التعلم التلوي). في نهجنا، نحن ندرب شبكة فرط بتحسين مقيد لتعديل حقيقة دون التأثير على بقية المعرفة؛ ثم يتم استخدام شبكة Hyper المدربة للتنبؤ بتحديث الوزن في وقت الاختبار. نعرض فعالية المعرفة مع اثنين من المهندسينيات الشائعة ومهام المعرفة المكثفة: ط) نموذج بيرت يتم ضبطه بشكل جيد لفحص الحقائق، والثاني) نموذج بارت تسلسل إلى تسلسل للرد على السؤال. من خلال طريقتنا، يميل تغيير التنبؤ بشأن الصياغة المحددة لاستعلامه إلى تغيير متسق في التنبؤ أيضا بصيادتها. نظرا لأن هذا يمكن تشجيعه بشكل أكبر من خلال استغلال الصياغة (على سبيل المثال، التي تم إنشاؤها تلقائيا) أثناء التدريب. ومن المثير للاهتمام، أن شبكة فرط لدينا يمكن اعتبارها مسبار "تكشف عن مكونات يجب تغييرها لمعالجة المعرفة الواقعية؛ يوضح تحليلنا أن التحديثات تميل إلى التركيز على مجموعة فرعية صغيرة من المكونات. شفرة المصدر المتاحة في https://github.com/nicola-decao/knowegleditor