Surebert: تدريس القواعد الناعمة لنماذج اللغة المدربة مسبقا

في حين أن النماذج اللغوية المدربة مسبقا (PLMS) هي محلول الذهاب لمعالجة العديد من مشاكل معالجة اللغة الطبيعية، فإنها لا تزال محدودة للغاية في قدرتها على التقاط ومعرفة المعيشية المشتركة. في الواقع، حتى إذا كانت المعلومات متوفرة في شكل قواعد منطقية تقريبية (ناعمة)، فليس من الواضح كيفية نقلها إلى PLM من أجل تحسين أدائها لمهام التفكير الاستنتاجي. هنا، نهدف إلى سد هذه الفجوة من خلال تدريس PLMS كيفية التفكير مع قواعد القرن الناعمة. نقدم مهمة التصنيف حيث، بالنظر إلى الحقائق والقواعد الناعمة، يجب أن تعيد PLM التنبؤ باحتمال فرضية معينة. نقوم بإصدار بيانات البيانات الأولى لهذه المهمة، ونقترح وظيفة الخسارة المنقحة التي تمكن PLM لتعلم كيفية التنبؤ بحتميات دقيقة للمهمة. تظهر نتائج التقييم الخاصة بنا أن النماذج الناتجة عن القسرية تحقق أداء عال للغاية، حتى على القواعد المنطقية التي كانت غير مرئية في التدريب. علاوة على ذلك، فإننا نوضح أن المفاهيم المنطقية التي أعربنا عنها القواعد يتم نقلها إلى النموذج الدقيق، مما يؤدي إلى نتائج أحدث النتائج على مجموعات البيانات الخارجية.

While pre-trained language models (PLMs) are the go-to solution to tackle many natural language processing problems, they are still very limited in their ability to capture and to use common-sense knowledge. In fact, even if information is available in the form of approximate (soft) logical rules, it is not clear how to transfer it to a PLM in order to improve its performance for deductive reasoning tasks. Here, we aim to bridge this gap by teaching PLMs how to reason with soft Horn rules. We introduce a classification task where, given facts and soft rules, the PLM should return a prediction with a probability for a given hypothesis. We release the first dataset for this task, and we propose a revised loss function that enables the PLM to learn how to predict precise probabilities for the task. Our evaluation results show that the resulting fine-tuned models achieve very high performance, even on logical rules that were unseen at training. Moreover, we demonstrate that logical notions expressed by the rules are transferred to the fine-tuned model, yielding state-of-the-art results on external datasets.