أشار العمل السابق إلى أن النماذج اللغوية المحددة مسبقا (MLMS) غير فعالة مثل تشفير المعجمات المعجمية والجملة العالمية خارج الرف، أي دون مزيد من ضبط الدقيقة بشكل جيد على NLI أو تشابه الجملة أو إعادة الصياغة المهام باستخدام بيانات المهام المشروحة وبعد ف
ي هذا العمل، نوضح أنه من الممكن تحويل MLMS إلى تشفير معجمية وقضية فعالة حتى دون أي بيانات إضافية، والاعتماد ببساطة على الإشراف الذاتي. نقترح تقنية تعليمية بسيطة للغاية وسريعة وفعالة وفعالة، وتسمى برت مرآة، والتي تحول MLMS (على سبيل المثال، بيرت وروبرتا) إلى مثل هذه اللوائح في 20-30 ثانية مع عدم وجود إمكانية الوصول إلى المعرفة الخارجية الإضافية. تعتمد Mirror-Bert على أزواج سلسلة متطابقة وعزز قليلا كأمثلة إيجابية (I.E.، مرادف)، وتهدف إلى زيادة تشابهها أثناء ضبط الهوية ". نبلغ عن مكاسب ضخمة أكثر من MLMS Off-Relf مع Mirror-Bert كل من المستوى المعجمي والمهام على مستوى الجملة، عبر المجالات المختلفة ولغات مختلفة. وخاصة، في مشابه الجملة (STS) ومهام إستقبال الإجابة عن السؤال (QNLI)، فإن نموذجنا المرآة الإشراف على نفسه يطابق أداء نماذج Bertence-Bert من العمل السابق الذي يعتمد على بيانات المهام المشروح. أخيرا، نقوم بتحويل أعمق في الأعمال الداخلية لل MLMS، واقترح بعض الأدلة على سبب قيام هذا النهج بسيطة بسيطة بالمرآبة الرصيد بإعادة ترميز اللوائح المعجمية والعامة العامة الفعالة.
في حين أن النماذج اللغوية المدربة مسبقا (PLMS) هي محلول الذهاب لمعالجة العديد من مشاكل معالجة اللغة الطبيعية، فإنها لا تزال محدودة للغاية في قدرتها على التقاط ومعرفة المعيشية المشتركة. في الواقع، حتى إذا كانت المعلومات متوفرة في شكل قواعد منطقية تقري
بية (ناعمة)، فليس من الواضح كيفية نقلها إلى PLM من أجل تحسين أدائها لمهام التفكير الاستنتاجي. هنا، نهدف إلى سد هذه الفجوة من خلال تدريس PLMS كيفية التفكير مع قواعد القرن الناعمة. نقدم مهمة التصنيف حيث، بالنظر إلى الحقائق والقواعد الناعمة، يجب أن تعيد PLM التنبؤ باحتمال فرضية معينة. نقوم بإصدار بيانات البيانات الأولى لهذه المهمة، ونقترح وظيفة الخسارة المنقحة التي تمكن PLM لتعلم كيفية التنبؤ بحتميات دقيقة للمهمة. تظهر نتائج التقييم الخاصة بنا أن النماذج الناتجة عن القسرية تحقق أداء عال للغاية، حتى على القواعد المنطقية التي كانت غير مرئية في التدريب. علاوة على ذلك، فإننا نوضح أن المفاهيم المنطقية التي أعربنا عنها القواعد يتم نقلها إلى النموذج الدقيق، مما يؤدي إلى نتائج أحدث النتائج على مجموعات البيانات الخارجية.
في هذه الورقة، يمكننا التحقيق في أنواع المعلومات النمطية التي يتم التقاطها عن طريق نماذج اللغة المحددة مسبقا.نقدم بيانات البيانات الأولى التي تشمل السمات النمطية لمجموعة من المجموعات الاجتماعية واقتراح طريقة لاستزاز الصور النمطية المشفرة من قبل نماذج
اللغة المحددة في أزياء غير منشأة.علاوة على ذلك، نربط النمط النمطية الناشئة على مظاهرهم كعاطرات أساسية كوسيلة لدراسة آثارهم العاطفية بطريقة أكثر تعميم.لإظهار كيف يمكن استخدام أساليبنا لتحليل نوبات المشاعر والنمطية بسبب التجربة اللغوية، نستخدم ضبطها بشكل جيد على مصادر الأخبار كدراسة حالة.تعرض تجاربنا كيف تختلف المواقف تجاه مجموعات اجتماعية مختلفة عبر النماذج وكيف يمكن أن تحول العواطف والقوالب النمطية بسرعة في مرحلة ضبط الدقيقة.
