منح تمثيل النص من خلال إخفاء المحولات

تمثل التمثيلات من النماذج الكبيرة المحددة مسبقا مثل Bert مجموعة من الميزات في متجهات غير متجانسة، مما يوفر دقة تنبؤية قوية عبر مجموعة من المهام المصب. في هذه الورقة، نستكشف ما إذا كان من الممكن تعلم تمثيلات محددة من خلال تحديد الشبكات الفرعية الحاليةداخل النماذج المحددة التي ترمز الجوانب المميزة والكمية. بشكل ملموس، نتعلم الأقنعة الثنائية على أوزان المحولات أو الوحدات المخفية للكشف عن مجموعات فرعية من الميزات التي ترتبط مع عامل اختلاف محدد؛ هذا يلغي الحاجة إلى تدريب نموذج DESTANGLED من الصفر لمهمة معينة. نقوم بتقييم هذه الطريقة فيما يتعلق بقدرتها على تحفيز تمثيلات المعنويات من النوع في مراجعات الأفلام، السمية من لهجة التغريدات، وبناء جملة من دلالات. من خلال الجمع بين التقليب مع تقليم الحجم، نجد أنه يمكننا تحديد الشبكات الفرعية المتنينة في بيرت التي ترمز بقوة جوانب معينة (على سبيل المثال، الدلالات) في حين ترميز الآخرين ضعيفة (E.G.، بناء الجملة). علاوة على ذلك، على الرغم من الأقنعة التعليمية فقط، فإن الإعفاء من عمليات الإخفاء فقط - - - وغالبا ما تكون أفضل من الأساليب المقترحة سابقا استنادا إلى السيارات الآلية المتنوعة والتدريب الخصم.