منح تمثيل النص من خلال إخفاء المحولات

تمثل التمثيلات من النماذج الكبيرة المحددة مسبقا مثل Bert مجموعة من الميزات في متجهات غير متجانسة، مما يوفر دقة تنبؤية قوية عبر مجموعة من المهام المصب. في هذه الورقة، نستكشف ما إذا كان من الممكن تعلم تمثيلات محددة من خلال تحديد الشبكات الفرعية الحالية داخل النماذج المحددة التي ترمز الجوانب المميزة والكمية. بشكل ملموس، نتعلم الأقنعة الثنائية على أوزان المحولات أو الوحدات المخفية للكشف عن مجموعات فرعية من الميزات التي ترتبط مع عامل اختلاف محدد؛ هذا يلغي الحاجة إلى تدريب نموذج DESTANGLED من الصفر لمهمة معينة. نقوم بتقييم هذه الطريقة فيما يتعلق بقدرتها على تحفيز تمثيلات المعنويات من النوع في مراجعات الأفلام، السمية من لهجة التغريدات، وبناء جملة من دلالات. من خلال الجمع بين التقليب مع تقليم الحجم، نجد أنه يمكننا تحديد الشبكات الفرعية المتنينة في بيرت التي ترمز بقوة جوانب معينة (على سبيل المثال، الدلالات) في حين ترميز الآخرين ضعيفة (E.G.، بناء الجملة). علاوة على ذلك، على الرغم من الأقنعة التعليمية فقط، فإن الإعفاء من عمليات الإخفاء فقط - - - وغالبا ما تكون أفضل من الأساليب المقترحة سابقا استنادا إلى السيارات الآلية المتنوعة والتدريب الخصم.

Representations from large pretrained models such as BERT encode a range of features into monolithic vectors, affording strong predictive accuracy across a range of downstream tasks. In this paper we explore whether it is possible to learn disentangled representations by identifying existing subnetworks within pretrained models that encode distinct, complementary aspects. Concretely, we learn binary masks over transformer weights or hidden units to uncover subsets of features that correlate with a specific factor of variation; this eliminates the need to train a disentangled model from scratch for a particular task. We evaluate this method with respect to its ability to disentangle representations of sentiment from genre in movie reviews, toxicity from dialect in Tweets, and syntax from semantics. By combining masking with magnitude pruning we find that we can identify sparse subnetworks within BERT that strongly encode particular aspects (e.g., semantics) while only weakly encoding others (e.g., syntax). Moreover, despite only learning masks, disentanglement-via-masking performs as well as --- and often better than ---previously proposed methods based on variational autoencoders and adversarial training.