تمثيل الجملة بالحكومة المعممة والتعميم عن طريق التعلم المرتبط بالناقض الذاتي: دراسة حالة حول تحليل علاقة الخطاب

نقترح طريقة لتعلم تمثيلات الجملة المعممة والتعميم باستخدام التعلم المشروع للإشراف على الذات.في الطريقة المقترحة، يتم إعطاء نموذج نص يتكون من جمل متعددة.تم اختيار جملة واحدة بشكل عشوائي كجوزة مستهدفة.يتم تدريب النموذج على زيادة التشابه بين تمثيل الجملة المستهدفة مع سياقها وذلك من الجملة المستهدفة الملثملة بنفس السياق.في الوقت نفسه، يقلل النموذج من التشابه بين التمثيل الأخير وتمثيل جملة عشوائية مع نفس السياق.نحن نطبق طريقنا لتحليل علاقة الخطاب باللغة الإنجليزية واليابانية وإظهار أنه يتفوق على أساليب خطية قوية على أساس Bert و Xlnet و Roberta.

We propose a method to learn contextualized and generalized sentence representations using contrastive self-supervised learning. In the proposed method, a model is given a text consisting of multiple sentences. One sentence is randomly selected as a target sentence. The model is trained to maximize the similarity between the representation of the target sentence with its context and that of the masked target sentence with the same context. Simultaneously, the model minimizes the similarity between the latter representation and the representation of a random sentence with the same context. We apply our method to discourse relation analysis in English and Japanese and show that it outperforms strong baseline methods based on BERT, XLNet, and RoBERTa.