ترجمة نصوص النص عن طريق تعلم التأثير الحساس للسياق للكلمات

تركز العديد من النهج الحالية لتفسير نماذج تصنيف النص على توفير الأهمية عشرات لأجزاء من نص الإدخال، مثل الكلمات، ولكن دون أي طريقة لاختبار أو تحسين طريقة التفسير نفسها. هذا له تأثير مزعج مشكلة فهم أو بناء الثقة في النموذج، مع طريقة التفسير نفسها إضافة إلى عتامة النموذج. علاوة على ذلك، فإن العشرات الأهمية حول الأمثلة الفردية عادة ما تكون لا تكفي لتوفير صورة كافية من السلوك النموذجي. لمعالجة هذه المخاوف، نقترح Moxie (تأثير النمذجة الحساسة للكلمات) بهدف تمكين واجهة أكثر ثراء للمستخدم للتفاعل مع النموذج الذي يتم تفسيره وإنتاج تنبؤات قابلة للإصابة. على وجه الخصوص، نهدف إلى تقديم تنبؤات لعشرات الأهمية والمعدات المضادة والتحيزات المستفادة مع Moxie. بالإضافة إلى ذلك، مع هدف التعلم العالمي، يوفر Moxie مسارا واضحا لاختبار وتحسين نفسها. نقيم موثوقية وكفاءة Moxie على مهمة تحليل المعنويات.

Many existing approaches for interpreting text classification models focus on providing importance scores for parts of the input text, such as words, but without a way to test or improve the interpretation method itself. This has the effect of compounding the problem of understanding or building trust in the model, with the interpretation method itself adding to the opacity of the model. Further, importance scores on individual examples are usually not enough to provide a sufficient picture of model behavior. To address these concerns, we propose MOXIE (MOdeling conteXt-sensitive InfluencE of words) with an aim to enable a richer interface for a user to interact with the model being interpreted and to produce testable predictions. In particular, we aim to make predictions for importance scores, counterfactuals and learned biases with MOXIE. In addition, with a global learning objective, MOXIE provides a clear path for testing and improving itself. We evaluate the reliability and efficiency of MOXIE on the task of sentiment analysis.