تحليل التفسير والسببية المحبوس في نماذج NLP العميقة

دفعت الشبكات العصبية العميقة باستمرار الأداء الحديث في معالجة اللغة الطبيعية ويعتبر نهج النمذجة في الواقع في حل مهام NLP المعقدة مثل الترجمة الآلية والتلخيص والرد على السؤال. على الرغم من الفعالية المثبتة للشبكات العصبية العميقة، فإن معرضهم هو سبب رئيسي للقلق. في هذا البرنامج التعليمي، سنقدم أعمال البحث في تفسير مكونات الرواية الدقيقة لطراز الشبكة العصبية من وجهات نظر، ط) ترجمة التفسير الدقيقة، والثاني) تحليل السببية. السابق هو فئة من الأساليب لتحليل الخلايا العصبية فيما يتعلق بمفهوم اللغة المطلوب أو مهمة. تدرس الأخير دور الخلايا العصبية وميزات المدخلات في شرح القرارات التي اتخذها النموذج. سنناقش أيضا كيف يمكن لأساليب التفسير وتحليل السببية الاتصال بتثبيته بشكل أفضل لتنبؤ النموذج. أخيرا، سوف نسير إليك من خلال مجموعة أدوات مختلفة تسهل تحليل التفسير والسبابة الراسخة من النماذج العصبية.

Deep neural networks have constantly pushed the state-of-the-art performance in natural language processing and are considered as the de-facto modeling approach in solving complex NLP tasks such as machine translation, summarization and question-answering. Despite the proven efficacy of deep neural networks at-large, their opaqueness is a major cause of concern. In this tutorial, we will present research work on interpreting fine-grained components of a neural network model from two perspectives, i) fine-grained interpretation, and ii) causation analysis. The former is a class of methods to analyze neurons with respect to a desired language concept or a task. The latter studies the role of neurons and input features in explaining the decisions made by the model. We will also discuss how interpretation methods and causation analysis can connect towards better interpretability of model prediction. Finally, we will walk you through various toolkits that facilitate fine-grained interpretation and causation analysis of neural models.