Deep Learning on Graphs for Natural Language Processing

نظرا لقوتها العظيمة في النمذجة البيانات غير الإقليدية مثل الرسوم البيانية أو الفتحات، فقد فتحت التعلم العميق على تقنيات الرسم البياني (I.E.، Graph Newerations Nearials (GNNS)) باب جديد لحل مشاكل NLP ذات الصلة بالرسوم البيانية الصعبة. لقد شهدت زيادة المصالح في تطبيق التعلم العميق على تقنيات الرسم البياني إلى NLP، وقد حققت نجاحا كبيرا في العديد من مهام NLP، بدءا من مهام التصنيف مثل تصنيف الجملة، ووضع العلامات الدلالية الدلالية واستخراج العلاقات، إلى مهام التوليد مثل الترجمة الآلية، والسؤال توليد وتلخيص. على الرغم من هذه النجاحات، لا تزال التعلم العميق على الرسوم البيانية ل NLP لا يزال العديد من التحديات، بما في ذلك تحويل بيانات تسلسل النص الأصلي تلقائيا إلى بيانات منظم بياني للغاية، والبيانات المعقدة النمذجة بشكل فعال تتضمن تعيين بين المدخلات المستندة إلى الرسم البياني وبيانات الإخراج غير المنظمة الأخرى تسلسل، الأشجار، وبيانات الرسم البياني مع أنواع متعددة في كل من العقد والحواف. سيتغطي هذا البرنامج التعليمي مواضيع ذات صلة ومثيرة للاهتمام على تطبيق التعلم العميق على تقنيات الرسم البياني إلى NLP، بما في ذلك بناء الرسم البياني التلقائي ل NLP، وتمثيل الرسوم البياني تعلم النماذج القائمة على NLP، والمخططات المتقدمة GNN (على سبيل المثال، Graph2Seq و Graph2Tree و Graph2Graph) ل NLP تطبيقات GNNS في مهام NLP المختلفة (مثل الترجمة الآلية، وتوليد اللغة الطبيعية، واستخراج المعلومات والتحليل الدلالي). بالإضافة إلى ذلك، سيتم تضمين جلسات التدريب العملي للتطبيق العملي لمساعدة الجمهور على زيادة الخبرة العملية في تطبيق GNNS لحل مشاكل NLP الصعبة باستخدام مكتبة المصدر المفتوحة التي تم تطويرها مؤخرا - Graph4NLP، أول مكتبة للباحثين والممارسين لسهولة الاستخدام من GNNS مهام NLP المختلفة.

Due to its great power in modeling non-Euclidean data like graphs or manifolds, deep learning on graph techniques (i.e., Graph Neural Networks (GNNs)) have opened a new door to solving challenging graph-related NLP problems. There has seen a surge of interests in applying deep learning on graph techniques to NLP, and has achieved considerable success in many NLP tasks, ranging from classification tasks like sentence classification, semantic role labeling and relation extraction, to generation tasks like machine translation, question generation and summarization. Despite these successes, deep learning on graphs for NLP still face many challenges, including automatically transforming original text sequence data into highly graph-structured data, and effectively modeling complex data that involves mapping between graph-based inputs and other highly structured output data such as sequences, trees, and graph data with multi-types in both nodes and edges. This tutorial will cover relevant and interesting topics on applying deep learning on graph techniques to NLP, including automatic graph construction for NLP, graph representation learning for NLP, advanced GNN based models (e.g., graph2seq, graph2tree, and graph2graph) for NLP, and the applications of GNNs in various NLP tasks (e.g., machine translation, natural language generation, information extraction and semantic parsing). In addition, hands-on demonstration sessions will be included to help the audience gain practical experience on applying GNNs to solve challenging NLP problems using our recently developed open source library -- Graph4NLP, the first library for researchers and practitioners for easy use of GNNs for various NLP tasks.