يشكل جيل النص المخصب المعرفي تحديات فريدة من نوعها في النمذجة والتعلم، مما يدفع البحوث النشطة في العديد من الاتجاهات الأساسية، بدءا من النمذجة المتكاملة للتمثيل العصبي والمعلومات الرمزية في الهياكل التسلسلية / الهرمية / الهرمية، والتعلم دون إشراف مباشر بسبب تكلفة الهيكلالتعليق التوضيحي، والتحسين الفعال والاستدلال مع قيود هائلة وعالمية، على أساس اللغة على طرائق متعددة، والمنطق الاسليمي مع المعرفة المنطقية الضمنية ومعرفة الخلفية.في هذا البرنامج التعليمي، سنقدم خريطة طريق لتشكيل الأساليب الحديثة لمعالجة هذه التحديات في هذه المشكلة المتطورة.سنغمر عميقا في مكونات تقنية مختلفة: كيفية تمثيل المعرفة، وكيفية إطعام المعرفة في نموذج الجيل، وكيفية تقييم نتائج الجيل، وما هي التحديات المتبقية؟
Knowledge-enriched text generation poses unique challenges in modeling and learning, driving active research in several core directions, ranging from integrated modeling of neural representations and symbolic information in the sequential/hierarchical/graphical structures, learning without direct supervisions due to the cost of structured annotation, efficient optimization and inference with massive and global constraints, to language grounding on multiple modalities, and generative reasoning with implicit commonsense knowledge and background knowledge. In this tutorial we will present a roadmap to line up the state-of-the-art methods to tackle these challenges on this cutting-edge problem. We will dive deep into various technical components: how to represent knowledge, how to feed knowledge into a generation model, how to evaluate generation results, and what are the remaining challenges?
References used
https://aclanthology.org/
We ask subjects whether they perceive as human-produced a bunch of texts, some of which are actually human-written, while others are automatically generated. We use this data to fine-tune a GPT-2 model to push it to generate more human-like texts, an
We propose an approach to automatically test for originality in generation tasks where no standard automatic measures exist. Our proposal addresses original uses of language, not necessarily original ideas. We provide an algorithm for our approach an
We introduce GEM, a living benchmark for natural language Generation (NLG), its Evaluation, and Metrics. Measuring progress in NLG relies on a constantly evolving ecosystem of automated metrics, datasets, and human evaluation standards. Due to this m
Existing pre-trained language models (PLMs) have demonstrated the effectiveness of self-supervised learning for a broad range of natural language processing (NLP) tasks. However, most of them are not explicitly aware of domain-specific knowledge, whi
Counterfactuals are a valuable means for understanding decisions made by ML systems. However, the counterfactuals generated by the methods currently available for natural language text are either unrealistic or introduce imperceptible changes. We pro