مجردة، تم اقتراح العديد من المقاييس لتقييم تشابه (مجردة) بمعنى تمثيلات (AMRS)، لكن القليل يعرف عن الطريقة التي تتعلق بتصنيفات التشابه البشري. علاوة على ذلك، فإن المقاييس الحالية لديها نقاط القوة والضعف التكميلية: يتأكيد البعض على السرعة، في حين أن البعض الآخر يجعل محاذاة هياكل الرسوم البيانية الصريحة، بسعر خطوة محاذاة مكلفة. في هذا العمل، نقترح مقاييس تشابه Weisfeiler-Leman Amr الجديدة التي توحد نقاط القوة المقاييس السابقة، مع تخفيف نقاط ضعفها. على وجه التحديد، فإن مقاييسنا الجديدة قادرة على مطابقة التحسسات الفاصلة والحرية والحث على N: M بين العقد. علاوة على ذلك، نقدم معيارا لمقاييس AMR بناء على الأهداف العلنية (الخيزران)، أول معيار لدعم التقييم التجريبي لمقاييس التشابه الرسمي في الرسم البياني. يزيد الخيزران إمكانية تفسير النتائج عن طريق تحديد أهداف علنية متعددة تتراوح بين أهداف تشابه الجملة لإجراء اختبارات الإجهاد التي تحقق متانة متري ضد تحويلات الرسم البياني المعني بالمعنى والمعنى. نعرض فوائد الخيزران عن طريق تنميط المقاييس السابقة ومقاييس خاصة بنا. تشير النتائج إلى أن مقاييس جديدة قد تكون بمثابة خط أساس قوي للعمل في المستقبل.
Abstract Several metrics have been proposed for assessing the similarity of (abstract) meaning representations (AMRs), but little is known about how they relate to human similarity ratings. Moreover, the current metrics have complementary strengths and weaknesses: Some emphasize speed, while others make the alignment of graph structures explicit, at the price of a costly alignment step. In this work we propose new Weisfeiler-Leman AMR similarity metrics that unify the strengths of previous metrics, while mitigating their weaknesses. Specifically, our new metrics are able to match contextualized substructures and induce n:m alignments between their nodes. Furthermore, we introduce a Benchmark for AMR Metrics based on Overt Objectives (Bamboo), the first benchmark to support empirical assessment of graph-based MR similarity metrics. Bamboo maximizes the interpretability of results by defining multiple overt objectives that range from sentence similarity objectives to stress tests that probe a metric's robustness against meaning-altering and meaning- preserving graph transformations. We show the benefits of Bamboo by profiling previous metrics and our own metrics. Results indicate that our novel metrics may serve as a strong baseline for future work.
References used
https://aclanthology.org/
AMR (Abstract Meaning Representation) and EDS (Elementary Dependency Structures) are two popular meaning representations in NLP/NLU. AMR is more abstract and conceptual, while EDS is more low level, closer to the lexical structures of the given sente
Coupled with biaffine decoders, transformers have been effectively adapted to text-to-graph transduction and achieved state-of-the-art performance on AMR parsing. Many prior works, however, rely on the biaffine decoder for either or both arc and labe
The next generation of conversational AI systems need to: (1) process language incrementally, token-by-token to be more responsive and enable handling of conversational phenomena such as pauses, restarts and self-corrections; (2) reason incrementally
A mind-map is a diagram that represents the central concept and key ideas in a hierarchical way. Converting plain text into a mind-map will reveal its key semantic structure and be easier to understand. Given a document, the existing automatic mind-m
Precisely defining the terminology is the first step in scientific communication. Developing neural text generation models for definition generation can circumvent the labor-intensity curation, further accelerating scientific discovery. Unfortunately