نماذج اللغة العصبية، بما في ذلك النماذج القائمة على المحولات، والتي تدرب مسبقا على كوربورا كبيرة جدا أصبحت وسيلة شائعة لتمثيل النص في مهام مختلفة، بما في ذلك الاعتراف بالعلاقات الدلالية النصية، على سبيل المثال نظرية هيكل الوثائق عبر المستندات. عادة ما تكون النماذج المدربة مسبقا عادة ما يتم ضبطها على مهام المصب وتستخدم ناقلات تم الحصول عليها كمدخلات للصفين العصبي العميق. لا توجد معرفة لغوية تم الحصول عليها من الموارد والأدوات. في هذه الورقة، نقارن هذه النهج الشاملة بمجموعة من تمثيل الجملة الدوافع التي تعتمد على الرسم البياني الغني في الرسم البياني والشبكة العصبية النموذجية المطبقة على مهمة الاعتراف بعقود CST في البولندية. يصف التمثيل مستويات مختارة من هيكل الجملة بما في ذلك وصف المعاني المعجمية على أساس أجهزة WordNet (PLWOLNET) ومفاهيم Sumo المتصلة. تظهر النتائج التي تم الحصول عليها أنه في حالة العلاقات الصعبة والتدريب المتوسطة الحجم تمثيل النص المخصب من الناحية الدلوية يؤدي إلى نتائج أفضل بكثير.
Neural language models, including transformer-based models, that are pre-trained on very large corpora became a common way to represent text in various tasks, including recognition of textual semantic relations, e.g. Cross-document Structure Theory. Pre-trained models are usually fine tuned to downstream tasks and the obtained vectors are used as an input for deep neural classifiers. No linguistic knowledge obtained from resources and tools is utilised. In this paper we compare such universal approaches with a combination of rich graph-based linguistically motivated sentence representation and a typical neural network classifier applied to a task of recognition of CST relation in Polish. The representation describes selected levels of the sentence structure including description of lexical meanings on the basis of the wordnet (plWordNet) synsets and connected SUMO concepts. The obtained results show that in the case of difficult relations and medium size training corpus semantically enriched text representation leads to significantly better results.
References used
https://aclanthology.org/
In the paper, we deal with the problem of unsupervised text document clustering for the Polish language. Our goal is to compare the modern approaches based on language modeling (doc2vec and BERT) with the classical ones, i.e., TF-IDF and wordnet-base
This paper describes the development of an online lexical resource to help detection systems regulate and curb the use of offensive words online. With the growing prevalence of social media platforms, many conversations are now conducted on- line. Th
Relational knowledge bases (KBs) are commonly used to represent world knowledge in machines. However, while advantageous for their high degree of precision and interpretability, KBs are usually organized according to manually-defined schemas, which l
Knowledge-enriched text generation poses unique challenges in modeling and learning, driving active research in several core directions, ranging from integrated modeling of neural representations and symbolic information in the sequential/hierarchica
Currently, there are two available wordnets for Turkish: TR-wordnet of BalkaNet and KeNet. As the more comprehensive wordnet for Turkish, KeNet includes 76,757 synsets. KeNet has both intralingual semantic relations and is linked to PWN through inter