أظهرت نماذج Graph Graph الحديثة (KGE) على أساس الهندسة الزئوية إمكانات كبيرة في مساحة تضمين منخفضة الأبعاد. ومع ذلك، لا تزال ضرورة الفضاء القطعي في كوريا العليا مشكوك فيها، لأن الحساب الذي يعتمد على الهندسة الزئوية أكثر تعقيدا بكثير من عمليات Euclidean. في هذه الورقة، استنادا إلى مجموعة من طراز Hyperbolic Typerbolic، نطور اثنين من النماذج المستندة إلى Euclidean خفيفة الوزن، تسمى Rotl و Rot2L. يسبق نموذج ROTL العمليات القطعي مع الحفاظ على تأثير التطبيع المرن. الاستفادة من تحول مكدسة طبقة رواية واستنادا إلى ROTL، يحصل نموذج Rot2L على إمكانية تحسين تمثيل، ومع ذلك يكلف عددا أقل من المعلمات والحسابات من روث. تظهر التجارب على تنبؤ الارتباط أن ROT2L يحصل على الأداء الحديثة على مجموعة من مجموعات البيانات المستخدمة على نطاق واسع في مدمج الرسم البياني المعرفي منخفض الأبعاد. علاوة على ذلك، يحقق Rotl أداء مماثل ك Roth ولكن يتطلب فقط نصف وقت التدريب.
Recent knowledge graph embedding (KGE) models based on hyperbolic geometry have shown great potential in a low-dimensional embedding space. However, the necessity of hyperbolic space in KGE is still questionable, because the calculation based on hyperbolic geometry is much more complicated than Euclidean operations. In this paper, based on the state-of-the-art hyperbolic-based model RotH, we develop two lightweight Euclidean-based models, called RotL and Rot2L. The RotL model simplifies the hyperbolic operations while keeping the flexible normalization effect. Utilizing a novel two-layer stacked transformation and based on RotL, the Rot2L model obtains an improved representation capability, yet costs fewer parameters and calculations than RotH. The experiments on link prediction show that Rot2L achieves the state-of-the-art performance on two widely-used datasets in low-dimensional knowledge graph embeddings. Furthermore, RotL achieves similar performance as RotH but only requires half of the training time.
References used
https://aclanthology.org/
Nickel and Kiela (2017) present a new method for embedding tree nodes in the Poincare ball, and suggest that these hyperbolic embeddings are far more effective than Euclidean embeddings at embedding nodes in large, hierarchically structured graphs li
Human language encompasses more than just text; it also conveys emotions through tone and gestures. We present a case study of three simple and efficient Transformer-based architectures for predicting sentiment and emotion in multimodal data. The Lat
Best-worst Scaling (BWS) is a methodology for annotation based on comparing and ranking instances, rather than classifying or scoring individual instances. Studies have shown the efficacy of this methodology applied to NLP tasks in terms of a higher
Various temporal knowledge graph (KG) completion models have been proposed in the recent literature. The models usually contain two parts, a temporal embedding layer and a score function derived from existing static KG modeling approaches. Since the
This paper investigates bounds on the generative capacity of prosodic processes, by focusing on the complexity of recursive prosody in coordination contexts in English (Wagner, 2010). Although all phonological processes and most prosodic processes ar