ترغب بنشر مسار تعليمي؟ اضغط هنا

هندسة Hyperbolic ليست ضرورية: النماذج القائمة على Euclidean خفيفة الوزن للمعرفة منخفضة الأبعاد

Hyperbolic Geometry is Not Necessary: Lightweight Euclidean-Based Models for Low-Dimensional Knowledge Graph Embeddings

128   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

أظهرت نماذج Graph Graph الحديثة (KGE) على أساس الهندسة الزئوية إمكانات كبيرة في مساحة تضمين منخفضة الأبعاد. ومع ذلك، لا تزال ضرورة الفضاء القطعي في كوريا العليا مشكوك فيها، لأن الحساب الذي يعتمد على الهندسة الزئوية أكثر تعقيدا بكثير من عمليات Euclidean. في هذه الورقة، استنادا إلى مجموعة من طراز Hyperbolic Typerbolic، نطور اثنين من النماذج المستندة إلى Euclidean خفيفة الوزن، تسمى Rotl و Rot2L. يسبق نموذج ROTL العمليات القطعي مع الحفاظ على تأثير التطبيع المرن. الاستفادة من تحول مكدسة طبقة رواية واستنادا إلى ROTL، يحصل نموذج Rot2L على إمكانية تحسين تمثيل، ومع ذلك يكلف عددا أقل من المعلمات والحسابات من روث. تظهر التجارب على تنبؤ الارتباط أن ROT2L يحصل على الأداء الحديثة على مجموعة من مجموعات البيانات المستخدمة على نطاق واسع في مدمج الرسم البياني المعرفي منخفض الأبعاد. علاوة على ذلك، يحقق Rotl أداء مماثل ك Roth ولكن يتطلب فقط نصف وقت التدريب.

المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

قدم النيكل و Kiela (2017) طريقة جديدة لتضمين عقد الأشجار في كرة الخشب، وتشير إلى أن هذه المدينات القطعي هي أكثر فعالية بكثير من Auclidean Admings في الرسوم البيانية الكبيرة الهيكلية بشكل كبير، مثل WordNet Nouns Trees Hypernymy Tree.هذا صحيح بشكل خاص في الأبعاد المنخفضة (النيكل وجيلا، 2017، الجدول 1).في هذا العمل، نسعى لإعادة إنتاج تجاربهم على تضمين وإعادة بناء الرسوم البيانية Hypernymy Nouns.عداد إلى ما تقاريره، نجد أن Auclidean Abbeddings قادرة على تمثيل هذه الشجرة على الأقل بالإضافة إلى تضمين المخيفات، عندما سمحت ب 50 أبعاد على الأقل.نلاحظ أن هذا لا يقلل من أهمية عملهم بالنظر إلى الأداء المثير للإعجاب من التضامن القطعي في إعدادات منخفضة الأبعاد للغاية.ومع ذلك، بالنظر إلى التأثير الواسع لعملهم، فإن هدفنا هنا هو تقديم مقارنة محدثة وأكثر دقة بين Euclidean و SuperBolic Elegbeddings.
تشمل اللغة البشرية أكثر من مجرد نص؛كما أنه ينقل العواطف من خلال النغمة والإيماءات.نقدم دراسة حالة لثلاث هندسة بسيطة وفعالة قائمة على المحولات لتنبؤ المعنويات والعاطفة في البيانات متعددة الوسائط.يقوم نموذج الانصهار المتأخر بدمج ميزات Unimodal لإنشاء ت سلسل ميزة متعددة الوسائط، يجمع نموذج Robin Robin بشكل متكرر بين ميزات BIMODAL باستخدام اهتماما عبر الوسائط، ويجمع نموذج الانصهار الهجين بين ميزات Trimodal و Unimodal معا لتشكيل تسلسل مائع نهائي للتنبؤ بالمشاعر.تبين تجاربنا أن نماذجنا الصغيرة فعالة ومتفوقة على الإصدارات التي تم إصدارها علنا من أنظمة تحليل المعنويات متعددة الوسائط الأكبر والحديثة.
أفضل تحجيم (BWS) أفضل منهجية للتعليق على أساس مثيلات مقارنة والترتيب، بدلا من تصنيف أو تسجيل الحالات الفردية.أظهرت الدراسات فعالية هذه المنهجية المطبقة على مهام NLP من حيث جودة عالية من مجموعات البيانات الناتجة عن طريق ذلك.في ورقة مظاهرة النظام هذه، نقدم LitEScale، مكتبة برامج مجانية لإنشاء وإدارة مهام التوضيحية BWS.يحسب LitEScale tuples typles للتعليق ويدير المستخدمين وعملية التوضيحية، ويخلق معيار الذهب النهائي.يمكن الوصول إلى وظائف LitEScale برمجيا من خلال وحدة نمطية Python، أو عبر واجهتين لمستخدمين بديلين، واحدة قائمة على وحدة التحكم النصية ومقرها على الويب.لقد نمت ونشرنا أيضا نسخة كاملة من Litescale كاملة مع دعم متعدد المستخدمين.
تم اقتراح نماذج إتمام المعرفة الزمنية المختلفة (KG) في الأدب الحديث. تحتوي النماذج عادة على جزأين، وهي طبقة تضمين زمنية ووظيفة نتيجة مشتقة من نهج النمذجة الثابتة الحالية. نظرا لأن النهج تختلف عدة أبعاد، بما في ذلك وظائف النتيجة المختلفة واستراتيجيات التدريب، فإن المساهمات الفردية في تقنيات التضمين الزمنية المختلفة لنموذج الأداء ليست واضحة دائما. في هذا العمل، ندرس بشكل منهجي ستة مناهج تضمين الزمنية وقياس أدائها تجريبيا عبر مجموعة واسعة من التكوينات مع حوالي 3000 تجربة و 13159 ساعة GPU. نقوم بتصنيف الأشرطة الزمنية إلى فئتين: (1) embeddings timestamp و (2) تضمين كيان تعتمد على الوقت. على الرغم من الاعتقاد المشترك بأن الأخير أكثر تعبيرية، تظهر دراسة تجريبية واسعة النطاق أن تضمين الطابع الزمني يمكن أن تحقق أداء على قدم المساواة أو أفضل مع المعلمات أقل بكثير. علاوة على ذلك، نجد أنه عند التدريب بشكل مناسب، غالبا ما تتقلص فروق الأداء النسبية بين مختلف الأشرطة الزمنية وأحيانا حتى عكسها عند مقارنتها بالنتائج السابقة. على سبيل المثال، يمكن أن تتفوق TTRANSE (CIRING)، واحدة من نماذج KG الزمنية الأولى، الفضلات الأخرى في مجال بيانات ICEWS. لتعزيز المزيد من الأبحاث، نحن نقدم أول إطار موحد مفتوح المصدر لنماذج إكمال KG الزمنية مع توصيف كامل، حيث يمكن الجمع بين المدينين الزمني ووظائف النتيجة ووظائف الخسائر والدعوانات والنمذجة الصريحة للعلاقات المتبادلة بشكل تعسفي.
تحقق هذه الورقة في حدود القدرة الإنتاجية للعمليات الإنتاجية، من خلال التركيز على تعقيد المحاكمة العودية في سياقات التنسيق باللغة الإنجليزية (فاجنر، 2010).على الرغم من أن جميع العمليات الصوتية والعمليات الأكثر برودايا هي لغات سلسلة منتظمة حيسانية، نوض ح أن المحاصيل العودية ليست كذلك.هي لغة سلسلة الإخراج هي بدلا من ذلك موازية خالية من السياق (Seki et al.، 1991).نحن نقيم تعقيد النمط على السلاسل، ثم انتقل إلى توصيف على الأشجار التي تتطلب عبواب محولات الأشجار متعددة أعلى.عند القيام بذلك، نحن نقدم أساسا للتحقيقات المحددة في المستقبل في مجال بناء جملة البياضات.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا