ترغب بنشر مسار تعليمي؟ اضغط هنا

الرسم البياني المعرفة القائم على جيل Corpus الاصطناعي لنموذج اللغة المحسنة المعرفة قبل التدريب

Knowledge Graph Based Synthetic Corpus Generation for Knowledge-Enhanced Language Model Pre-training

369   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

يعمل العمل المسبق على جيل البيانات إلى النص، ومهمة تحويل الكلام الرسم البياني (KG) ثلاث مرات إلى نص طبيعي، يركز على مجموعات البيانات القياسية الخاصة بالمجال. ومع ذلك، في هذه الورقة، فإننا ننفذنا اللغة الإنجليزية بأكملها Wikidata KG، ومناقشة التحديات الفريدة المرتبطة بمجال واسع ومجموع واسع النطاق. نوضح كذلك بأنه لفظي كجم شامل ومكون من كجم مثل Wikidata يمكن استخدامه لدمج KGS الهيكلية واللغات الطبيعية. على عكس العديد من البنيات التي تم تطويرها لدمج هاتين المصدرين، فإن نهجنا يحول كجم إلى نص طبيعي، مما يسمح له بالدمج بسلاسة في نماذج اللغة الحالية. إنه يحمل مزايا أخرى لتحسين الدقة الواقعية وتقليل السمية في نموذج اللغة الناتج. نقوم بتقييم هذا النهج عن طريق زيادة عملية استرجاع النموذج لغوي استرجاع وإظهار تحسينات كبيرة على مهام المعرفة المكثفة في المجال المفتوح وكثير المعرفة LAMA.



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

تعكس العلاقات في معظم الرسوم البيانية المعارف التقليدية (KGS) فقط الاتصالات الثابتة والواقعية، ولكنها تفشل في تمثيل الأنشطة الديناميكية وتغير الدولة حول الكيانات. في هذه الورقة، نؤكد على أهمية دمج الأحداث في تعلم تمثيل KG، واقتراح نموذج Eventke Event ke Eventke المحسن للحدث. على وجه التحديد، نظرا لل KG الأصلية، فإننا ندمج أول عقود حدث من خلال بناء شبكة غير متجانسة، حيث يتم توزيع العقد الكيانية وعقد الحدث على جانبي الشبكة بين روابط الوسيطة في الحدث. ثم نستخدم علاقات كيان الكيان من الروابط الزمنية KG والأحداث الزمنية الأصلية إلى الكيان والكيان الداخلي والوقت على التوالي. نقوم بتصميم طريقة تمرير رسائل مفيدة وتستند إلى الرواية، والتي يتم إجراؤها على كيان كيان وكيان الحدث وحدث الأحداث لفيد معلومات الحدث في AGBeddings KG. تظهر النتائج التجريبية على مجموعات البيانات في العالم الحقيقي أن الأحداث يمكن أن تحسن إلى حد كبير جودة AGEDDINGS KG على مهام متعددة المصب.
حققت الرسم البياني المعرفي، الذي يمثل الكيانات والعلاقات في الرسوم البيانية المعرفة مع ناقلات عالية الأبعاد، تقدما كبيرا في التنبؤ بالربط. استكشف المزيد من الباحثين القدرات التمثيلية للنماذج في السنوات الأخيرة. وهذا هو، يحققون في نماذج تمثيلية أفضل ل تناسب التناظر / مضادات التنسيق والعلاقات الجمع. تعد نماذج التضمين الحالية أكثر ميلا لاستخدام ناقل متطابق لنفس الكيان في ثلاثة أضعاف لقياس الأداء المطابق. إن الملاحظة التي تقيس عقلانية ثلاثية محددة تعني مقارنة درجة المطابقة من السمات المحددة المرتبطة بالعلاقات معروفة جيدا. مستوحاة من هذه الحقيقة، تقوم هذه الورقة بتصميم المرشح الدلالي بناء على العلاقات (SFBR) لاستخراج الصفات المطلوبة للكيانات. ثم يتم مقارنة عقلانية ثلاثية تحت هذه السمات المستخرجة من خلال نماذج التضمين التقليدية. يمكن إضافة وحدة تصفية الدلالية إلى معظم نماذج التحلل الهندسية والشعور مع الحد الأدنى من الذاكرة الإضافية. تبين التجارب في مجموعات البيانات القياسية أن المرشح الدلالي القائم على العلاقات يمكن أن تقمع تأثير أبعاد السمات الأخرى وتحسين أداء تنبؤ الارتباط. حققت نماذج التحلل مع SFBR أحدث من الفن.
تعد تتبع ولاية الحوار مركزيا لأنظمة الحوار الموجهة نحو المهام متعددة المجالات، مسؤولة عن استخراج المعلومات من كلام المستخدمين.نقدم هندسة هجينة جديدة تعزز GPT-2 مع التمثيلات المستمدة من شبكات اهتمام الرسوم البيانية بطريقة تسمح بالتنبؤ السببية والتسلسل لقيم الفتحة.يجسد الهندسة المعمارية النموذجية العلاقات بين الفتحات والتبعية عبر المجالات التي يمكن أن تضيع خلاف ذلك في التنبؤ المتسلسل.نبلغ عن التحسينات في أداء تتبع الدولة في MultiWoz 2.0 مقابل خط الأساس GPT-2 قوي والتحقيق في سيناريو تدريب متقطع مبسط يتم تدريب نماذج DST فقط على التعليقات التوضيحية على مستوى الجلسة ولكن تم تقييمها عند مستوى الدوران.نبلغ أيضا عن تحليلات مفصلة لإظهار فعالية نماذج الرسوم البيانية في DST من خلال إظهار أن وحدات الرسم البياني المقترح تلتقط التبعيات بين الفتحات وتحسين تنبؤات القيم الشائعة في مجالات متعددة.
هناك حدود مثيرة في فهم اللغة الطبيعية (NLU) وتوليد (NLG) يدعو (NLG) نماذج لغة (Vision-and) التي يمكن أن تصل إلى إمكانية الوصول إلى مستودعات المعرفة المنظم الخارجية بكفاءة. ومع ذلك، فإن العديد من قواعد المعرفة الموجودة تغطي فقط المجالات المحدودة، أو ت عاني من بيانات صاخبة، والأهم من ذلك كلها يصعب دمجها عادة في خطوط أنابيب اللغة العصبية. لملء هذه الفجوة، ونحن نطلق عرض المرئيات: رسم بياني لمعرفة عالية الجودة (كجم) والتي تشمل العقد مع المواد المتعددة اللغات والصور التوضيحية المتعددة، والعلاقات ذات الصلة بصريا. ونحن نطلق أيضا نموذج استرجاع متعدد الوسائط العصبي يمكنه استخدام الصور أو الجمل كمدخلات واسترداد الكيانات في كجم. يمكن دمج نموذج استرجاع متعدد الوسائط هذا في أي خط أنابيب نموذج (الشبكة العصبية). نحن نشجع مجتمع البحث على استخدام المرئيات لتعزيز البيانات و / أو كمصدر للتأريض، من بين الاستخدامات الأخرى الممكنة. تتميز المرئيات وكذلك نماذج استرجاع متعددة الوسائط متاحة للجمهور ويمكن تنزيلها في عنوان URL هذا: https://github.com/acercalixto/visualsem.
في هذا العمل، نقدم إطارا نظريا للمعلومات يقوم بتصوير نموذج اللغة عبر اللغات قبل تعظيم المعلومات المتبادلة بين النصوص متعددة اللغات متعددة التحبيب.العرض الموحد يساعدنا على فهم الأساليب الموجودة بشكل أفضل لتعلم تمثيلات عبر اللغات.الأهم من ذلك، مستوحاة من الإطار، نقترح مهمة جديدة قبل التدريب على التعلم المتعاقل.على وجه التحديد، نعتبر زوج جملة ثنائية اللغة كأراضتين لنفس المعنى وتشجيع تمثيلاتها المشفرة أكثر مماثلة من الأمثلة السلبية.من خلال الاستفادة من كل من Corpora Monolingual والمتوازي، فإننا ندرب بشكل مشترك مهام ذريعة التحسين القدرة على التحويل المتبادلة للنماذج المدربة مسبقا.النتائج التجريبية على العديد من المعايير تظهر أن نهجنا يحقق أداء أفضل بكثير.تتوفر الكود والنماذج المدربة مسبقا في https://aka.ms/infoxlm.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا