أظهرت التقدم المحرز الأخير في نماذج اللغة المستندة إلى المحولات الاحترام نجاحا كبيرا في تعلم التمثيل السياقي للنص.ومع ذلك، نظرا لتعقيد الاهتمام من الدرجة الثانية، يمكن لمعظم نماذج المحولات مسبقا التعامل مع النص القصير نسبيا.لا يزال يمثل تحديا عندما ي
تعلق الأمر بنمذة مستندات طويلة جدا.في هذا العمل، نقترح استخدام شبكة انتباه الرسوم البيانية أعلى نموذج المحولات مسبقا متوفرة لتعلم تضمين الوثائق.تتيح لنا شبكة انتباه الرسم البياني هذه الاستفادة من الهيكل الدلالي الرفيع المستوى للوثيقة.بالإضافة إلى ذلك، استنادا إلى نموذج وثيقة الرسم البياني لدينا، نقوم بتصميم استراتيجية تعليمية بسيطة بسيطة للتعبير عن نماذجنا بمقدار كبير من الكائنات الكبيرة.تجريبيا، نوضح فعالية نهجنا في تصنيف الوثائق ومهام استرجاع المستندات.
تعد التصنيفات موارد قيمة للعديد من التطبيقات، ولكن التغطية المحدودة بسبب عملية العمالة اليدوية باهظة الثمن تعوق إمكانية تطبيقها العام. محاولة Works السابقة لتوسيع تصنيفات الأدتصات الموجودة تلقائيا لتحسين تغطيتها من خلال تضمين التعلم بمشاركة مفهوم في
الفضاء الإقليدية، في حين أن التصنيفات، التسلسل الهرمي بطبيعتها، محاذاة بشكل طبيعي مع الخصائص الهندسية للفضاء القطعي. في هذه الورقة، نقدم HyperExpan، خوارزمية توسيع تصنيفية تسعى إلى الحفاظ على هيكل التصنيف في مساحة أكثر تعبيرا معبرة وتتعلم أن تمثل المفاهيم وعلاقاتها مع شبكة عصبية خاطئة (HGNN). على وجه التحديد، ترفع Hyperexpan تضمينات الموضع لاستغلال هيكل التصنيفات الموجودة، وتميز معلومات ملف تعريف المفهوم لدعم الاستدلال على مفاهيم جديدة غير مرئية أثناء التدريب. تشير التجارب إلى أن Hyperexpan المقترح تفوق النماذج الأساسية بنماذج أساسية مع التعلم التمثيلي في مساحة ميزة Euclidean وتحقق أداء حديثة على معايير التوسع التصنيفية.
توليد الاستجابات الإعلامية والمناسبة صعبة ولكنها مهمة لبناء أنظمة الحوار يشبه الإنسان. على الرغم من أن نماذج المحادثة المختلفة المعرفة قد اقترحت، إلا أن هذه النماذج لها قيود في الاستفادة من المعرفة التي تحدث بشكل غير منتظم في بيانات التدريب، ناهيك عن
دمج المعرفة غير المرئية في جيل المحادثة. في هذه الورقة، نقترح طريقة تعلم التمثيل المتعصب للكيان (EARL) لإدخال الرسوم البيانية المعرفة لتوليد المحادثة بالمعلومات. على عكس الأساليب التقليدية التي تقترب المعلمة التمثيل المحدد لكل كيان، فإن إيرل يستخدم سياق المحادثات والهيكل العلائقي لرسوم البيان البيئية لمعرفة تمثيل الفئة للكيانات، المعمم لإدماج كيانات غير مرئية في الرسوم البيانية المعرفة في جيل المحادثة. التقييمات التلقائية واليدوية توضح أن طرازنا يمكن أن يولد ردود أكثر إعلامية ومتماسكة وغير طبيعية من النماذج الأساسية.
تصنيف النص القصير هو مهمة أساسية في معالجة اللغة الطبيعية.من الصعب بسبب عدم وجود معلومات السياق والبيانات المسمى في الممارسة العملية.في هذه الورقة، نقترح طريقة جديدة تسمى SHINE، والتي تعتمد على الشبكة العصبية الرسم البيانية (GNN)، لتصنيف النص القصير.
أولا، نقوم بنمذت مجموعة بيانات النص القصيرة كشركة بيانية غير متجانسة هرمية تتكون من رسومات مكونة على مستوى Word والتي تقدم معلومات أكثر دلالة ونقصية.بعد ذلك، نتعلم ديناميكيا رسم بياني مستند قصير يسهل نشر الملصقات الفعالة بين النصوص القصيرة المشابهات.وبالتالي، فإن المقارنة مع الأساليب القائمة على GNN القائمة، والتألق يمكن أن يستغل أفضل التفاعلات بين العقد من نفس الأنواع والقبض على أوجه التشابه بين النصوص القصيرة.تظهر تجارب واسعة النطاق على مختلف مجموعات البيانات القصيرة القصيرة المعجمية أن التألق يتفوق باستمرار على الأساليب الحديثة، خاصة مع عدد أقل من الملصقات.
أصبح توحيد التعلم الصوتي واللغوي أمرا مهما بشكل متزايد بنقل المعرفة المستفادة بشأن وفرة بيانات لغة الموارد عالية الموارد للحصول على التعرف على الكلام المنخفض الموارد. الأساليب الحالية ببساطة تتالي النماذج الصوتية واللغة المدربة مسبقا لتعلم النقل من ا
لكلام إلى النص. ومع ذلك، فإن كيفية حل تناقض التمثيل في الكلام والنص غير مستكشفة، مما يعيق استخدام المعلومات الصوتية واللغوية. علاوة على ذلك، يعمل الأمر السابق ببساطة استبدال طبقة تضمين نموذج اللغة المدربة مسبقا مع الميزات الصوتية، والتي قد تتسبب في مشكلة نسيان الكارثي. في هذا العمل، نقدم WAV-Bert، وهي طريقة تعليمية تعاونية وصوتية وممثلة على الصمامات والاستفادة من المعلومات السياقية من الكلام والنص. على وجه التحديد، نقوم بتحديد نموذج صوت صوتي مدرب مسبقا (WAV2VEC 2.0) ونموذج لغة (Bert) في إطار قابل للتدريب من طرف إلى نهاية. تم تصميم وحدة تجميع التمثيل لتجميع التمثيل الصوتي واللغوي، ويتم تقديم وحدة الانتباه التضمين لإدماج المعلومات الصوتية في بيرت، والتي يمكن أن تسهل بفعالية تعاون نماذج مدربة مسبقا وبالتالي تعزيز تعلم التمثيل. تشير التجارب الواسعة إلى أن لدينا WAV-Bert تنفأ بشكل كبير على النهج الحالية وتحقيق الأداء الحديث في التعرف على الكلام المنخفض الموارد.
تجد النماذج الموجودة الإشراف على النصوص النصية صعوبة في تحسين نتائج تجميعها مباشرة.وذلك لأن التجميع عملية منفصلة، ومن الصعب تقدير التدرج المجدي لأي وظيفة منفصلة يمكن أن تدفع خوارزميات التحسين المستندة إلى التدرج.لذا، فإن خوارزميات التجميع الموجودة مح
تجزة بشكل غير مباشر تحقق بشكل غير مباشر لبعض الوظائف المستمرة التي تقارب عملية التجميع.نقترح استراتيجية تدريبية قابلة للتطوير التي تعمل بشكل مباشر على متري تجميع منفصل.نحن ندرب نموذج التضمين القائم على بيرت باستخدام أسلوبنا وتقييمه على مجموعة بيانات متوفرة للجمهور.نظهر أن أسلوبنا تتفوق على نموذج آخر مضمون يستند إلى بيرت توظف خسارة ثلاثية وغيرها من خطوط الأساس غير المدعومة.هذا يشير إلى أن التحسين مباشرة لنتائج التجميع تعطي بالفعل تمثيل أفضل مناسبة للتجميع.
في هذه الورقة، نركز على تحديد أزواج الحجة التفاعلية من وظيفتين مع مواقف معاكسة إلى موضوع معين.النظر في الآراء يتم تبادلها من وجهات نظر مختلفة موضوع المناقشة، ندرس تمثيلات منفصلة للحجج لالتقاط جوانب متفاوتة في لغات الحال (على سبيل المثال، التركيز من ا
لنقاش وسلوك المشارك).علاوة على ذلك، فإننا نستخدم الهيكل الهرمي لنموذج المعلومات بعد الحكمة التي تتضمن المعرفة السياقية.تظهر النتائج التجريبية على مجموعة البيانات الواسعة النطاق التي تم جمعها من CMV أن إطار عملنا المقترح قد يتفوق بشكل كبير على خطوط الأساس التنافسية.تكشف التحليلات الإضافية لماذا ينتج نموذجنا أداء متفوقا وأثبت فائدة تمثيلاتنا المستفادة.
