تنطوي تصنيف الحبيبات الجميلة على التعامل مع مجموعات البيانات مع عدد أكبر من الفصول مع الاختلافات الدقيقة بينهما.إن توجيه النموذج إلى التركيز على أبعاد التفريق بين هذه الفئات القابلة للتصريفية بشكل شائع هو مفتاح تحسين الأداء في مهام الحبيبات الجميلة.ف
ي هذا العمل، نقوم بتحليل ضبط النماذج الصعبة المتناقضة من النماذج المدربة مسبقا على مهام تصنيف نصية جيدة الحجم، وتصنيف العاطفة وتحليل المعنويات.قمنا بتضمين علاقات فئة على تكيفا في وظيفة موضوعية مناقصة للمساعدة في وزن الإيجابيات والسلبيات بشكل مختلف، وعلى وجه الخصوص، ترجغ السلبيات المربكة عن كثب أكثر من أمثلة سلبية أقل مماثلة.نجد أن الخسارة على علم التسمية التي تدركها تتفوق على الأساليب المتعاقبة السابقة، في وجود عدد أكبر و / أو فئات أكبر من الفئات القابلة للتصريف، وتساعد النماذج على إنتاج توزيعات الإخراج التي يتم تمييزها أكثر.
تتحمل أنظمة Training NLP عادة إمكانية الوصول إلى البيانات المشروحة التي تحتوي على ملصق بشري واحد لكل مثال. بالنظر إلى وضع علامات غير كاملة من الحنجرة والغموض الملازمين من اللغة، فإننا نفترض أن العلامة الفردية ليست كافية لتعلم مجموعة تفسير اللغة. نستك
شف مخططات توزيع توضيحية جديدة، وتعيين ملصقات متعددة لكل مثال لمجموعة فرعية صغيرة من أمثلة التدريب. تقديم أمثلة متعددة التوصيل هذه بتكلفة التعليق عدد أقل من الأمثلة التي تجلب مكاسب واضحة حول مهمة مهمة وكتابة الكيان في اللغة الطبيعية، حتى عندما نتدرب أولا مع بيانات تسمية واحدة ثم ضبط أمثلة ملصقات متعددة. تمديد إطار تكبير بيانات مختلط، نقترح خوارزمية التعلم التي يمكن أن تتعلم من الأمثلة التدريبية مع كمية مختلفة من التوضيحية (مع صفر، واحد، أو ملصقات متعددة). تجمع هذه الخوارزمية بكفاءة مع الإشارات من بيانات التدريب غير المتكافئة وتجلب مكاسب إضافية في ميزانية التوضيحية المنخفضة وإعدادات المجال الصليب. معا، تحقق طريقة لدينا مكاسب ثابتة في مهام اثنين، مما يشير إلى أن التسميات التوزيعية بشكل غير متساو بين أمثلة التدريب يمكن أن تكون مفيدة للعديد من مهام NLP.
يتضمن تصنيف النص متعدد العلامات واسعة النطاق (LMTC) مهام مع مسافات تسمية هرمية، مثل التعيين التلقائي لرموز ICD-9 إلى ملخصات التفريغ.يتم تقييم أداء النماذج في الفن السابق مع تدابير الدقة القياسية والتذكر و F1 دون اعتبار للهيكل الهرمي الغني.في هذا العم
ل، نقول بتقييم هرمي لتنبؤات نماذج LMTC العصبية.مع مثال على علم ICD-9 ontology، نصف مشكلة هيكلية في تمثيل مساحة الملصقات المهيكلة في الفنية السابقة، واقتراح تمثيل بديل بناء على عمق OnTology.نقترح مجموعة من مقاييس التقييم الهرمي باستخدام التمثيل القائم على العمق.قارن درجات التقييم من المقاييس المقترحة مع مقاييس تستخدم سابقا على نماذج LMTC السابقة لترميز ICD-9 في MIMIC-III.كما نقترح أيضا طرق البحث الأخرى التي تنطوي على التمثيل الترطاني المقترح.
تهدف الكشف عن العلاقات متعددة القفزات في أسئلة المعرفة الإجابة (KBQA) إلى استرجاع مسار العلاقة بدءا من كيان الموضوع إلى عقدة الإجابة بناء على سؤال معين، حيث قد يشتمل مسار العلاقة على علاقات متعددة. تعامل معظم الأساليب الموجودة بمثابة مشكلة في تعلم ال
علامة الفردية مع تجاهل حقيقة أنه بالنسبة لبعض الأسئلة المعقدة، توجد مسارات علاقة صحيحة متعددة في قواعد المعرفة. لذلك، في هذه الورقة، يعتبر اكتشاف العلاقة المتعددة القفز مشكلة في التعلم متعدد العلامات. ومع ذلك، فإن إجراء اكتشاف علاقة متعددة الأقفز متعددة الملصقات يمثل تحديا لأن أعداد كل من الملصقات والقفزات غير معروفة. لمعالجة هذا التحدي، يتم صياغة الكشف المتعدد الملصقات متعددة القفز كهجوم توليد التسلسل. يقترح نموذج توليد علاقات العلاقة بين العلاقة على حل المشكلة بطريقة نهاية إلى نهاية. تظهر النتائج التجريبية فعالية الطريقة المقترحة للكشف عن العلاقة و KBQA.
يتم جذب تصنيف المستندات متعددة الملصقات، وربط مثيل مستندات واحدة بمجموعة من الملصقات ذات الصلة، المزيد والمزيد من اهتمام البحوث. استكشاف الأساليب الحالية دمج المعلومات وراء النص، مثل بيانات تعريف الوثيقة أو هيكل الملصقات. ومع ذلك، فإن هذه الأساليب إم
ا ببساطة الاستفادة من المعلومات الدلالية من البيانات الوصفية أو توظيف التسلسل الهرمي لملصق الوالدين والطفل المحدد مسبقا، وتجاهل الهياكل الرسومية غير المتجانسة للبيانات الوصفية والملصقات، والتي نعتقد أنها حاسمة لتصنيف مستندات دقيقة متعددة الملصقات. لذلك، في هذه الورقة، نقترح نهجا جديدا في الشبكة العصبية لتصنيف المستندات متعددة الملصقات، حيث يتم بناء الرسوم البيانية غير المتجانسة والتعلم باستخدام محولات الرسم البياني غير المتجانس. أحدهما هو الرسم البياني غير المتجانس في البيانات الأولية، والتي نماذج أنواع مختلفة من البيانات الوصفية وعلاقاتها الطوبولوجية. الآخر هو الرسم البياني الملصق غير المتجانس، الذي تم إنشاؤه بناء على كل من التسلسل الهرمي للملصقات والتمثيل الإحصائي. النتائج التجريبية على مجموعة من مجموعات البيانات القياسية تظهر النهج المقترح تفوق العديد من خطوط الأساس الحديثة.
نقدم متعدد اليوراء، مجموعة بيانات جديدة متعددة اللغات لتصنيف الموضوع للوثائق القانونية. تضم DataSet قوانين الاتحاد الأوروبي 65 ألف (EU)، والتي ترجمت رسميا في 23 لغة، مشروحا بالملصقات المتعددة من تصنيف Eurovoc. نسلط الضوء على تأثير المنفأة الزمنية الا
نجراف وأهمية التسلسل الزمني، بدلا من الانقسامات العشوائية. نستخدم DataSet كاختبار لنقل صفرية عبر اللغات، حيث استغلنا المستندات التدريبية المشروح بلغة واحدة (مصدر) لتصنيف المستندات بلغة أخرى (الهدف). نجد أن ضبط النموذج المحدد المتعدد اللغتين (XLM-Roberta، MT5) في لغة مصدر واحدة يؤدي إلى نسيان كارثي من المعرفة متعددة اللغات، وبالتالي، فإن تحويل صفر ضعيف إلى لغات أخرى. استراتيجيات التكيف، وهي استراتيجيات دقيقة، محولات، معترفيت، LNFIT، اقترحت في الأصل تسريع الضبط الجميل للمهام النهائية الجديدة، والمساعدة في الاحتفاظ بالمعرفة متعددة اللغات من الاحتجاج، وتحسين نقل اللغات الصفر قليلا، ولكن تأثيرها يعتمد أيضا على ذلك على النموذج المحدد مسبقا يستخدم وحجم مجموعة التسمية.
البحث عن وثائق قانونية هي مهمة متخصصة لاسترجاع المعلومات ذات الصلة لمستخدمي الخبراء (المحامين ومساعدتهم) وللمستخدمين غير الخبراء. من خلال البحث في قرارات المحكمة السابقة (الحالات)، يمكن للمستخدم إعداد التفكير القانوني بشكل أفضل من حالة جديدة. القدرة
على البحث باستخدام تقطيع نص لغة طبيعية بدلا من استعلام مزيد من الاستعلام الاصطناعي قد يساعد في منع مشكلات صياغة الاستعلام. أيضا، إذا كان التشابه الدلالي قد يكون على غرار المطابقات المعجمية الدقيقة، فيمكن العثور على نتائج أكثر صلة حتى لو كانت شروط الاستعلام لا تتطابق تماما. بالنسبة لهذا المجال، صاغنا مهمة لمقارنة الطرق المختلفة لنمذجة التشابه الدلالي على مستوى الفقرة، باستخدام النظم العصبية وغير العصبية. قارنا أنظمة تشفير الاستعلام وفقرات مجموعة البحث كمنتجات، مما يتيح استخدام تشابه التجميل لتحقيق تصنيف النتائج. بعد بناء مجموعة بيانات ألمانية للحالات والنظام الأساسي من سويسرا، واستخراج الاستشهادات من الحالات إلى النظام الأساسي، قمنا بتطوير خوارزمية لتقدير التشابه الدلالي على مستوى الفقرة، باستخدام طريقة التشابه القائمة على الرابط. عند تقييم الأنظمة المختلفة بهذه الطريقة، نجد أن النمذجة الدلالية التشابه بواسطة النظم العصبية يمكن أن يتم تعزيز قناع اهتمام ممتد يروي الضوضاء في المدخلات.
ترميز ICD-9 هي مهمة الفواتير السريرية ذات الصلة، حيث يتم تفاحص النصوص غير المنظمة مع معلومات حول تشخيص وعلاجات المريض مع رموز ICD-9 متعددة.الترميز الآلي ICD-9 هو حقل بحث نشط، حيث تمثل الهندسة النموذجية القائم على CNN و RNN النهج الحديثة من بين الفن.ف
ي هذا العمل، نقترح تصنيف اهتمام الملصقات القائمة على الوصف لتحسين الشريحة النموذجية عند التعامل مع النصوص الصاخبة مثل الملاحظات السريرية.
يتعامل تصنيف النص المتعدد التسميات الهرمية (HMTC) مع المهمة الصعبة التي يمكن فيها تعيين مثيل للفئات المهيكية المتعددة في نفس الوقت. غالبية الدراسات السابقة إما أن تركز على تقليل مهمة HMTC إلى مشكلة مسطحة متعددة العلامات تتجاهل علاقات الفئات الرأسية أ
و استغلال التبعيات عبر مستويات هرمية مختلفة دون النظر في الارتباط الأفقي بين الفئات في نفس المستوى، والتي تؤدي حتما إلى المعلومات الأساسية خسارة. في هذه الورقة، نقترح إطار رواية HMTC يرى الارتباطات الفئة الرأسية والأفقية. على وجه التحديد، نقوم أولا بتصميم شبكة عصبية متقطعة متوترة فضفاضة كمستغل في التمثيل للحصول على تمثيلات للكلمات والوثائق، والأهم من ذلك، والأهم من ذلك، والتعويضات الحكيمة للمستوى بالنسبة للفئات، والتي لا تعتبر في الأعمال السابقة. بعد ذلك، يتم اعتماد تمثيلات الفئة المستفادة لالتقاط التبعيات الرأسي بين مستويات التسلسل الهرمي للفئة ونموذج الارتباط الأفقي. أخيرا، استنادا إلى Admeddings و Emgeddings، نقوم بتصميم خوارزمية هجينة للتنبؤ بفئات الهيكل الهرمي بأكمله. تجارب واسعة أجريت على مجموعات بيانات HMTC العالمية الحقيقية صحة فعالية الإطار المقترح بدعوات كبيرة على خط الأساس.
التصنيف الدولي للأمراض (ICD) هو نظام لتسجيل تشخيصات المرضى بشكل منهجي. تخصص الأطباء أو المبرمون المحترفون رموز ICD للسجلات الطبية للمرضى لتسهيل التمويل والبحث والإدارة. في معظم المرافق الصحية، الترميز السريرية هي مهمة يدوية مطالبة الوقت غير عرضة للأخ
طاء. أداة تقوم تلقائيا بتعيين رموز ICD إلى النص السريري المجاني يمكن أن توفر الوقت وتقليل الترميز الخاطئ. في حين ركزت العديد من الدراسات السابقة على ترميز ICD، فإن البحث عن سجلات المرضى السويدية نادرة. استكشفت هذه الدراسة أساليب مختلفة لزيادة الملاحظات السريرية السويدية برموز ICD. تم مقارنة KB-Bert، نموذج Bert المدرب مسبقا على النص السويدي، مع نماذج التعلم التقليدية التي تدعمها تدعم أجهزة Vector، وأشجار القرار، وتستخدم جيران K-Learpors كأساس. عند النظر في رموز ICD التي تم تجمعها إلى عشرة كتل، كانت KB-Bert متفوقة على النماذج الأساسية، والحصول على F1-Micro من 0.80 وما ماكرو F1 من 0.58. عند النظر في رموز ICD الكاملة البالغ عددها 263، تفوقت KB-Bert على جميع النماذج الأساسية في F1-Micro و F1-Macro من الصفر. أظهرت اختبارات Wilcoxon الموقعة المرتبة أن اختلافات الأداء بين BERT KB-Bert ونماذج الأساس كانت ذات دلالة إحصائية.
