أداء النماذج العصبية للتعرف على الكيان المسمى يتحلل مع مرور الوقت، أصبحت قديمة.هذا التدهور يرجع إلى الانجراف الزمني، والتغيير في الخصائص الإحصائية المتغيرات المستهدفة لدينا مع مرور الوقت.هذه المسألة مشكلة خاصة لبيانات وسائل التواصل الاجتماعي، حيث تتغ
ير المواضيع بسرعة.من أجل التخفيف من المشكلة، فإن شرح البيانات وإعادة تدريب النماذج أمر شائع.على الرغم من فائدتها، فإن هذه العملية مكلفة وتستغرق وقتا طويلا، مما يحفز بحثا جديدا على التحديث النموذجي الفعال.في هذه الورقة، نقترح نهجا بديهيا لقياس الوعي المحتمل للتغريدات واستخدام هذا المقياس لتحديد أكثر الحالات إعلامية للاستخدام للتدريب.نقوم بإجراء تجارب على ثلاث نماذج من أحدث طراز على مجموعة بيانات Twitter الزمنية.يظهر نهجنا زيادة أكبر في دقة التنبؤ مع بيانات تدريب أقل من البدائل، مما يجعلها حل جذابة وعملية.
العمل الحالي على طاولات نماذج التعلم المشتركة في التمثيل الجداول والنص المرتبط باستخدام الوظائف الموضوعية الخاضعة للإشراف ذاتي المستمدة من نماذج اللغة المحددة مسبقا مثل Bert.في حين أن هذا المحاط بالمفصل يحسن المهام التي تنطوي على الجداول والنص المقتر
ن (على سبيل المثال، الرد على أسئلة حول الجداول)، نوضح أنه لا يقلل من المهام التي تعمل على الجداول دون أي نص مرتبط (E.G.، ملء الخلايا المفقودة).نحن نركض موضوعا بسيطا محددا (اكتشاف الخلايا الفاسدة) التي تتعلم حصريا من البيانات الجدولة وتصل إلى أحدث من بين الفن على مجموعة من مهام التنبؤ القائمة على الطاولة.على عكس النهج المتنافسة، يوفر النموذج الخاص بنا (TABBIE) Asspeddings من جميع درجات الباطن الأساسي (الخلايا والصفوف والأعمدة)، كما أنها تتطلب أيضا حساب أقل بكثير للتدريب.يوضح تحليل نوعي للخلية المستفادة في النموذج، العمود، وتمثيلات الصف أنه يفهم دلالات الجدول المعقدة والاتجاهات العددية.
تتمثل الوصفة الحالية لأداء نموذج أفضل داخل NLP في زيادة حجم نموذج البيانات والتدريب.في حين أن ذلك يعطينا نماذج مع نتائج رائعة بشكل متزايد، إلا أنها تجعل من الصعب تدريب ونشر نماذج أحدث ل NLP بسبب زيادة التكاليف الحاسوبية.ضغط النموذج هو مجال للبحث الذي
يهدف إلى تخفيف هذه المشكلة.يشمل هذا المجال أساليب مختلفة تهدف إلى الحفاظ على أداء نموذج أثناء تقليل حجمها.واحدة من هذه الأسلوب هو تقطير المعرفة.في هذه المقالة، نحقق في تأثير تقطير المعرفة لنماذج التعرف على الكيان المسمى باللغة السويدية.نظهر أنه في حين أن بعض نماذج علامات التسلسل تستفيد من تقطير المعرفة، وليس كل النماذج تفعل.هذا يطالبنا بطرح أسئلة حول المواقف التي تنفجر المعرفة النماذج مفيدة.نحن أيضا السبب في تأثير تقطير المعرفة على التكاليف الحاسوبية.
أظهرت الدراسات الحديثة في التعلم العميق تقدما كبيرا في التعرف على الكيان المسمى (NER).ومع ذلك، تفترض أن معظم الأعمال الموجودة تفرض شرحا نظيفا للبيانات، في حين أن سيناريوهات العالم الواقعي تشتمل عادة على كمية كبيرة من الضوضاء من مجموعة متنوعة من المصا
در (E.G.، الزائفة أو الضعيفة أو الشريحية البعيدة).يدرس هذا العمل ner تحت إعداد صاخبة تحمل تصنيف مع تقدير الثقة المعايرة.بناء على الملاحظات التجريبية لمختلف الديناميات التدريبية للتسميات الصاخبة والنظيفة، نقترح استراتيجيات لتقدير درجات الثقة بناء على افتراضات الاستقلال المحلية والعالمية.نحن نتهم جزئيا تسميات الثقة المنخفضة بنموذج CRF.نقترح طريقة معايرة لعشرات الثقة بناء على هيكل ملصقات الكيان.نحن ندمج نهجنا في إطار التدريب الذاتي لتعزيز الأداء.تجارب في إعدادات صاخبة عامة مع أربع لغات وإعدادات المسمى المسمى أظهرت فعالية طريقتنا.
