المنافسة النمطية المستقلة لإدماج المعرفة والتحسين

تعرض هذه الورقة إطارا عصبي للوحدات المستقلة غير المستقلة، المستخدمة هنا لإدماج مصادر معرفة الرف مثل نماذج اللغة، ويكيوميكا، ومعلومات نقاط البيع، وعلاقات التبعية.يتم تطبيق كل مصدر معرف ككون مستقل يمكنه التفاعل وتبادل المعلومات مع مصادر المعرفة الأخرى.نبلغ عن إثبات تجارب مفهوم للعديد من مهام تحليل المعنويات القياسية وإظهار أن مصادر المعرفة تتجاوز بفعالية دون تدخل.كحالة للاستخدام الثاني، نوضح أن الإطار المقترح مناسب لتحسين نماذج اللغة التي تشبهها بيرت حتى دون مساعدة مصادر المعرفة الخارجية.نقدم كل طبقة محول كوحدة منفصلة وإظهار تحسينات الأداء من هذا التكامل الصريح للمعلومات المختلفة المشفرة في طبقات المحولات المختلفة.

This paper presents a neural framework of untied independent modules, used here for integrating off the shelf knowledge sources such as language models, lexica, POS information, and dependency relations. Each knowledge source is implemented as an independent component that can interact and share information with other knowledge sources. We report proof of concept experiments for several standard sentiment analysis tasks and show that the knowledge sources interoperate effectively without interference. As a second use-case, we show that the proposed framework is suitable for optimizing BERT-like language models even without the help of external knowledge sources. We cast each Transformer layer as a separate module and demonstrate performance improvements from this explicit integration of the different information encoded at the different Transformer layers .