كانت النماذج اللغوية الكبيرة المدربة مسبقا مثل بيرت القوة الدافعة وراء التحسينات الأخيرة في العديد من مهام NLP.ومع ذلك، يتم تدريب بيرت فقط على التنبؤ بالكلمات المفقودة - إما من خلال اخفاء أو تنبؤ الجملة التالي - وليس لديه معرفة بالمعلومات المعجمية أو
النحوية أو الدلالية التي تتجاوز ما يلتقطه من خلال التدريب المسبق غير المدعوم.نقترح طريقة جديدة لحقن المعلومات اللغوية بشكل صريح في شكل embeddings في أي طبقة من بيرت المدرب مسبقا.عند ضمانات المضادات المضادة ومقرها التبعية، تشير تحسينات الأداء على مجموعات بيانات التشابه الدلالية المتعددة إلى أن هذه المعلومات مفيدة وفقدها حاليا من النموذج الأصلي.يوضح تحليلنا النوعي أن حقن التضمين المضاد للأدمان مفيد بشكل خاص، مع تحسينات ملحوظة على الأمثلة التي تتطلب دقة مرادف.
نقترح نسخ المتداول من تخصيص Dirichlet الكامن، يسمى Rollinglda. من خلال نهج متتابع، فإنه يتيح بناء سلسلة الزمن القائم على LDA من الموضوعات التي تتفق مع الدول السابقة لنماذج LDA. بعد النمذجة الأولي، يمكن حساب التحديثات بكفاءة، مما يسمح للرصد في الوقت ا
لفعلي والكشف عن الأحداث أو الاستراتيجات الهيكلية. لهذا الغرض، نقترح تدابير تشابه مناسبة للموضوعات وتوفير دليل محاكاة على التفوق على النهج الأخرى الشائعة الاستخدام. يتم توضيح كفاية الطريقة الناتجة من خلال تطبيق على مثال Corpus. على وجه الخصوص، نحسب التشابه المتمثل في توزيعات الموضوعات التي تم الحصول عليها بالتتابع على فترات زمنية متتالية. للحصول على مثال تمثيلي، تتكون من مقالات نيويورك تايمز من عام 1980 إلى 2020، نقوم بتحليل تأثير العديد من خيارات المعلمات ضبطها وندير طريقة Rollinglda على مجموعة البيانات الكاملة التي تبلغ حوالي 4 ملايين مادة لإظهار جدوائها.
