ندرس مشكلة توليد نص موادي لتصنيف كوسيلة لفهم وتصحيح التصحيح. بالنظر إلى إدخال نصي ونموذج تصنيف، نهدف إلى تغيير النص الصغير لتغيير تنبؤ النموذج. تم تطبيق نهج الصندوق الأبيض بنجاح على مشاكل مماثلة في الرؤية حيث يمكن للمرء تحسين المدخلات المستمرة مباشرة
. تصبح النهج القائمة على التحسين صعبة في مجال اللغة بسبب الطبيعة المنفصلة للنص. نحن نتجاوز هذه المشكلة من خلال تحسين مباشرة في المساحة الكامنة والاستفادة من نموذج لغة لإنشاء تعديلات مرشحة من تمثيلات كامنة محسنة. نحن بالإضافة إلى استخدام قيم SHOPLEY لتقدير تأثير COMPINATIC من التغييرات المتعددة. ثم نستخدم هذه التقديرات لتوجيه بحث الشعاع عن النص النهائي العالمي. نحن نحقق أداء مواتية مقارنة بالبضعة البيضاء الحديثة والسود الأسود باستخدام التقييمات البشرية والآلية. تشير دراسات الاجتثاث إلى أن كل من الأمثل الكامنة واستخدام قيم shabley يحسن معدل النجاح ونوعية الوسائل المتعددة الناتجة.
تعاونت التمثيلات السياقية القائمة على نماذج اللغة العصبية حالة الفن في مختلف مهام NLP. على الرغم من نجاحها الكبير، فإن طبيعة هذه التمثيل لا تزال سرية. في هذه الورقة، نقدم ملكية تجريبية لهذه التمثيلات --- "المتوسط" "تقريب أول عنصر رئيسي". على وجه التح
ديد، تظهر التجارب أن متوسط هذه التمثيل يشارك نفس الاتجاه تقريبا مثل العنصر الرئيسي الأول في المصفوفة التي تعد أعمدة هذه التمثيلات. نعتقد أن هذا يفسر لماذا تمثيل متوسط هو دائما خط أساس بسيط ولكنه قوي. تظهر امتحاناتنا الإضافية أن هذه الخاصية تعقد أيضا سيناريوهات أكثر تحديا، على سبيل المثال، عندما تكون التمثيلات من نموذج مباشرة بعد تهيئةها العشوائية. لذلك، نحن نقوم بالتخمين أن هذه الخاصية هي جوهرية لتوزيع التمثيلات وعدم الصلة بالضرورة بنية الإدخال. نحن ندرك أن هذه التمثيلات متابعة تجريبيا توزيعا طبيعيا لكل بعد، ومن خلال افتراض أن هذا صحيح، نوضح أن الممتلكات التجريبية يمكن أن تكون في الواقع رياضيا.
