أصبحت التمثيل التعلم للنص عبر الاحتمالات نموذج لغة على كوربوس كبيرة أصبح نقطة انطلاق قياسية لبناء أنظمة NLP. يقف هذا النهج على النقيض من السيارات الآلية، كما تم تدريبه على النص الخام، ولكن بهدف التعلم لترميز كل إدخال كجاغر يتيح إعادة الإعمار الكامل.
AutoNCoders جذابة بسبب هيكل الفضاء الكامن وخصائصها التوليدية. لذلك نستكشف بناء AutoNCoder على مستوى الجملة من نموذج لغة محول محول مسبقا. نحن نقوم بتكييف هدف نمذجة اللغة الملثمين كإنتاجية، وتمديد واحد، في حين أن تدرب فقط عنق الزجاجات الجملة ومكتشف محول بطبقة واحدة. نوضح أن تمثيلات الجملة التي اكتشفها طرازنا تحقق جودة أفضل من الأساليب السابقة التي استخراج تمثيلات من المحولات المسبدة مسبقا على مهام تشابه النص، ونقل النمط (مثال على الجيل الخاضع للرقابة)، ومهام تصنيف الجملة واحدة في معيار الغراء، أثناء استخدام عدد أقل من النماذج المحددة مسبقا.
