مجردة نقدم نموذج لغة يجمع بين شبكة عصبية حديثة كبيرة (I.E.، محول) مع مكون ذاكرة Episodic غير حدودي غير رسمي في بنية متكاملة.يستخدم نموذجنا سياق موسع قصير الأجل من خلال التخزين المؤقت للدول المخفية المحلية - - مماثلة لذاكرة محول-XL --- وعلى المدى الطو
يل الأجل من خلال استرجاع مجموعة من أقرب رموز جار في كل ساعة عملية تجريفية.نقوم بتصميم وظيفة Gating للجمع بين مصادر معلومات متعددة لتقديم التنبؤ.تتيح هذه الآلية للطراز استخدام السياق المحلي أو الذاكرة قصيرة الأجل أو الذاكرة الطويلة الأجل (أو أي مزيج منهم) على أساس مخصص حسب السياق.تظهر تجارب مجموعات بيانات النمذجة القائمة على الكلمة القائمة على الكلمة فعالية طريقةنا المقترحة مقارنة مع خطوط الأساس القوية.
