حقق المحول نجاحا كبيرا في مجال NLP من خلال تأليف نماذج متقدمة مختلفة مثل Bert و GPT. ومع ذلك، قد لا تكون المحول ومتغيراتها الحالية هي الأمثل في التقاط مسافات رمزية لأن الموضع أو المدينات المسافة التي تستخدمها هذه الأساليب عادة لا يمكن أن تبقي المعلوم
ات الدقيقة للمسافات الحقيقية، والتي قد لا تكون مفيدة لنمذجة أوامر وعلاقات السياقات. في هذه الورقة، نقترح Da-Transformer، وهو محول أدرك عن بعد يمكنه استغلال المسافة الحقيقية. نقترح دمج المسافات الحقيقية بين الرموز الرموز لإعادة توسيع نطاق أوزانات اهتمام الذات الخام، والتي يتم حسابها بأهمية استفسار الاهتمام والمفتاح. بشكل ملموس، يرأس نفس الاهتمام الذاتي مختلف المسافة النسبية بين كل زوج من الرموز المرجحة بواسطة معلمات مختلفة يمكن أن تتحكم في تفضيلات مختلفة على المعلومات الطويلة أو قصيرة الأجل من هذه الرؤوس. نظرا لأن المسافات الحقيقية المرجحة الخام قد لا تكون مثالية لضبط أوزان الاهتمام الذاتي، فإننا نقترح وظيفة Sigomoid ذاتيا في تعيينها في معاملات إعادة التحجيم التي لها نطاقات مناسبة. نحن نقطع لأوزان اهتمام الذات الخام أولا عبر وظيفة RELU للحفاظ على عدم السلبية وإدخال Sparsity، ثم اضربها مع معاملات إعادة التحجيم لترميز معلومات حقيقية عن مسافة عن بعد. تظهر تجارب واسعة على خمسة مجموعات بيانات قياسية أن DA-Transformer يمكن أن يحسن بشكل فعال أداء العديد من المهام وتفوق محول الفانيليا وعدة من المتغيرات.
اجتذبت تحليل المعنويات الاهتمام المتزايد في التجارة الإلكترونية. تعتبر أسابير المشاعر الأساسيين لمراجعات المستخدمين ذات قيمة كبيرة لذكاء الأعمال. تحليل المعنويات الفئة في الأساس (ACSA) ومراجعة التنبؤ بالتصنيف (RP) هما مهامان أساسيان للكشف عن أسطاطات
المشاعر الدقيقة إلى الخشنة. ترتبط ACSA و RP بشكل كبير وعادة ما تستخدم بشكل مشترك في سيناريوهات التجارة الإلكترونية في العالم الحقيقي. في حين يتم بناء معظم مجموعات البيانات العامة ل ACSA و RP بشكل منفصل، مما قد يحد من استغلالهما الإضافي لكلتا المهام. لمعالجة المشكلة والبحثات المتقدمة ذات الصلة، نقدم مراجعة مطعم صيني واسع النطاق في اسرع وقت ممكن في اسرع وقت ممكن في اسرع وقت ممكن 46، 730 مراجعات أصلية من نظام التجارة الإلكترونية الرائدة عبر الإنترنت (O2O) في الصين. إلى جانب تصنيف مقياس من 5 نجوم، يتم تفجيح كل مراجعة يدويا وفقا لأقطاب المعنويات نحو 18 فئة من الارتفاع المحدد مسبقا. نأمل أن يتم إلقاء الإفراج عن DataSet على إلقاء بعض الضوء على مجال تحليل المعنويات. علاوة على ذلك، نقترح نموذج مشترك بديهي ولكن فعال ل ACSA و RP. توضح النتائج التجريبية أن النموذج المشترك تفوق خطوط الأساس الحديثة في كلا المهام.
