شهدت الترجمة الآلية التقدم السريع مع ظهور النماذج القائمة على المحولات. لا تحتوي هذه النماذج على هيكل لغوي صريح مبني عليهم، ومع ذلك فقد لا يزالون لا يزالون يتعلمون ضمنيا علاقات منظمة من خلال حضور الرموز ذات الصلة. نحن نفترض أن هذا التعلم الهيكلي أكثر
قوة من خلال مرفق المحولات بشكل صريح مع التحيز الهيكلية، ونحن نحقق في طريقتين للبناء في مثل هذا التحيز. طريقة واحدة، TP-Transformer، تزيد من بنية المحولات التقليدية لتضمين مكون إضافي لتمثيل الهيكل. الطريقة الثانية تغلق الهيكل على مستوى البيانات عن طريق تجزئة البيانات مع التوت التمييز المورفولوجي. نختبر هذه الأساليب على الترجمة من الإنجليزية إلى لغات غنية مورفولوجية، التركية والأجنبية، والنظر في المقاييس التلقائية والتقييمات البشرية. نجد أن كل هذين من النهجين يسمح للشبكة لتحقيق أداء أفضل، ولكن هذا التحسين يعتمد على حجم مجموعة البيانات. باختصار طرق الترميز الهيكلية تجعل المحولات أكثر كفاءة عينة، مما يتيح لهم الأداء بشكل أفضل من كميات أصغر من البيانات.
