مجردة لأنظمة معالجة اللغات الطبيعية، وهي نوعين من الأدلة تدعم استخدام تمثيلات نصية من نماذج اللغة العصبية المحددة "على الفوروريا غير المخلفات الكبيرة: الأداء على معايير مستوحاة من التطبيقات (بيترز وآخرون، 2018، في جملة أمور أخرى)، والظهور من التجريدات النحوية في تلك التمثيلات (Tenney et al.، 2019، في جملة أمور أخرى). من ناحية أخرى، فإن الافتقار إلى الإشراف الأساسي يدعو إلى المسائل مدى جودة هذه التمثيلات يمكن أن تلتقط المعنى (Bender and Koller، 2020). نحن نطبق تحقيقات جديدة إلى نماذج اللغة الأخيرة --- التركيز على وجه التحديد على هيكل الوسائد المسند على النحو الذي يتعرض عليه التبعيات الدلالية (إيفانوفا وآخرون، 2012) --- وإيجاد ذلك، على عكس بناء الجملة، لا يتم إحضار الدلالات إلى السطح من قبل اليوم نماذج مسبقا. بعد ذلك، نستخدم تشفير الرسومات التنافيلية لتشمل صراحة على التقييم الدلالي في الفوائد الخاصة بمهام المهام، وتحقيق فوائد العائد لمهام فهم اللغة الطبيعية (NLU) في معيار الغراء. يوضح هذا النهج إمكانية الإشراف اللغوي للأغراض العامة (بدلا من المهام الخاصة)، أعلاه وما يتجاوز الاحتجاج والتأمل التقليدي. تساعد العديد من التشخيص في توطين فوائد نهجنا