غالبا ما تسقط نماذج اللغة الطبيعية عند فهم وتوليد تدوين رياضي. ما لا يكون واضحا هو ما إذا كانت هذه العيوب ترجع إلى حدود أساسية للنماذج، أو عدم وجود المهام المناسبة. في هذه الورقة، نستكشف مدى قيام نماذج اللغة الطبيعية بتعلم الدلالات بين الترميز الرياضي ونصها المحيط بها. نقترح اثنين من مهام توقعات الترميز، وتدريب نموذج أقنز رموز الترميز بشكل انتقائي ويزفر الجمل اليسرى و / أو اليمينة كسياق. مقارنة بالنماذج الأساسية التي تدربها نمذجة اللغة الملثمين، حققت طريقنا أداء أفضل بكثير في المهامتين، مما يدل على أن هذا النهج هو الخطوة الأولى جيدة نحو نمذجة النصوص الرياضية. ومع ذلك، نادرا ما تتنبأ النماذج الحالية برموز غير مرئية بشكل صحيح، وتوقعات المستوى المميز أكثر دقة من تنبؤات مستوى الرمز، مما يشير إلى أن هناك حاجة إلى مزيد من العمل لتمثيل الأنماط الهيكلية. بناء على النتائج، نقترح أن نشير في المستقبل يعمل نحو نمذجة النصوص الرياضية.