Modeling Mathematical Notation Semantics in Academic Papers

غالبا ما تسقط نماذج اللغة الطبيعية عند فهم وتوليد تدوين رياضي. ما لا يكون واضحا هو ما إذا كانت هذه العيوب ترجع إلى حدود أساسية للنماذج، أو عدم وجود المهام المناسبة. في هذه الورقة، نستكشف مدى قيام نماذج اللغة الطبيعية بتعلم الدلالات بين الترميز الرياضي ونصها المحيط بها. نقترح اثنين من مهام توقعات الترميز، وتدريب نموذج أقنز رموز الترميز بشكل انتقائي ويزفر الجمل اليسرى و / أو اليمينة كسياق. مقارنة بالنماذج الأساسية التي تدربها نمذجة اللغة الملثمين، حققت طريقنا أداء أفضل بكثير في المهامتين، مما يدل على أن هذا النهج هو الخطوة الأولى جيدة نحو نمذجة النصوص الرياضية. ومع ذلك، نادرا ما تتنبأ النماذج الحالية برموز غير مرئية بشكل صحيح، وتوقعات المستوى المميز أكثر دقة من تنبؤات مستوى الرمز، مما يشير إلى أن هناك حاجة إلى مزيد من العمل لتمثيل الأنماط الهيكلية. بناء على النتائج، نقترح أن نشير في المستقبل يعمل نحو نمذجة النصوص الرياضية.

Natural language models often fall short when understanding and generating mathematical notation. What is not clear is whether these shortcomings are due to fundamental limitations of the models, or the absence of appropriate tasks. In this paper, we explore the extent to which natural language models can learn semantics between mathematical notation and their surrounding text. We propose two notation prediction tasks, and train a model that selectively masks notation tokens and encodes left and/or right sentences as context. Compared to baseline models trained by masked language modeling, our method achieved significantly better performance at the two tasks, showing that this approach is a good first step towards modeling mathematical texts. However, the current models rarely predict unseen symbols correctly, and token-level predictions are more accurate than symbol-level predictions, indicating more work is needed to represent structural patterns. Based on the results, we suggest future works toward modeling mathematical texts.