Modeling Semantics and Pragmatics of Spatial Prepositions via Hierarchical Common-Sense Primitives

فهم التعبيرات المكانية واستخدامها مناسب من الضروري للتفاعل السلس والشلل الطبيعي. ومع ذلك، فإن التقاط الدلالات والاستخدام المناسب للحروف الحرارية المكانية أمر صعب للغاية، بسبب غموضها و polysemy. على الرغم من أن الأساليب الحديثة مدفوعة بالبيانات جيدة في التقاط الانتظام الإحصائي في الاستخدام، فإنها عادة ما تتطلب عادة أحجام عينة كبيرة، وغالبا ما لا تعزز جيدا إلى حالات غير مرئية، والأهم من ذلك، هيكلها مبهمة بشكل أساسي للتحليل، مما يجعل مشاكل وتفهم عملية التفكير الخاصة بهم صعبة. في هذا العمل، نناقش محاولتنا في نمذجة الحواس المكانية من حروف الجر في اللغة الإنجليزية باستخدام مزيج من نهج التعلم المستندة إلى القواعد والإحصائية. يتم تطبيق كل نموذج حرف الجر كشجرة حيث يحسب كل عقدة علاقات بديهية معينة مرتبطة بالحرف الجر، مع الحوسبة الجذرية القيمة النهائية لعلاقة الجر نفسه. تعمل النماذج على مجموعة من بيئات العالم ثلاثية الأبعاد ثلاثية الأبعاد، وهي مصممة في خلاط، حيث أخذ المشهد نفسه كمدخلات. ونناقش أيضا إطار شرحنا التوضيحي يستخدم لجمع الأحكام الإنسانية المستخدمة في التدريب النموذجي. أداء كل من نماذجنا العوامل ونماذج الأساس الصندوق الأسود بشكل جيد للغاية، لكن النماذج العاشقة ستمكن توضيحات مسببين لأحكام العلاقات المكانية.

Understanding spatial expressions and using them appropriately is necessary for seamless and natural human-machine interaction. However, capturing the semantics and appropriate usage of spatial prepositions is notoriously difficult, because of their vagueness and polysemy. Although modern data-driven approaches are good at capturing statistical regularities in the usage, they usually require substantial sample sizes, often do not generalize well to unseen instances and, most importantly, their structure is essentially opaque to analysis, which makes diagnosing problems and understanding their reasoning process difficult. In this work, we discuss our attempt at modeling spatial senses of prepositions in English using a combination of rule-based and statistical learning approaches. Each preposition model is implemented as a tree where each node computes certain intuitive relations associated with the preposition, with the root computing the final value of the prepositional relation itself. The models operate on a set of artificial 3D room world'' environments, designed in Blender, taking the scene itself as an input. We also discuss our annotation framework used to collect human judgments employed in the model training. Both our factored models and black-box baseline models perform quite well, but the factored models will enable reasoned explanations of spatial relation judgements.