تثبت القيود المتمثلة في الحصول على معنى من الشكل غير المحدد: ما هي نماذج اللغة المستقبلية تفهمها؟

أدت نماذج اللغة التجريدية المدربة على مليارات الرموز مؤخرا إلى نتائج غير مسبوقة على العديد من مهام NLP. يثير هذا النجاح مسألة ما إذا كان النظام، من حيث المبدأ، يمكن للنظام فهم النص الخام دون الوصول إلى شكل أساس من أشكال التأريض. نحن نحقق رسميا قدرات الأنظمة التي لا تحصى للحصول على معنى. يركز تحليلنا على دور التأكيدات ": السياقات النصية التي توفر أدلة غير مباشرة حول الدلالات الأساسية. ندرس ما إذا كانت هناك تأكيدات تمكن نظام لمحاكاة التمثيلات التي تحافظ على العلاقات الدلالية مثل التكافؤ. نجد أن التأكيدات تمكن مضاهاة دلالات للغات التي تلبي فكرة قوية من الشفافية الدلالية. ومع ذلك، بالنسبة لفئات اللغات حيث يمكن أن يتخذ نفس التعبير قيم مختلفة في سياقات مختلفة، نوضح أن المحاكاة يمكن أن تصبح غير مقابلة. أخيرا، نناقش الاختلافات بين النموذج الرسمي واللغة الطبيعية، واستكشاف كيفية تعميم نتائجنا إلى وضع مشروط وغيرها من العلاقات الدلالية. معا، تشير نتائجنا إلى أن التأكيدات في التعليمات البرمجية أو اللغة لا توفر إشارة كافية للتمثيلات الدلالية المحاكمة بالكامل. نقوم بإضفاء الطابع الرسمي على الطرق التي يبدو أن نماذج لغة غير محظورة محدودة بشكل أساسي في قدرتها على فهم ".

Abstract Language models trained on billions of tokens have recently led to unprecedented results on many NLP tasks. This success raises the question of whether, in principle, a system can ever understand'' raw text without access to some form of grounding. We formally investigate the abilities of ungrounded systems to acquire meaning. Our analysis focuses on the role of assertions'': textual contexts that provide indirect clues about the underlying semantics. We study whether assertions enable a system to emulate representations preserving semantic relations like equivalence. We find that assertions enable semantic emulation of languages that satisfy a strong notion of semantic transparency. However, for classes of languages where the same expression can take different values in different contexts, we show that emulation can become uncomputable. Finally, we discuss differences between our formal model and natural language, exploring how our results generalize to a modal setting and other semantic relations. Together, our results suggest that assertions in code or language do not provide sufficient signal to fully emulate semantic representations. We formalize ways in which ungrounded language models appear to be fundamentally limited in their ability to understand''.