كيف (غير) الأمثل هو المعجم؟

يعد تعيين المعاني المعجمية إلى WordForms ميزة رئيسية للغات الطبيعية. في حين أن ضغوط الاستخدام قد تقوم بتعيين كلمات قصيرة معاني متكررة (قانون اختصار Zipf)، فإن الحاجة إلى مفردات إنتاجية ومفتوحة، وقيود محلية على تسلسل الرموز، وعوامل أخرى مختلفة جميعها تشكل طمئتي لغات العالم. على الرغم من أهميتها في تشكيل الهيكل المعجمي، لم يتم تحديد المساهمات النسبية لهذه العوامل بالكامل. أخذ رؤية نظرية ترميز من المعجم والاستفادة من نموذج إحصائي عام جديد، نحدد الحدود العليا لضغوط المعجم تحت قيود مختلفة. فحص كوربورا من 7 لغات متنوعة من 7، نستخدم تلك الحدود العليا لتحديد فائنة المعجم واستكشاف التكاليف النسبية للقيود الرئيسية على الرموز الطبيعية. نجد أن التورفولوجيا (التركيبية) والرسومات الحربية يمكن أن يمثل بما فيه الكفاية لمعظم تعقيد الرموز الطبيعية --- كما تقاس طول التعليمات البرمجية.

The mapping of lexical meanings to wordforms is a major feature of natural languages. While usage pressures might assign short words to frequent meanings (Zipf's law of abbreviation), the need for a productive and open-ended vocabulary, local constraints on sequences of symbols, and various other factors all shape the lexicons of the world's languages. Despite their importance in shaping lexical structure, the relative contributions of these factors have not been fully quantified. Taking a coding-theoretic view of the lexicon and making use of a novel generative statistical model, we define upper bounds for the compressibility of the lexicon under various constraints. Examining corpora from 7 typologically diverse languages, we use those upper bounds to quantify the lexicon's optimality and to explore the relative costs of major constraints on natural codes. We find that (compositional) morphology and graphotactics can sufficiently account for most of the complexity of natural codes---as measured by code length.