نموذج الموضوع أو موضوع Twaddle؟إعادة تقييم تدابير التفسير الدلالي

عند تطوير نماذج الموضوع، سؤال مهم يجب طرحه هو: ما مدى عمل هذا النموذج في إعداد تطبيقي؟ نظرا لأن تقييم الأداء القياسي لتفسير الترجمة الشفوية يستخدم التدابير الآلية على غرار اختبارات التقييم البشري المختلف من الاستخدام التطبيقي، لا تزال تعميم هذه النماذج في سؤال. في هذه الورقة، نجري مسألة الصلاحية في تقييم النموذج الموضوعي وتقييم كيفية اتخاذ تدابير التماسك بالفمية للمجموعات المتخصصة المستخدمة في إعداد تطبيقي. أبلغ عن الأدب، ونقترح أربع فهمات من الترجمة الشفوية. نقيم هذه استخدام إطار تجريبي جديد يعكس الإعدادات التطبيقية المتنوعة، بما في ذلك التقييمات البشرية باستخدام وضع العلامات المفتوحة، نموذجية للبحث التطبيقي. تظهر هذه التقييمات أنه بالنسبة لبعض المجموعات المتخصصة، قد لا تؤدي تدابير التماسك القياسية إلى إبلاغ طراز الموضوع الأكثر ملاءمة أو عدد الأمثل من الموضوعات، ويتم الطعن في طرق التحقق من صحة أداء الترجمة الترجمة الشاملة كوسيلة لتأكيد جودة النموذج في غياب بيانات الحقيقة الأرضية.

When developing topic models, a critical question that should be asked is: How well will this model work in an applied setting? Because standard performance evaluation of topic interpretability uses automated measures modeled on human evaluation tests that are dissimilar to applied usage, these models' generalizability remains in question. In this paper, we probe the issue of validity in topic model evaluation and assess how informative coherence measures are for specialized collections used in an applied setting. Informed by the literature, we propose four understandings of interpretability. We evaluate these using a novel experimental framework reflective of varied applied settings, including human evaluations using open labeling, typical of applied research. These evaluations show that for some specialized collections, standard coherence measures may not inform the most appropriate topic model or the optimal number of topics, and current interpretability performance validation methods are challenged as a means to confirm model quality in the absence of ground truth data.