تدوير المعرفة الصريحة من خبراء المجال في التقييم الجوهري المباشر ل Adgeddings Word للنطاقات المتخصصة

نحن نقيم استخدام مهام التقييم المباشر الواسعة للكلمة المباشرة للغة المتخصصة.دراسة علمنا هي النص الفلسفي: يتم إخراج أحكام الخبراء البشري على رابط المصطلحات الفلسفية باستخدام مهمة اكتشاف مرادف ومهمة الاتساق.بشكل فريد لمهامنا، يجب على الخبراء الاعتماد على معرفة واضحة ولا يمكنهم استخدام الحدس اللغوي، والتي قد تختلف عن ذلك من الفيلسوف.نجد أن معدلات الاتفاق المشترك بين الخصوصية تشبه تلك المهام التوضيحية الدلالية التقليدية، مما يشير إلى أن هذه المهام يمكن استخدامها لتقييم Word Admingdings من أنواع النصوص التي قد لا تكفي المعرفة الضمنية.

We evaluate the use of direct intrinsic word embedding evaluation tasks for specialized language. Our case study is philosophical text: human expert judgements on the relatedness of philosophical terms are elicited using a synonym detection task and a coherence task. Uniquely for our task, experts must rely on explicit knowledge and cannot use their linguistic intuition, which may differ from that of the philosopher. We find that inter-rater agreement rates are similar to those of more conventional semantic annotation tasks, suggesting that these tasks can be used to evaluate word embeddings of text types for which implicit knowledge may not suffice.