ن نماذج N-Gram والعملات العصبية لتحديد اللغة الأورالية: NRC في Vardial 2021

وصف النظم التي طورها مجلس البحوث القومي كندا للمهمة المشتركة لتحديد اللغة اليوراليك في حملة التقييم الفاديم 2021.قمنا بتقييم طريقتين مختلفتين لهذه المهمة: مصنف احتمالية استغلال حرف 5 غرامات فقط كميزات، وشبكة عصبية قائمة على الطابع مدربة مسبقا من خلال الإشراف الذاتي، ثم ضبطها على مهمة تحديد اللغة.تحولت الطريقة السابقة إلى أداء أفضل، مما يؤدي إلى الشك على فائدة أساليب التعلم العميق لتحديد اللغة، حيث لم يتمكنوا بعد بشكل مقنع وتفوقوا باستمرار على خوارزميات التصنيف أكثر بساطة وأقل تكلفة استغلال ميزات N-Gram.

We describe the systems developed by the National Research Council Canada for the Uralic language identification shared task at the 2021 VarDial evaluation campaign. We evaluated two different approaches to this task: a probabilistic classifier exploiting only character 5-grams as features, and a character-based neural network pre-trained through self-supervision, then fine-tuned on the language identification task. The former method turned out to perform better, which casts doubt on the usefulness of deep learning methods for language identification, where they have yet to convincingly and consistently outperform simpler and less costly classification algorithms exploiting n-gram features.