وسائل التواصل الاجتماعي متنوعة من Geobert

تصف هذه الورقة مساهمة Helsinki - Ljubljana المهمة المشتركة في عام 2021 في مجال تحديد الموقع الجغرافي للوسائط الجغرافية الاجتماعية.بعد مشاركتنا الناجحة في 32020، اقترحنا مرة أخرى أنظمة مقيدة وغير مقيدة بناء على بنية بيرت.في هذه الورقة، نقوم بالإبلاغ عن تجارب مع إعدادات التكوين المختلفة ونماذج مختلفة تم تدريبها مسبقا، وننظر إلى نهج الانحدار الخالي من المعلمة مع مخططات التصنيف المختلفة التي اقترحها المشاركين الآخرون في كل من التعليمات الفاردة 2020. كل من التعليمات البرمجية وأفضل أداء مسبقا مسبقايتم تقديم النماذج بحرية المتاحة.

This paper describes the Helsinki--Ljubljana contribution to the VarDial 2021 shared task on social media variety geolocation. Following our successful participation at VarDial 2020, we again propose constrained and unconstrained systems based on the BERT architecture. In this paper, we report experiments with different tokenization settings and different pre-trained models, and we contrast our parameter-free regression approach with various classification schemes proposed by other participants at VarDial 2020. Both the code and the best-performing pre-trained models are made freely available.