تنبؤ نوع نقطة الفائدة (POI) هو مهمة استنتاج نوع المكان الذي تم فيه مشاركة مشاركة وسائل التواصل الاجتماعي. إن الاستنتاج من نوع POI مفيد للدراسات في العلوم الاجتماعية الحاسوبية بما في ذلك الاجتماع الاجتماعي، والجيولوجيوسيوس، والجغرافيا الثقافية، ولديه تطبيقات في تكنولوجيات الشبكات الجيولوجية مثل أنظمة التوصية والتصور. الجهود السابقة في التنبؤ بنوع POI التركيز فقط على النص، دون أخذ معلومات مرئية في الاعتبار. ولكن في الواقع، مجموعة متنوعة من الطرائق، فضلا عن علاقاتهم شبهية مع بعضها البعض، شكل التواصل والتفاعلات في وسائل التواصل الاجتماعي. تقدم هذه الورقة دراسة حول التنبؤ بنوع POI باستخدام معلومات متعددة الوسائط من النص والصور المتوفرة في وقت النشر. لهذا الغرض، فإننا نشعر بإثراء البيانات المتاحة حاليا لتنبؤ بنوع POI مع الصور التي ترافق الرسائل النصية. يتم استخراج الأسلوب المقترح لدينا المعلومات ذات الصلة من كل طريقة لالتقاط التفاعلات الفعالة بين النصوص والصورة تحقيق ماكرو F1 من 47.21 من 4 فئات تتفوق بشكل كبير على الطريقة التي من بين الفني للتنبؤ بنوع POI بناء على طرق النص فقط. أخيرا، نقدم تحليلا مفصلا لإلقاء الضوء على التفاعلات عبر الوسائط والقيود المتمثلة في أفضل نموذج أداء لدينا.
Point-of-interest (POI) type prediction is the task of inferring the type of a place from where a social media post was shared. Inferring a POI's type is useful for studies in computational social science including sociolinguistics, geosemiotics, and cultural geography, and has applications in geosocial networking technologies such as recommendation and visualization systems. Prior efforts in POI type prediction focus solely on text, without taking visual information into account. However in reality, the variety of modalities, as well as their semiotic relationships with one another, shape communication and interactions in social media. This paper presents a study on POI type prediction using multimodal information from text and images available at posting time. For that purpose, we enrich a currently available data set for POI type prediction with the images that accompany the text messages. Our proposed method extracts relevant information from each modality to effectively capture interactions between text and image achieving a macro F1 of 47.21 across 8 categories significantly outperforming the state-of-the-art method for POI type prediction based on text-only methods. Finally, we provide a detailed analysis to shed light on cross-modal interactions and the limitations of our best performing model.
References used
https://aclanthology.org/
Language models such as GPT-2 have performed well on constructing syntactically sound sentences for text auto-completion tasks. However, such models often require considerable training effort to adapt to specific writing domains (e.g., medical). In t
Fuzzy logic control is used to connect a photovoltaic system to the electrical grid by using three phase fully
controlled converter (inverter), This controller is going to track the maximum power point and inject the
maximum available power from th
Pronunciation lexicons and prediction models are a key component in several speech synthesis and recognition systems. We know that morphologically related words typically follow a fixed pattern of pronunciation which can be described by language-spec
We discussed in this work some predictive methods for time series and it is decomposing time series to its component (trend, Seasonality, cycle, random), Exponential smoothing, ARIMA, then we discussed some combining methods, then we formed a new c
With the growing popularity of smart speakers, such as Amazon Alexa, speech is becoming one of the most important modes of human-computer interaction. Automatic speech recognition (ASR) is arguably the most critical component of such systems, as erro