يقترح إعادة كتابة الاستعلام (QR) حل مشكلة عدم تطابق الكلمة بين الاستفسارات والمستندات في البحث على الويب. الأساليب الحالية عادة ما نموذج QR مع نموذج تسلسل نهاية إلى نهاية (SEQ2SEQ). يمكن أن تتعلم النماذج القائمة على المحولات الحديثة بفعالية دلالات نصية من سجلات جلسة المستخدم، لكنها غالبا ما تتجاهل معلومات الموقع الجغرافي للمستخدمين الحيوية لتحقيق البحث عن نقطة الفائدة (POI) على خدمات الخريطة. في هذه الورقة، اقترحنا نموذجا ما قبل التدريب، يسمى GEO-BERT، لدمج الدلالات والمعلومات الجغرافية في التمثيلات المدربة مسبقا للويس. أولا، نحاكي توزيع POI في العالم الحقيقي كشركة رسم بياني، حيث تمثل العقد Pois ومتعدد الحبيبات الجغرافية. ثم نستخدم أساليب تعلم التمثيل الرسم البياني للحصول على تمثيلات جغرافية. أخيرا، نحن ندرب نموذجا ما قبل التدريب يشبه بيرت مع تضيير الرسوم البيانية النصية والنصية للحصول على تمثيل متكامل لكل من المعلومات الجغرافية والدلية، وتطبيقه في البحث عن QR of POI. يحقق النموذج المقترح دقة ممتازة على مجموعة واسعة من مجموعات بيانات خريطة العالم الواقعية.