جعلت النماذج المدربة مسبقا مثل تمثيل التشفير ثنائي الاتجاه من المحولات (بيرت)، قفزة كبيرة إلى الأمام في مهام معالجة اللغة الطبيعية (NLP).ومع ذلك، لا تزال هناك بعض أوجه القصور في مهمة نمذجة اللغة المعقدة (MLM) التي يؤديها هذه النماذج.في هذه الورقة، نقدم أول رسم بياني متعدد الأنواع بما في ذلك أنواع مختلفة من العلاقات بين الكلمات.بعد ذلك، نقترح النموذج متعدد الرسوم البياني المعزز (MG-BERT) نموذجا يعتمد على بيرتف.تضمين MG-BERT تضمين الرموز الرموز أثناء الاستفادة من الرسم البياني الثابت متعدد الرسوم البيانية التي تحتوي على حوادث مشتركة عالمية في نصوص النص بجانب الحقائق العالمية الحقيقية العالمية حول الكلمات الموجودة في رسوم المعرفة.يستخدم النموذج المقترح أيضا رسم بياني جملة ديناميكية لالتقاط السياق المحلي بشكل فعال.تظهر النتائج التجريبية أن طرازنا يمكن أن يعزز بشكل كبير الأداء في مهمة الامتيازات.