تركز معظم مهام الإجابة على معظم الأسئلة على التنبؤ بإجابات ملموسة، مثل الكيانات المسماة.يمكن تحقيق هذه المهام عادة عن طريق فهم السياقات دون وجود معلومات إضافية مطلوبة.في قراءة الفهم من المهمة المعنى التجريدي (إعادة التقييم)، يتم تقديم الإجابات المجرد
ة.لفهم معاني مجردة في السياق، المعرفة الإضافية ضرورية.في هذه الورقة، نقترح نهج يهدف إلى أن يشرف رصيد بيرت المدرب مسبقا كموارد معرفة مسبقة.وفقا للنتائج، فإن نهجنا باستخدام بيرت المدربة مسبقا تفوقت على الأساس.إنه يدل على أنه يمكن استخدام Abeddings Token Bertken المدربة مسبقا كمعرفة إضافية لفهم المعاني المجردة في الإجابة على الأسئلة.
