إن اختيار المصنف الأكثر ملاءمة في السياق اللغوي هو مشكلة معروفة في إنتاج الماندرين والعديد من اللغات الأخرى.تقترح هذه الورقة حل استنادا إلى بيرت، ويقارن هذا الحل إلى النماذج السابقة العصبية والقواعد السابقة، ويقال أن نموذج Bert ينفذ بشكل خاص بشكل جيد على تلك الحالات الصعبة التي يضيف فيها المصنف معلومات إلى النص.