على الرغم من أن النماذج الكبيرة المدربة مسبقا (E.G.، Bert، Ernie، Xlnet، GPT3 وما إلى ذلك) قدمت أداء أعلى في النمذجة SEQ2SEQ، وغالبا ما تعوق عمليات نشرها في تطبيقات العالم الحقيقي بواسطة الحسابات المفرطة وطلب الذاكرة المعنية. بالنسبة للعديد من التطبيقات، بما في ذلك التعرف على الكيان المسمى (NER)، فإن مطابقة النتيجة الحديثة تحت الميزانية قد جذبت اهتماما كبيرا. رسم الطاقة من التقدم الأخير في تقطير المعرفة (دينار كويتي)، يعرض هذا العمل مخطط تقطير جديد لنقل المعرفة بكفاءة المستفادة من النماذج الكبيرة إلى نظيرها أكثر بأسعار معقولة. يسلط حلنا الضوء على بناء الملصقات البديلة من خلال خوارزمية K-Best Viterbi إلى معرفة تقطر من طراز المعلم. لإحداث المعرفة إلى حد ما في نموذج الطالب، نقترح خطة تقطير متعددة الحبيبات، التي تدمج عبر الانتروبي الصليب المشارك في مجال عشوائي مشروط (CRF) والتعلم الغامض. للتحقق من صحة فعالية اقتراحنا، أجرينا تقييم شامل على خمسة نير معايير، الإبلاغ عن مكاسب أداء المجلس عبر المجلس بالنسبة للفنون السابقة المتنافسة. نناقش نتائج الآراء بشكل أكبر لتشريح مكاسبنا.