في هذا العمل، نقترح إطارا جديدا، برت التعلم المتبادل المتماثل التدرج (Gaml-Bert)، لتحسين الخروج المبكر من Bert.مساهمات Gaml-Bert هي طي ثنائي.نقوم بإجراء مجموعة من التجارب الطيارية، والتي توضح أن تقطير المعرفة المتبادلة بين الخروج الضحل والخروج العميق
يؤدي إلى أداء أفضل لكليهما.من هذه الملاحظة، نستخدم التعلم المتبادل لتحسين عروض بيرت المبكرة المبكرة، أي نطلب من كل خروج من بيرت متعددة الخروج لتقطير المعرفة من بعضها البعض.ثانيا، نقترح GA، طريقة تدريب جديدة تقوم بمحاذاة التدرجات من تقطير المعرفة إلى خسائر الانتروبية.يتم إجراء تجارب واسعة النطاق على معيار الغراء، والذي يدل على أن لدينا Gaml-Bert يمكن أن تتفوق بشكل كبير على أحدث الطرق التي تخرج من أحدث الطرق (SOTA) في وقت مبكر.
