تعلم الصورة الكبيرة: التمثيل تعلم التجميع

تجد النماذج الموجودة الإشراف على النصوص النصية صعوبة في تحسين نتائج تجميعها مباشرة.وذلك لأن التجميع عملية منفصلة، ومن الصعب تقدير التدرج المجدي لأي وظيفة منفصلة يمكن أن تدفع خوارزميات التحسين المستندة إلى التدرج.لذا، فإن خوارزميات التجميع الموجودة محتجزة بشكل غير مباشر تحقق بشكل غير مباشر لبعض الوظائف المستمرة التي تقارب عملية التجميع.نقترح استراتيجية تدريبية قابلة للتطوير التي تعمل بشكل مباشر على متري تجميع منفصل.نحن ندرب نموذج التضمين القائم على بيرت باستخدام أسلوبنا وتقييمه على مجموعة بيانات متوفرة للجمهور.نظهر أن أسلوبنا تتفوق على نموذج آخر مضمون يستند إلى بيرت توظف خسارة ثلاثية وغيرها من خطوط الأساس غير المدعومة.هذا يشير إلى أن التحسين مباشرة لنتائج التجميع تعطي بالفعل تمثيل أفضل مناسبة للتجميع.

Existing supervised models for text clustering find it difficult to directly optimize for clustering results. This is because clustering is a discrete process and it is difficult to estimate meaningful gradient of any discrete function that can drive gradient based optimization algorithms. So, existing supervised clustering algorithms indirectly optimize for some continuous function that approximates the clustering process. We propose a scalable training strategy that directly optimizes for a discrete clustering metric. We train a BERT-based embedding model using our method and evaluate it on two publicly available datasets. We show that our method outperforms another BERT-based embedding model employing Triplet loss and other unsupervised baselines. This suggests that optimizing directly for the clustering outcome indeed yields better representations suitable for clustering.