Comparing Text Representations: A Theory-Driven Approach

لقد جاء الكثير من التقدم المحرز في NLP المعاصر من تمثيلات التعلم، مثل Embeddings Manked Language Model (MLM)، يتحول إلى مشاكل تحديا في مهام التصنيف البسيطة. ولكن كيف يمكننا تحديد وتفسير هذا التأثير؟ نحن نتكيف مع أدوات عامة من نظرية التعلم الحاسوبية لتناسب الخصائص المحددة لمجموعات البيانات النصية وتقديم طريقة لتقييم التوافق بين التمثيلات والمهام. على الرغم من أن العديد من المهام يمكن حلها بسهولة مع تمثيلات بسيطة من الكلمات (القوس)، فإن القوس لا ضعيف على مهام الاستدلال باللغة الطبيعية الثابت. لأحد هذه المهمة، نجد أن القوس لا يستطيع التمييز بين اللقطات الحقيقية والعشوائية، في حين تظهر تمثيلات الامتيازات المدربة مسبقا تمييزا أكبر بنسبة 72x بين وضع علامات حقيقية وعشوائية من القوس. توفر هذه الطريقة مقياسا معايرة وكمية لصعوبة مهمة NLP القائمة على التصنيف، مما يتيح المقارنات بين التمثيلات دون الحاجة إلى تقييمات تجريبية قد تكون حساسة للتهيئة والفظايات. توفر الطريقة منظورا جديدا على الأنماط الموجودة في مجموعة بيانات ومحاذاة تلك الأنماط مع ملصقات محددة.

Much of the progress in contemporary NLP has come from learning representations, such as masked language model (MLM) contextual embeddings, that turn challenging problems into simple classification tasks. But how do we quantify and explain this effect? We adapt general tools from computational learning theory to fit the specific characteristics of text datasets and present a method to evaluate the compatibility between representations and tasks. Even though many tasks can be easily solved with simple bag-of-words (BOW) representations, BOW does poorly on hard natural language inference tasks. For one such task we find that BOW cannot distinguish between real and randomized labelings, while pre-trained MLM representations show 72x greater distinction between real and random labelings than BOW. This method provides a calibrated, quantitative measure of the difficulty of a classification-based NLP task, enabling comparisons between representations without requiring empirical evaluations that may be sensitive to initializations and hyperparameters. The method provides a fresh perspective on the patterns in a dataset and the alignment of those patterns with specific labels.