Spectra: ترشيد النص المنظم Sparse

يهدف الترشيد الانتقائي إلى إنتاج قرارات جنبا إلى جنب مع المناولة (على سبيل المثال، النصوص النصية أو محاذاة الكلمات بين جملتين). عادة ما يتم تصميم المنظمات على غرار أقنعة ثنائية عشوائية، تتطلب من أدراج التدرج المستندة إلى أخذ العينات، والتي تعقد التدريب ويتطلب ضبط فرط الحرارة الدقيق. آليات الاهتمام المتنقل هي بديل محدد، لكنها تفتقر إلى طريقة لتنظيم استخراج الأساس المنطقي (على سبيل المثال، للسيطرة على Sparsity من تسليط الضوء على نص أو عدد المحاذاة). في هذه الورقة، نقدم إطارا موحدا لاستخراج التفسيرات المحددة من خلال الاستدلال المحدود على رسم بياني عامل، مما يشكل طبقة مختلفة. نهجنا تخفف إلى حد كبير التدريب والأساس المنطقي، مما يتفوق بشكل عام على العمل السابق بشأن ما يأتي إلى الأداء والمعقولية للمناولة المستخرجة. نحن نقدم كذلك دراسة مقارنة للأساليب الاستوكاستيكية والحتمية لاستخراج الأساس المنطقي لتصنيف مهام الاستدلال واللغة الطبيعية، وتقييم قوة التنبؤية بشكل مشترك، ونوعية التفسيرات، والتقلبات النموذجية.

Selective rationalization aims to produce decisions along with rationales (e.g., text highlights or word alignments between two sentences). Commonly, rationales are modeled as stochastic binary masks, requiring sampling-based gradient estimators, which complicates training and requires careful hyperparameter tuning. Sparse attention mechanisms are a deterministic alternative, but they lack a way to regularize the rationale extraction (e.g., to control the sparsity of a text highlight or the number of alignments). In this paper, we present a unified framework for deterministic extraction of structured explanations via constrained inference on a factor graph, forming a differentiable layer. Our approach greatly eases training and rationale regularization, generally outperforming previous work on what comes to performance and plausibility of the extracted rationales. We further provide a comparative study of stochastic and deterministic methods for rationale extraction for classification and natural language inference tasks, jointly assessing their predictive power, quality of the explanations, and model variability.