Formulating Neural Sentence Ordering as the Asymmetric Traveling Salesman Problem

تشير مهمة جملة الطلب إلى إعادة ترتيب مجموعة من الجمل المعينة في أمر متماسك. العمل المسبق (Prabhumoye et al.، 2020) نماذج هذا كجمل رسم بياني مثالي (مع جمل كعقد كعقد، والحواف كقيود محلية) باستخدام الفرز الطوبولوجي. ومع ذلك، فإن مثل هذا النهج لديه قيود كبيرة - لا يمكنه التعامل مع وجود دورات في الرسوم البيانية الناتجة وتعتبر فقط الوجود / عدم وجود الحواف الثنائية بدلا من درجة أكثر حبيبية. في هذا العمل، نقترح صياغة بديلة لهذه المهمة كمشكلة تحسين الحركة الكلاسيكية شعبية مثل مشكلة مبيعات السفر (أو TSP باختصار). مقارنة بالنهج السابق في استخدام الفرز الطوبولوجي، فإن تقنيةنا المقترحة تعالج بأحسب وجود دورات وهي أكثر تعبيرية لأنها تأخذ في الاعتبار درجات القيود / الحافة ذات القيمة الحقيقية بدلا من وجود / غياب الحواف فقط. تثبت تجاربنا تحسين التعامل مع هذه الحالات الدورية في الرسوم البيانية الناتجة. بالإضافة إلى ذلك، نززل كيف يمكن أن تكون دقة النموذج حساسة لتقدير جمل المدخلات عند استخدام هذه التركيبات القائمة على الرسوم البيانية. أخيرا، نلاحظ أن نهجنا يتطلب فقط ضبط ناعم خفيف الوزن طبقة تصنيف مبنية على تشفير جملة المحاماة المحددة مسبقا لتحديد العلاقات المحلية.

The task of Sentence Ordering refers to rearranging a set of given sentences in a coherent ordering. Prior work (Prabhumoye et al., 2020) models this as an optimal graph traversal (with sentences as nodes, and edges as local constraints) using topological sorting. However, such an approach has major limitations -- it cannot handle the presence of cycles in the resulting graphs and considers only the binary presence/absence of edges rather than a more granular score. In this work, we propose an alternate formulation of this task as a classic combinatorial optimization problem popular as the Traveling Salesman Problem (or TSP in short). Compared to the previous approach of using topological sorting, our proposed technique gracefully handles the presence of cycles and is more expressive since it takes into account real-valued constraint/edge scores rather than just the presence/absence of edges. Our experiments demonstrate improved handling of such cyclic cases in resulting graphs. Additionally, we highlight how model accuracy can be sensitive to the ordering of input sentences when using such graphs-based formulations. Finally, we note that our approach requires only lightweight fine-tuning of a classification layer built on pretrained BERT sentence encoder to identify local relationships.