Litescale: أداة خفيفة الوزن للحصول على شرح أفضل أسوأ

أفضل تحجيم (BWS) أفضل منهجية للتعليق على أساس مثيلات مقارنة والترتيب، بدلا من تصنيف أو تسجيل الحالات الفردية.أظهرت الدراسات فعالية هذه المنهجية المطبقة على مهام NLP من حيث جودة عالية من مجموعات البيانات الناتجة عن طريق ذلك.في ورقة مظاهرة النظام هذه، نقدم LitEScale، مكتبة برامج مجانية لإنشاء وإدارة مهام التوضيحية BWS.يحسب LitEScale tuples typles للتعليق ويدير المستخدمين وعملية التوضيحية، ويخلق معيار الذهب النهائي.يمكن الوصول إلى وظائف LitEScale برمجيا من خلال وحدة نمطية Python، أو عبر واجهتين لمستخدمين بديلين، واحدة قائمة على وحدة التحكم النصية ومقرها على الويب.لقد نمت ونشرنا أيضا نسخة كاملة من Litescale كاملة مع دعم متعدد المستخدمين.

Best-worst Scaling (BWS) is a methodology for annotation based on comparing and ranking instances, rather than classifying or scoring individual instances. Studies have shown the efficacy of this methodology applied to NLP tasks in terms of a higher quality of the datasets produced by following it. In this system demonstration paper, we present Litescale, a free software library to create and manage BWS annotation tasks. Litescale computes the tuples to annotate, manages the users and the annotation process, and creates the final gold standard. The functionalities of Litescale can be accessed programmatically through a Python module, or via two alternative user interfaces, a textual console-based one and a graphical Web-based one. We further developed and deployed a fully online version of Litescale complete with multi-user support.