Continuous Entailment Patterns for Lexical Inference in Context

تم عرض الجمع بين نموذج لغة مسبق (PLM) مع أنماط نصية للمساعدة في كل من إعدادات الطلقة الصفرية وعدد. بالنسبة للأداء الصفر بالرصاص، فمن المنطقي تصميم أنماط تشبه النص الذي ينظر إليه عن كثب أثناء الاحتجاج بالإشراف على الذات لأن النموذج لم ير أي شيء آخر. التدريب الخاضع للإشراف يسمح بمزيد من المرونة. إذا سمحنا بالرمز الرموز خارج المفردات PLM، فيمكن تكييف الأنماط بشكل أكثر مرونة لمصمم الخصوصيات PLM. الأنماط المتناقضة حيث يمكن أن يكون الرمز المميز أي ناقل مستمر من تلك التي يجب أن يتم فيها اختيار منفصل بين عناصر المفردات، ونحن نسمي أنماط طريقنا المستمرة (كونان). نقوم بتقييم كونان على معايير مدرجة للاستدلال المعجمي في السياق (LIIC) A.K.a. المستقلة المستقلة، وهي مهمة تفاهم لغة طبيعية صعبة مع بيانات تدريب صغيرة نسبيا. في مقارنة مباشرة مع الأنماط المنفصلة، ​​يؤدي كونان باستمرار إلى تحسين الأداء، وضع حالة من الفن الجديد. تجربتنا تعطي رؤى قيمة على نوع النمط الذي يعزز أداء PLM على LIC ورفع أسئلة مهمة فيما يتعلق بفهم PLMS باستخدام أنماط النص.

Combining a pretrained language model (PLM) with textual patterns has been shown to help in both zero- and few-shot settings. For zero-shot performance, it makes sense to design patterns that closely resemble the text seen during self-supervised pretraining because the model has never seen anything else. Supervised training allows for more flexibility. If we allow for tokens outside the PLM's vocabulary, patterns can be adapted more flexibly to a PLM's idiosyncrasies. Contrasting patterns where a token'' can be any continuous vector from those where a discrete choice between vocabulary elements has to be made, we call our method CONtinous pAtterNs (CONAN). We evaluate CONAN on two established benchmarks for lexical inference in context (LIiC) a.k.a. predicate entailment, a challenging natural language understanding task with relatively small training data. In a direct comparison with discrete patterns, CONAN consistently leads to improved performance, setting a new state of the art. Our experiments give valuable insights on the kind of pattern that enhances a PLM's performance on LIiC and raise important questions regarding our understanding of PLMs using text patterns.