Unsupervised Contextualized Document Representation

تحتاج العديد من مهام NLP إلى إصدارات فعالة من الوثائق النصية.Arora et al.، 2017 توضح أن الشيخوخة المرجحة المرجحة بسيطة لنماذج Word بشكل متكرر في كثير من الأحيان نماذج. SCDV (MEKALA et al.، 2017) يمتد هذا من الجمل إلى DoCu-Mets عن طريق توظيف مجموعة ناعمة ومتخرفة على مجلات الكلمات المحسوبة مسبقا. كيف على الإطلاق، كلتا التقنيتين تتجاهل الشخصية السياقية Polysemyand للكلمات. في هذا القبيل، نتعامل مع هذه المشكلة عن طريق اقتراح CTXDV + Bert (CTXD)، وهو تمثيل بسيط وفعال للأمم المتحدة الذي يشتمل على مزين بالقدمين النصي (ديفلين وآخرون)، 2019 . WEShow أن تضميننا تضميننا أوريجيز نال SCDV، برت قبل قطار، وعدة أخرى على العديد من مجموعات بيانات التصنيف. Wealso إظهار تضميننا فعالا - نيس على مهام أخرى، مثل مفهوم مباراة جي ومشاكل تشابه. في الإضافة، نعرض أن Bertv + Bertperformsfine-Tune-Tune Bert و AP-PROACHES المختلفة AP-PROACHES في السيناريوهات ذات البيانات المحدودة أمثلة لقطات.

Several NLP tasks need the effective repre-sentation of text documents.Arora et al.,2017 demonstrate that simple weighted aver-aging of word vectors frequently outperformsneural models. SCDV (Mekala et al., 2017)further extends this from sentences to docu-ments by employing soft and sparse cluster-ing over pre-computed word vectors. How-ever, both techniques ignore the polysemyand contextual character of words.In thispaper, we address this issue by proposingSCDV+BERT(ctxd), a simple and effective un-supervised representation that combines con-textualized BERT (Devlin et al., 2019) basedword embedding for word sense disambigua-tion with SCDV soft clustering approach. Weshow that our embeddings outperform origi-nal SCDV, pre-train BERT, and several otherbaselines on many classification datasets. Wealso demonstrate our embeddings effective-ness on other tasks, such as concept match-ing and sentence similarity.In addition,we show that SCDV+BERT(ctxd) outperformsfine-tune BERT and different embedding ap-proaches in scenarios with limited data andonly few shots examples.