النمط هو جزء لا يتجزأ من اللغة الطبيعية.ومع ذلك، فإن أساليب التقييم لتدابير النمط نادرة، وغالبا ما تكون المهام الخاصة وعادة ما لا تتحكم في المحتوى.نقترح إطار تقييم النمط المعياري والحبوب المحتوى ومقره المحتوى (STEL) لاختبار أداء أي نموذج يمكن مقارنة
جملتين على النمط.نحن نوضح ستيل مع أبعاد عامين من النمط (رسمي / غير رسمي وبسيط / معقد) بالإضافة إلى خصائصين محددة للأسلوب (Contrac'tion and Numb3r البديلة).نجد أن الأساليب القائمة على BERT تفوق إصدارات بسيطة من تدابير النمط الشائعة الاستخدام مثل 3 غرامات وترقيب الترقيم والنهج القائمة على LIWC.نحن ندعو إضافة مهام أخرى وثيمات مهمة إلى ستيل ونأمل في تسهيل تحسين التدابير الحساسة للنمط.
في هذه الورقة، نقدم مجموعة بيانات مفهوم التحقق من قراءة جديدة تسمى vgaokao من اختبارات اللغة الصينية في Gaokao.تختلف عن الجهود الحالية، تم تصميم مجموعة البيانات الجديدة في الأصل لتقييم المتحدثين الأصليين، وبالتالي تتطلب مهارات تفاهم لغة أكثر تقدما.لم
عالجة التحديات في Vgaokao، نقترح نهجا جديدا متناكج للمتخصص، الذي يختار تكرارا دليلا تكميليا مع وجود آلية تحديث استعلام رواية وأدلة تدعم تكاليف، تليها مسابقة زوجية لدفع النماذج لتعلم الفرق الدقيق بين ما شابه ذلكقطع النص.تبين التجارب أن أساليبنا تتفوق على مختلف خطوط الأساس على Vgaokao مع أدلة تكميلية مستردة، مع وجود مزايا الكفاءة والشرطية.يتم إصدار DataSet و Code لدينا لمزيد من البحث.
في هذا العمل، نقوم بتصميم نموذج نهاية إلى نهاية لتوليد الشعر على أساس نماذج لغة الشبكة العصبية المتكررة مشروطة (RNN) تهدف إلى تعلم الميزات الأسلوبية (طول القصيدة والشعور والتقاليد والتقييم) من الأمثلة وحدها.نعرض أن هذا النموذج يتعلم بنجاح معنى "الطول
والشعور، حيث يمكننا التحكم في ذلك لتوليد أطول أو أقصر بالإضافة إلى قصائد أكثر إيجابية أو أكثر سلبية.ومع ذلك، فإن النموذج لا يفهم الظواهر الصوتية مثل الجناس والقفا، ولكن بدلا من ذلك يغمر الإشارات الإحصائية ذات المستوى المنخفض.الأسباب المحتملة تشمل حجم بيانات التدريب، وتردد منخفض نسبيا وصعوبة هذه الظواهر الصربية وكذلك التحيزات النموذجية.نظهر أن نماذج GPT-2 الأخيرة لديها أيضا مشاكل في تعلم ظواهر soblexical مثل القافية من الأمثلة وحدها.
يتم الآن استخدام تمثيل مؤلفين التعلم من إنتاجاتهم النصية على نطاق واسع لحل المهام متعددة المصب، مثل التصنيف أو ربط الارتباط أو توصية المستخدم. غالبا ما يتم بناء طرق تضمين المؤلف أعلى إما Doc2vec (Mikolov et al. 2014) أو بنية المحولات (ديفلين وآخرون 2
019). تقييم جودة هذه المدينات وما الذي يتقاضونه مهمة صعبة. تستخدم معظم المقالات إما دقة التصنيف أو إسناد التأليف، والتي لا تقيس بوضوح جودة مساحة التمثيل، إذا كنت تلتقط بالفعل ما تم بناؤه ل. في هذه الورقة، نقترح إطارا للتقييم الجديد لأساليب تضمين المؤلف بناء على أسلوب الكتابة. يسمح لتقدير تحديد مساحة التضمين بفعالية مجموعة من الميزات الأسلوبية، المختارة لتكون أفضل وكيل لأسلوب كتابة المؤلف. هذا النهج يعطي أهمية أقل للموضوعات التي تنقلها المستندات. اتضح أن النماذج الحديثة مدفوعة في الغالب من قبل الدلالية الداخلية لإنتاج المؤلفين. إنهم متفوقون من قبل خطوط أساسية بسيطة، استنادا إلى نماذج تضمين الأحكام المسبقة للحكومة، على العديد من المحاور اللغوية. يمكن لهذه الأساس فهم الظواهر اللغوية المعقدة وأسلوب الكتابة بكفاءة أكبر، مما يمهد الطريق لتصميم نماذج تضمين مؤلف جديدة مدفوعة بالأناقة.
عادة ما يتم تدريب نماذج اللغات الحالية على استخدام مخطط للإشراف على الذات، حيث يركز التركيز الرئيسي على التعلم في كلمة البرنامج أو مستوى الجملة.ومع ذلك، كان هناك تقدم محدود في توليد تمثيلات مفيدة على مستوى الخطاب.في هذا العمل، نقترح استخدام الأفكار م
ن نظرية الترميز التنبؤية لزيادة نماذج اللغة ذات طراز بيرت مع آلية تسمح لهم بتعلم تمثيلات مناسبة على مستوى الخطاب.نتيجة لذلك، يكون نهجنا المقترح قادرا على التنبؤ بالأحكام المستقبلية باستخدام اتصالات واضحة من أعلى إلى أسفل تعمل في الطبقات المتوسطة للشبكة.من خلال تجربة معايير مصممة لتقييم المعرفة المتعلقة بالحبال باستخدام تمثيلات الجملة المدربة مسبقا، نوضح أن نهجنا يحسن الأداء في 6 من أصل 11 مهام من خلال التميز في كشف علاقة الخطاب.
في حين أن مجال نقل النمط (ST) ينمو بسرعة، فقد أعاقه بعدم وجود ممارسات موحدة للتقييم التلقائي.في هذه الورقة، نقوم بتقييم المقاييس التلقائية الرائدة على المهمة التي تم بحثها عن نقل أسلوب الأشكال.على عكس التقييمات السابقة، التي تركز فقط على اللغة الإنجل
يزية فقط، فإننا نوسع تركيزنا على البرتغالية البرازيلية والفرنسية والإيطالية، مما يجعل هذا العمل أول تقييم متعدد اللغات للمقاييس في القديس.نحن نخوض أفضل الممارسات للتقييم التلقائي في نقل النمط (الشكلية) وتحديد العديد من النماذج التي ترتبط بشكل جيد مع الأحكام البشرية وهي قوية عبر اللغات.نأمل أن يساعد هذا العمل في تسريع التطوير في القديس، حيث يكون التقييم البشري غالبا ما يكون تحديا لجمعه.
تهدف نقل النمط إلى إعادة كتابة نص مصدر بأسلوب مستهدف مختلف مع الحفاظ على محتواها. نقترح نهجا جديدا لهذه المهمة التي تنفد على الموارد العامة، ودون استخدام أي بيانات متوازية (الهدف - المستهدفة (المصدر) تفوقت على النهج الموجودة غير المنشورة على مهام نقل
النمط الأكثر شعبية: نقل الشكليات ومبادلة القطبية. في الممارسة العملية، نعتمد إجراء متعدد الخطوات الذي يبني على نموذج تسلسل تسلسل مسبقا عام (BART). أولا، نقوم بتعزيز قدرة النموذج على إعادة الكتابة عن طريق مزيد من الردف ما قبل التدريب على كل من مجموعة موجودة من الصيارات العامة، وكذلك على أزواج الاصطناعية التي تم إنشاؤها باستخدام مورد مجمع للأغراض العامة. ثانيا، من خلال نهج الترجمة مرة أخرى تكرارية، نقوم بتدريب نماذجين، كل منها في اتجاه نقل، حتى يتمكنوا من توفير بعضهم البعض مع أزواج توليد مزخرف، ديناميكيا في عملية التدريب. أخيرا، ندعنا نطاطنا الناتج لدينا تولد أزواجا صناعية ثابتة لاستخدامها في نظام تدريبي مشترك. إلى جانب المنهجية والنتائج الحديثة، فإن المساهمة الأساسية لهذا العمل هي انعكاس على طبيعة المهامتين التي نتعامل معها، وكيف يتم تمييز اختلافاتهم عن طريق ردهم على نهجنا.
تأخذ مهمة نقل النمط (النمط هنا بمعنى "هنا" مع العديد من الجوانب بما في ذلك التسجيل، وهيكل الجملة، واختيار المفردات) إجراء إدخال النص وإعادة كتابةها في نمط مستهدف محدد يحافظ على المعنى، ولكن تغيير نمط نص المصدر لمطابقة ذلك من الهدف. يعتمد الكثير من ال
أبحاث الموجودة في هذه المهمة على استخدام مجموعات البيانات المتوازية. في هذا العمل، نوظف نتائج مؤخرا في نمذجة اللغة المتقاطعة غير المتبادلة (XLM) والترجمة الآلية لنقل النمط أثناء التعامل مع بيانات الإدخال كما غير إجمالي. أولا، نوضح أن إضافة تضمين المحتوى "" إلى XLM والتي تلتقط مجموعة الموضوعات المحددة للإنسان يمكن أن تحسن الأداء على الطراز الأساسي. غالبا ما تعتمد تقييم نقل النمط على المقاييس المصممة للترجمة الآلية التي تلقت انتقاد مدى ملاءمتها لهذه المهمة. كمساهمة ثانية، نقترح استخدام مجموعة من الأنماط الكلاسيكية ككمل مفيد للتقييم. نقوم باختيار بعض هذه التدابير وتشمل هذه في تحليل نتائجنا.
هذه الاستعراضات الورقة وتلخص ممارسات التقييم البشري الموضحة في 97 ورقة نقل النمط فيما يتعلق بثلاثة جوانب التقييم الرئيسية: نقل النمط، والمعنى بالحفظ، والطلاقة.من حيث المبدأ، يجب أن تكون التقييمات من قبل راتبي البشر هي الأكثر موثوقية.ومع ذلك، في أوراق
نقل النمط، نجد أن بروتوكولات التقييمات البشرية غالبا ما تكون غير محددة وغير موحدة، والتي تعيق استنساخ البحث في هذا المجال والتقدم نحو أساليب تقييم بشرية وتلقائية أفضل.
ينطوي نقل نمط النص على إعادة كتابة محتوى الجملة المصدر بأسلوب مستهدف.على الرغم من وجود عدد من المهام النمط مع البيانات المتاحة، فقد كانت هناك مناقشة منهجية محدودة حول كيفية توصيل مجموعات بيانات نمط النص مع بعضها البعض.ومع ذلك، من المحتمل أن يكون لهذا
الفهم آثار على اختيار مصادر بيانات متعددة للتدريب على النماذج.في حين أنه من الحكمة النظر في خصائص أسلوبية متأصلة عند تحديد هذه العلاقات، يجب علينا أيضا التفكير في كيفية تحقيق النمط في مجموعة بيانات معينة.في هذه الورقة، نقوم بإجراء العديد من التحليلات التجريبية لمجموعات بيانات أسلوب النص الحالي.بناء على نتائجنا، نقترح تصنيف خصائص أسلوبية وموينة البيانات للنظر عند استخدام أو مقارنة مجموعات بيانات نمط النص.
