تم اعتبار تحيز التعرض مشكلة مركزية لنماذج اللغة التراجعية التلقائية (LM). وهذا يدعي أن المعلم يجبر سيؤدي إلى تشويه جيل وقت الاختبار تدريجيا بسبب تباين توليد التدريب. على الرغم من أن الكثير من الخوارزميات قد اقترحت تجنب التغلب على المعلم وبالتالي تخفي
ف تحيز التعرض، إلا أن هناك ضئيل من العمل الذي يظهر مدى خطورة مشكلة تحيز التعرض في الواقع. في هذا العمل، نركز على مهمة توليد اللغة المفتوح العضوية، اقترح المقاييس لتحديد تأثير تحيز التعرض في جوانب الجودة والتنوع والاتساق. الحدس الرئيسي الخاص بنا هو أنه إذا قمت بإطعام بادئات بيانات الحقيقة الأرضية (بدلا من البادئات الناتجة عن النموذج نفسه) في النموذج واطلب من مواصلة الجيل، يجب أن يصبح الأداء أفضل بكثير لأن التناقض في توليد التدريب في البادئة إزالة. يتم إجراء التقييمات التلقائية والإنسانية في تجاربنا. على عكس الاعتقاد الشعبي بتحيز التعرض، نجد أن التشويه الناجم عن تناقض البادئة محدود، ولا يبدو أنه تدريجي خلال الجيل. علاوة على ذلك، يكشف تحليلنا عن قدرة مثيرة للاهتمام للانكماش الذاتي ل LM، والتي نفترض أنها تكافؤها لتكون مواجهة الآثار الضارة من تحيز التعرض.
أدت النجاحات الأخيرة في النمذجة التوليدية العميقة إلى تقدم كبير في توليد اللغة الطبيعية (NLG).أظهرت دمج الكيانات في نماذج الجيل العصبي تحسينات كبيرة من خلال المساعدة في استنتاج الموضوع الموجز وإنشاء محتوى متماسك.لتعزيز دور الكيان في NLG، في هذه الورق
ة، نهدف إلى نموذج نوع الكيان في مرحلة فك التشفير لتوليد كلمات سياقية بدقة.نقوم بتطوير نموذج NLG الجديد لإنتاج تسلسل مستهدف بناء على قائمة معينة من الكيانات.يحتوي نموذجنا على وحدة فك ترميز متعددة الخطوات التي تحفز أنواع الكيان في عملية تذكر الجيل.تجارب عملاء أخبار عامين تظهر حقن النوع ينفذ أفضل من نوع خطوط خطوط أسلاف التضمين.
ركزت أبحاث جيل النص الحديثة بشكل متزايد على المجالات المفتوحة مثل القصة وتوليد الشعر. نظرا لأن النماذج التي تم بناؤها لهذه المهام يصعب تقييمها تلقائيا، يبرر معظم الباحثين في الفضاء خيارات النمذجة عن طريق جمع الأحكام البشرية الجماعية لجودة النص (على س
بيل المثال، عشرات Likert من الاتساق أو النحاس) من Amazon Mechanical Turk (AMT). في هذه الورقة، نقوم أولا بإجراء دراسة استقصائية قدرها 45 ورقة من جيل النص مفتوح العضوية وتجد أن الغالبية العظمى منهم يفشلون في الإبلاغ عن تفاصيل حاسمة حول مهام AMT الخاصة بهم، مما أعاق الاستيلاء. بعد ذلك، قم بتشغيل سلسلة من تجارب تقييم القصة مع كل من عمال AMT ومعلمي اللغة الإنجليزية واكتشف أنه حتى مع مرشحات التأهيل الصارمة، يفشل عمال AMT (على عكس المعلمين) في التمييز بين النص النموذجي والمراجع التي تم إنشاؤها الإنسان. نظهر أن أحكام عامل AMT تتحسن عند إظهار الناتج الناتج عن النموذج إلى جانب المراجع التي يتم إنشاؤها من قبل الإنسان، مما يتيح العمال معا معايرة تقييماتهم بشكل أفضل. أخيرا، توفر المقابلات مع معلمي اللغة الإنجليزية رؤى أعمق في تحديات عملية التقييم، خاصة عند تصنيف النص الذي تم إنشاؤه النموذج.
جذب إنشاء نص طويل مشروط وفقا لنص الإدخال القصير مؤخرا المزيد والمزيد من جهود البحثية. تركز معظم الأساليب الموجودة على إدخال معرفة إضافية لاستكمال نص الإدخال القصير، ولكن تجاهل مسألة الاتساق من النصوص التي تم إنشاؤها. لمعالجة مشكلة البحث المذكورة أعلا
ه، تقترح هذه الورقة نهجا جديدا على مرحلتين لتوليد نص طويل متماسك. خاصة، نقوم أولا ببناء مسار مستوى المستند لكل نص إخراج مع كل جملة تضمين عقدة، ويقترح خريطة تنظيم ذاتية المنقحة (SOM) عن العقد مماثلة لعائلة من مسارات مستوى المستندات لبناء الموجهة الرسم البياني الدلالي. بعد ذلك، يقترح ثلاث طرق محاذاة منصرا فوقها لاستخراج الحد الأقصى لمسارات المطابقة أو الأخبار. تعتبر هذه المجموعة الدراسية الموجهة التي يتم توجيهها بشكل جيد محتوى إضافي ولكنه ذي صلة بنص المدخلات القصيرة، ثم يتم فك تشفيره بواسطة النموذج المستخدم المدرب مسبقا لتوليد نص طويل متماسك. تم إجراء تجارب واسعة على ثلاث مجموعات بيانات حقيقية، وتظهرت النتائج الواعدة أن النهج المقترح متفوقا على النهج التي من بين الفنون. عدد من معايير التقييم.
تستفيد نماذج اللغة الكبيرة من التدريب بكمية كبيرة من النص غير المسبق، مما يمنحهم قدرات توليد بطلاقة ومتنوعة بشكل متزايد.ومع ذلك، فإن استخدام هذه النماذج لتوليد النص الذي يأخذ في الاعتبار السمات المستهدفة، مثل قطبية المعالم أو مواضيع محددة، لا يزال يم
ثل تحديا.نقترح طريقة بسيطة ومرنة للسيطرة على جيل النص عن طريق محاذاة تمثيلات سمة Deventangled.على النقيض من الجهود الأخيرة التي يبذلها الجهود المبينة في تدريب تمييزي على توزيع مستوى الرمز المميز لسمة، نستخدم نفس البيانات لتعلم وظيفة المحاذاة لتوجيه نموذج اللغة غير المستخدمة مسبقا وغير الخاضعة للرقابة لإنشاء نصوص مع سمة الهدف دون تغييرالمعلمات نموذج اللغة الأصلية.نقوم بتقييم طريقتنا على توليد المعنويات والموضوع، وإظهار مكاسب أداء كبيرة على الطرق السابقة مع الاحتفاظ بالطلاقة والتنوع.
يتطلب توليد النصوص في الأوراق العلمية لا يتطلب فقط التقاط المحتوى الوارد في الإدخال المحدد ولكن في كثير من الأحيان اكتسب المعلومات الخارجية المسماة السياق.نحن ندفع توليد النص العلمي من خلال اقتراح مهمة جديدة، وهي جيل نصي على دايين السياق في المجال ال
علمي، بهدف استغلال مساهمات السياق في النصوص المتولدة.تحقيقا لهذه الغاية، نقدم رواية تحديا على مجموعة بيانات علمية واسعة النطاق للجمول النصي على علم السياق (Scixgen)، والتي تتكون من ورقات 205،304 المشروح جيدا مع مراجع كاملة للأشياء المستخدمة على نطاق واسع (مثل الجداول والأرقام والجوارخ)ورقة.نحن معيارين شمولين، باستخدام أحدث الفنون، فعالية مجموعة بيانات Scixgen التي تم إنشاؤها حديثا في توليد الوصف والفقرة.سيتم توفير مجموعة البيانات والمعايير الخاصة بنا متاحة للجمهور لتسهيل أبحاث جيل النص العلمي.
نقترح مهمة مشتركة على اختيار مثيل التدريب لعدد قليل من الجيل العصبي العصبي.أدت نماذج اللغة المحددة مسبقا على نطاق واسع إلى تحسينات مثيرة في جيل نص قليل.ومع ذلك، فإن كل العمل السابق تقريبا يطبق ما عليك سوى أخذ عينات عشوائية لتحديد مثيلات التدريب القلي
لة.لقد تم إيلاء الاهتمام ليس إلى استراتيجيات الاختيار وكيف سيؤثرون على أداء النموذج.دراسة استراتيجية الاختيار يمكن أن تساعدنا (1) الاستفادة القصوى من ميزانية التوضيحية الخاصة بنا في مهام المصب و (2) من أفضل النماذج الإندارية النصية ذات القليل من القصاصات.نرحب بالتقديمات التي تقدم استراتيجيات اختيارها والآثار على جودة الجيل.
نقدم نهج عصبي نهاية إلى نهج لإنشاء جمل إنجليزية من تمثيلات المعنى الرسمي، وهياكل تمثيل الخطاب (DRSS).نستخدم نموذج تسلسل ثنائي التسلسل BI-LSTM القياسي بدلا من ذلك، والعمل بتمثيل إدخال DRS SNEARIZED، وتقييم رقائق الرقص على مستوى الأحرف ومستوى الكلمات.ن
حصل على نتائج مشجعة للغاية فيما يتعلق بالمقاييس التلقائية المستندة إلى المرجعية مثل بلو.ولكن نظرا لأن هذا المقاييس يقوم فقط بتقييم مستوى السطح من الإخراج الناتج، فإننا نطور متريا جديدا، وارتفعت، والتي تستهدف الظواهر الدلالية المحددة.نحن نقوم بذلك مع خمسة مجموعات تحدي جيل DRS التركيز على العدد القطبي والقطبية والكمييات المسماة.الهدف من مجموعات التحدي هذه هو تقييم تنظيمي المولد العصبي وتعميم المدخلات غير المرئية.
نقترح على التمييز المستقبلي لتوليد (Fudge)، وسيلة مرنة وحيونية للجيل المسيطر الذي يتم التحكم فيه.بالنظر إلى نموذج G موجه مسبقا لتوليد النص من توزيع الفائدة، يتيح الافعال تكييف السمة المرغوبة A (على سبيل المثال، الشكلية) أثناء الوصول إلى تسجيل الدخول
فقط إلى سجل الإخراج G فقط.تتعلم Fudge مؤشر سمة يعمل على تسلسل جزئي، ويستخدم مخرجات هذا المؤشر لضبط الاحتمالات الأصلية G.نظهر أن نماذج الهرج تطل على تحلل بايزي للتوزيع الشرطي ل G معين من السمة A.علاوة على ذلك، يمكن أن يؤدي fudge بسهولة تنبؤات للسمات المتعددة المرغوبة.نقوم بتقييم الهراء في ثلاث مهام --- الانتهاء من الإكمال في الشعر، والتحكم في الموضوع في توليد اللغة، وتغيير الشكليات في الترجمة الآلية - - ومراقبة المكاسب في جميع المهام الثلاث.
تركز معظم دراسات حماية الخصوصية للبيانات النصية على إزالة المعرفات الحساسة الصريحة. ومع ذلك، غالبا ما يتم إهمال أسلوب الكتابة الشخصية، كمؤشر قوي على التأليف،. أظهرت الدراسات الحديثة، مثل SYNTF، نتائج واعدة حول التعدين النصي للحفاظ على الخصوصية. ومع ذ
لك، لا يمكن خلائطها المجهول فقط إخراج ناقلات المصطلحات الرقمية التي يصعب تفسير المستلمين. نقترح نموذج توليد نص جديد مع وجود آلية أسية ذات مجموعة من مجموعة إخفاء الهوية. من خلال زيادة المعلومات الدلالية من خلال وظيفة مكافأة تدريبية تعزز، يمكن أن يؤدي النموذج إلى إنشاء نص خاص بالتفاضل الذي يحتوي على بنية نحوية دلالية ومماثلة للنص الأصلي أثناء إزالة السمات الشخصية لأسلوب الكتابة. لا يفترض أي ملصقات مشروطة أو بيانات نصية متوازية للتدريب. نحن نقيم أداء النموذج المقترح في مراجعات نظر الأقران الواقعية ومجموعات بيانات مراجعة الصرخة. تشير النتيجة إلى أن نموذجنا يتفوق على أحدث حديثة من الحفظ الدلالي، ومضاءة التأليف، وتحول ستايلومتريك.
