على الرغم من أن نماذج اللغة المحددة مسبقا على نطاق واسع تحسنت بشكل كبير في تحسين وظائف المساعدة مثل الإكمال التلقائي، إلا أنه لم يتم استكشاف مساعدي الكتابة أكثر تعقيدا ويمكن التحكم فيه بعد. نستفيد من التطورات في النمذجة اللغوية لبناء مساعد كتابة تفاع
لي ينشئ النص وإعادة صياغة النص وفقا لمواصفات المؤلف المحبوس بشكل جيد. يقدم المستخدمون مدخلات لمساعدنا الموجه في النوايا (IGA) في شكل نص يتعايش مع العلامات التي تتوافق مع توجيهات خطابية محددة (على سبيل المثال، إضافة الوصف أو التباين، أو إعادة تصوير جملة معينة). نحن نؤيد نموذج لغة على مجموعة بيانات مثبتة مسبقا مع نية المؤلف، والتي تسمح IGA بملء هذه العلامات مع نص تم إنشاؤه يستخدم المستخدمون في وقت لاحق تحرير لتروقهم. تؤكد سلسلة من التقييمات التلقائية والتعبئة الجودة جودة مخرجات IGA التي تم إنشاؤها، في حين أن دراسة مستخدمين على نطاق صغير توضح تفضيلات المؤلف ل IGA على أساليب خط الأساس في مهمة كتابة إبداعية. نطلق سراح البيانات الخاصة بنا ورمزها وإيضا لتحديد مزيد من البحث في الكتابة بمساعدة منظمة العفو الدولية.
وقد تبين أن التنظيم العديزي لتحسين أداء تعميم نماذج التعلم العميق في مهام معالجة اللغة الطبيعية المختلفة. تعمل الأعمال الموجودة عادة الطريقة كأفضل لعبة مبلغ صفر، والتي تم حلها من خلال خوارزميات نزول / صعود التدرج المتناوب. مثل هذه الصياغة يعامل اللاع
بين والدفاع عن اللاعبين على قدم المساواة، وهو أمر غير مرغوب فيه لأن اللاعب المدافع فقط يساهم في أداء التعميم. لمعالجة هذه المسألة، نقترح بنظام Stackelberg الخصم (الملح)، الذي يصوغ التنظيم العديزي كأرعاب Stackelberg. يستحث هذا الصيغة منافسة بين قائد ومتابعته، حيث يولد التابع الاضطرابات، والقائد يدرب النموذج المعني بالاضطرابات. تختلف عن الأساليب التقليدية، في السلط، الزعيم في وضع مفيد. عندما يتحرك القائد، فإنه يتعرف على استراتيجية التابع ويأخذ نتائج التابع المتوقعة في الاعتبار. تمكننا ميزة الزعيم هذه من تحسين النموذج المناسب للبيانات غير المضطربة. يتم التقاط المعلومات الاستراتيجية للزعيم من قبل التدرج من Stackelberg، والتي يتم الحصول عليها باستخدام خوارزمية غير مثيرة. تظهر نتائجنا التجريبية على مجموعة من الترجمة الآلية ومهام فهم اللغة الطبيعية أن الملح يتفوق على خطوط خطوط الأساس بين المخدرات الموجودة في جميع المهام. رمز لدينا هو متاح علنا.
نحن نهدف إلى تحديد أسباب العمل البشري تلقائيا في مقاطع الفيديو عبر الإنترنت.نحن نركز على النوع الواسع من Lifestyle Vlogs، حيث يقوم الأشخاص بإجراء أعمال بينما يصفهم لفظيا.نقدم وجعلها متاحة للجمهور DataSet Whyact، والتي تتكون من 1،077 إجراء بصري مشروح
يدويا مع أسبابها.نحن تصف نموذج متعدد الوسائط يرفع المعلومات المرئية والنصية إلى الاستفادة تلقائيا الأسباب المقابلة للعمل المقدم في الفيديو.
في هذه الورقة، نقترح نموذجا جديدا تصنيفا جديدا، مما يحسن مهمة استرجاع المستندات (DR) من خلال عملية تدريبية على تكيفه المهام وآلية استرداد رمزية مجزأة (Strm). في التدريب التكيفي المهمة، نقوم أولا بتدريب Dr-Bert Transly-editive، ثم جعل ضبط الطورين الدق
يقين. في ضبط الطور الأول، يتعلم النموذج أنماط مطابقة المستندات للاستعلام فيما يتعلق بأنواع الاستعلام المختلفة بطريقة مدفوعة. بعد ذلك، في ضبط الطور الثاني، يتعلم النموذج ميزات الترتيب على مستوى المستند وتصنيف المستندات فيما يتعلق باستعلام معين بطريقة مدرجة. تتيح هذا الزائد Plus Plus Tunning النموذج لتقليل الأخطاء في تصنيف المستند عن طريق دمج الإشراف المحدد في الترتيب. في هذه الأثناء، يستخدم النموذج المستمد من الأضواء بشكل رائع أيضا للحد من الضوضاء في البيانات التدريبية للضبط بشكل جيد. من ناحية أخرى، نقدم Strm والتي يمكنها حساب تمثيل كلمة OOV والسياق بشكل أكثر دقة في النماذج القائمة على بيرت. كاستراتيجية فعالة في Dr-Bert، يحسن Strem Perfromance مطابقة كلمات OOV بين الاستعلام وثيقة. والجدير بالذكر أن نموذج الدكتور برت يحتفظ في المراكز الثلاثة الأولى على المتصدرين MS MARCO منذ 20 مايو 2020.
على الرغم من نجاحهم، فإن نماذج اللغة الحديثة هشة.حتى التغييرات الصغيرة في خط أنابيب التدريب يمكن أن تؤدي إلى نتائج غير متوقعة.ندرس هذه الظاهرة من خلال فحص متانة ألبرت (LAN et al.، 2020) بالاشتراك مع متوسط وزن الأسكاستك (SWA) --- طريقة رخيصة للكمية --
- على مهمة تحليل المعنويات (SST-2).على وجه الخصوص، نقوم بتحليل استقرار SWA من خلال معايير قائمة مرجعية (Ribeiro et al.، 2020)، فحص اتفاقية الأخطاء التي تصنعها النماذج المختلفة فقط في بذورها العشوائية.نحن نفترض أن SWA أكثر استقرارا لأنها تقع على فرق اللقطات النموذجية التي اتخذت على طول مسار نزول التدرج.نحن نحدد الاستقرار من خلال مقارنة أخطاء النماذج مع Fleiss 'Kappa (Fleiss و 1971) وتتداخل درجات النسبة.نجد أن SWA تقلل من معدلات الخطأ بشكل عام؛ومع ذلك، لا تزال النماذج تعاني من تحيزاتها المميزة (وفقا لقائمة مرجعية).
مجاملات واهتمامات في المراجعات هي قيمة لفهم اهتمامات التسوق للمستخدمين وآرائهم فيما يتعلق بجوانب محددة من العناصر المعينة.تفضل التوصيات الموجودة القائمة على المراجعة المراجعة ترميز اللغة الكبيرة والمعقدة التي يمكن أن تتعلم فقط تمثيلات نص كامنة وغير ق
ابلة للتوجيه.إنهم يفتقرون إلى نماذج انتباه المستخدم والسلع الصريحة، والتي يمكن أن توفر معلومات قيمة تتجاوز القدرة على التوصية بالعناصر.لذلك، نقترح نهجا بإحكام مقرونة من مرحلتين، بما في ذلك مستخرج زوج من جانب جوانب (ASPE) ومقدر تصنيف إيلائي - إدراك العقار (ARE).الأزواج من الألغام من الألغام من الألغام من جانب الجوانب (AS-Pairs) وتنبؤ التصنيفات باستخدام أزواج كأدلة على مستوى الجانب ملموسة.تجارب واسعة على سبعة مجموعات بيانات مراجعة الأمازون العالمية في الواقعية تثبت أن ASPE يمكن أن تستخرج بفعالية من أزواج الشركات التي تمكن ARE لتسليم دقة فائقة عبر الأساس الرائدة.
يتطلب التعرف على الكيان المسمى MultiModal (MNER) سد الفجوة بين فهم اللغة والسياق المرئي.في حين أن العديد من التقنيات العصبية متعددة الوسائط قد تم اقتراح دمج الصور في مهمة MNER، فإن قدرة النموذج على الاستفادة من التفاعلات متعددة الوسائط لا تزال مفهومة
سيئة.في هذا العمل، نقوم بإجراء تحليلات متعمقة من تقنيات الانصهار متعددة الوسائط المتعددة من وجهات نظر مختلفة ووصف السيناريوهات حيث لا تؤدي إضافة معلومات من الصورة دائما إلى زيادة الأداء.ندرس أيضا استخدام التسميات التوضيحية كوسيلة لإثراء السياق ل MNER.تعرض التجارب في ثلاث مجموعات من المنصات الاجتماعية الشعبية عنق الزجاجة من النماذج متعددة الوسائط الحالية والحالات التي يستخدمها المساميرات مفيدة.
عادة ما تعتمد نماذج المحادثة المعرضين على وحدة تحديد / استرجاع وحدة نمطية ووحدة جيل، تدربت بشكل منفصل أو في وقت واحد، مع أو دون الوصول إلى خيار معرفة ذهبي. مع إدخال النماذج الكبيرة المدربة مسبقا مسبقا، أصبح جزء الاختيار والجول أكثر وأكثر متشابكا، وتح
ول التركيز نحو تعزيز دمج المعرفة (من مصادر متعددة) بدلا من محاولة اختيار أفضل خيار المعرفة. ومع ذلك، تعتمد هذه الأساليب على ملصقات المعرفة و / أو المسترد الكثيف منفصل لأفضل أدائها. في هذا العمل، ندرس قدرات الاختيار غير المزروعة من النماذج الإدارية المدربة مسبقا (مثل BART) وإظهار أنه بإضافة وحدة نمطية للدرجات والكبر بين التشفير والكشف، فهي قادرة على تعلم اختيار المعرفة المناسبة من خلال تقليل اللغة فقدان النمذجة (أي دون الوصول إلى ملصقات المعرفة). تدربت على هذا النحو، نموذجنا - K-Mine - يظهر اختيار تنافسي وأداء جيل من النماذج التي تستفيد من ملصقات المعرفة و / أو المسترد الكثيف المنفصل.
مع النمو المتفجر للبث LivestReam، هناك حاجة ملحة لتكنولوجيا التلخيص الجديدة التي تمكننا من إنشاء معاينة للمحتوى البثاري والاستفادة من هذه الثروة من المعرفة. ومع ذلك، فإن المشكلة غير صاخبة بسبب الطبيعة غير الرسمية للغة المنطوقة. علاوة على ذلك، كان هنا
ك نقص في مجموعات البيانات المشروح اللازمة لتلخيص النص. في هذه الورقة، نقدم Streamhover، إطارا للتعليق ويلخص النصوص Livestream. مع وجود ما مجموعه أكثر من 500 ساعة من مقاطع الفيديو الموحدة مع كل من ملخصات الاستخراجية والمخفية، فإن مجموعة بياناتنا القياسية أكبر بكثير من شرائح مشروح حاليا. نستكشف نموذج تلخيص الاستخراج العصبي الذي يهدف إلى أن يقوم AutoNcoder بالتالي من Vector-Vector بتكنولوجيا المعلومات لتعلم تمثيلات ناقلات كامنة للكلمات المنطوقة وتحديد الكلام البارزين من النصوص لتشكيل ملخصات. نظهر أن نموذجنا تعميم أفضل ويحسن الأداء على خطوط الأساس القوية. توفر نتائج هذه الدراسة وسيلة للبحث في المستقبل لتحسين حلول تلخيص للتصفح الفعال للمهارات.
نصوص وصفة هي شكل خصوصي للغة التعليمية التي تشكل تحديات فريدة من نوعها للتفاهم التلقائي.أحد التحديات هو أن خطوة الطهي في وصفة واحدة يمكن تفسيرها في وصفة أخرى بكلمات مختلفة، على مستوى مختلف من التجريد، أم لا على الإطلاق.تعلق العمل السابق المراسلات بين
إرشادات الوصفة على مستوى الجملة، وغالبا ما تعلق المراسلات المهمة بين خطوات الطبخ عبر الوصفات.نقدم رواية وصفة إنجليزية بالكامل، ARA (إجراءات الوصفة المحاذاة)، والتي تعلق المراسلات بين الإجراءات الفردية عبر وصفات مماثلة بهدف التقاط المعلومات الضمنية لفهم وصفة دقيقة.نحن نمثل هذه المعلومات في شكل رسوم بيانية وصفة، ونحن نربع نموذج عصبي للتنبؤ بالمراسلات على ARA.نجد أن المكاسب الكبيرة في الدقة يمكن الحصول عليها عن طريق أخذ معلومات هيكلية محظورة دقيقة عن الوصفات في الاعتبار.
