نقوم بإنشاء كورب حوار واسعة النطاق يوفر الصيغة العمومية لتعزيز التكنولوجيا لفهم النوايا الأساسية للمستخدمين.في حين تكتسب نماذج المحادثة العصبية القدرة على توليد ردود بطلاقة من خلال التدريب على كوربس للحوار، ركزت شركة سورانيا السابقة بشكل رئيسي على ال
معاني الحرفية للكلمات.ومع ذلك، في الواقع، لا يقدم الناس دائما نواياهم مباشرة.على سبيل المثال، إذا قال شخص لمشغل خدمة الحجز ليس لدي ميزانية كافية. ''، في الواقع، يعني الرجاء العثور على خيار أرخص بالنسبة لي. '' Corpus توفر ما مجموعه 71،498 غير مباشرة- أزواج الكلام الميرانية مصحوبة بتاريخ حوار متعدد الدوران المستخرج من مجموعة بيانات MultiWoz.بالإضافة إلى ذلك، نقترح ثلاث مهام لقياس قدرة النماذج على الاعتراف وإنشاء الكلام غير المباشرة والمباشرة.حققنا أيضا في أداء النماذج المدربة مسبقا في أحدث خطوط الأساس.
يمكن أن تسترجع إمكانات المطابقة الدلالية لاسترجاع المعلومات العصبية مشاكل المرادفات والبوليزيميمي من الأساليب الرمزية.ومع ذلك، فإن التمثيلات الكثيفة النماذج العصبية أكثر ملاءمة لإعادة الترتيب، بسبب عدم كفاءةها.تمثيلات متفرق، إما في شكل رمزي أو كامن،
أكثر كفاءة مع مؤشر مقلوب.أخذ مزايا التمثيلات المتناثرة والكثيفة، نقترح مخطط تمثيل ثنائي الأبعاد للغاية (UHD) مجهز بمرضية يمكن السيطرة عليها مباشرة.سعة UHD الكبيرة والحد الأدنى من الضوضاء والتدخل بين الأبعاد تسمح بالتمثيل الثنائي، والتي تعتبر فعالة للغاية للتخزين والبحث.المقترح أيضا طريقة دلامية، حيث يتم اختيار / دمج الأشرطة من طبقات متعددة من بيرت / دمجها لتمثيل الجوانب اللغوية المتنوعة.نقوم باختبار نماذجنا باستخدام سيارة MS MARCO و TREC، والتي تبين أن نماذجنا تفوقت على نماذج غير متفرقة أخرى.
تلقت تصنيف النص الإشراف ضعيف اهتماما كبيرا في السنوات الأخيرة لأنه يمكن أن يخفف من العبء الثقيل في التخلص من البيانات الضخمة. من بينها، الأساليب التي يحركها الكلمات الرئيسية هي السائدة حيث يتم استغلال الكلمات الرئيسية التي توفرها المستخدم لتوليد ملصق
ات زائفة للنصوص غير المسبقة. ومع ذلك، فإن الطرق الحالية تعالج الكلمات الرئيسية بشكل مستقل، وبالتالي تجاهل الارتباط بينها، والتي ينبغي أن تكون مفيدة إذا استغلت بشكل صحيح. في هذه الورقة، نقترح إطارا جديدا يسمى ClassKG لاستكشاف ارتباط الكلمات الرئيسية الكلمة الرئيسية على الرسم البياني للكلمة الرئيسية بواسطة GNN. إطار عملنا هو عملية تكرارية. في كل تكرار، نقوم أولا بإنشاء رسم بياني للكلمات الرئيسية، لذلك يتم تحويل مهمة تعيين ملصقات زائفة إلى التسجيل عبر الكلمات الرئيسية. لتحسين جودة التعليق التوضيحي، نقدم مهمة ذاتية الإشراف على الصنع بتقسيم Annetator Sigcraph، ثم Finetune IT. باستخدام الملصقات الزائفة التي تم إنشاؤها بواسطة Annotator Siggraph، ثم تدريب مصنف نصي لتصنيف النصوص غير المسبق. أخيرا، نعيد استخراج الكلمات الرئيسية من النصوص المبوبة. تظهر تجارب واسعة النطاق على كل من مجموعات البيانات الطويلة والنص القصير أن طريقتنا تتفوق بشكل كبير على تلك الموجودة.
تحتوي نماذج الترجمة الآلية على مفردات منفصلة واستخدام تقنيات تجزئة الكلمات الفرعية لتحقيق المفردات المفتوحة.يعتمد هذا النهج على تسلسل Unicode متسق وصحيح، ويجعل النماذج عرضة للتدهور من الأنواع المشتركة من الضوضاء والاختلاف.بدافع من متانة معالجة اللغات
البشرية، نقترح استخدام تمثيلات نصية بصرية، والذي يتم الاستغناء عن مجموعة محدودة من Adgeddings النصية لصالح المفردات المستمرة التي تم إنشاؤها عن طريق معالجة النص المنصوص عليه بصريا مع Windows Sliding Windows.نظهر أن النماذج باستخدام نهج تمثيلات النص المرئي أو مطابقة أداء النماذج النصية التقليدية على مجموعات البيانات الصغيرة والأكبر.الأهم من ذلك، الأهم من ذلك، توضح النماذج ذات المدينات البصرية متانة كبيرة لأنواع الضوضاء المتنوعة، وتحقيق على سبيل المثال، 25.9 بلو على شخصية مسموعة باللغة الألمانية - المهمة الإنجليزية حيث تتحلل نماذج الكلمات الفرعية إلى 1.9.
تستند نماذج نقل النمط غير المزروعة بشكل رئيسي إلى نهج التعلم الاستقرائي، والذي يمثل النمط كمعلمات أو معلمات فك الترميز، أو معلمات تمييزية، وتطبق مباشرة هذه القواعد العامة لحالات الاختبار. ومع ذلك، فإن عدم وجود Corpus الموازي يعيق قدرة طرق التعلم الاس
تقرائي هذه في هذه المهمة. نتيجة لذلك، من المحتمل أن تسبب التعبيرات النمطية غير المتناسقة الشديدة، مثل السلطة غير مهذب ". لمعالجة هذه المشكلة، نقترح نهجا تعليميا عبر جديد في هذه الورقة، بناء على تمثيل نمط السياق على علم الاسترجاع. على وجه التحديد، يتم استخدام وحدة فك ترميز تشفير الاهتمام مع إطار المسترد. أنه ينطوي على الجمل ذات الصلة أعلى K في النمط المستهدف في عملية النقل. وبهذه الطريقة، يمكننا أن نتعلم تضمين أسلوب مدرك السياق لتخفيف مشكلة عدم التناقض أعلاه. في هذه الورقة، يتم استخدام كل من وظائف استرجاع شديد (BM25) ووظائف استرجاع كثيفة (MIPS)، وتم تصميم وظيفتان موضوعيتان لتسهيل التعلم المشترك. تظهر النتائج التجريبية أن أسلوبنا تتفوق على العديد من خطوط الأساس القوية. نهج التعلم المتنقل المقترح عام وفعال لمهمة نقل النمط غير المنسق، وسوف نطبقه على الطريقة الوظيفتين الأخرى في المستقبل.
على الرغم من التطورات الأخيرة في تطبيق نماذج اللغة المدربة مسبقا لتوليد نصوص عالية الجودة، فإن توليد مقاطع طويلة تحافظ على تماسك طويل المدى أمر صعب للغاية لهذه النماذج.في هذه الورقة، نقترح Discodvt، وهو محول متغيرات منفصلة على درايته لمعالجة مشكلة عد
م الاتساق.يتعلم Discodvt تسلسل متغير منفصل يلخص الهيكل العالمي للنص، ثم ينطبق عليه لتوجيه عملية التوليد في كل خطوة فك التشفير.لزيادة تضمين المعلومات التي تدرك الخطاب في التمثيلات الكامنة المنفصلة، نقدم هدف إضافي لنموذج علاقات الخطاب داخل النص.نقوم بإجراء تجارب واسعة على مجموعة من مجموعات بيانات من القصة المفتوحة وإثبات أن الرموز الكامنة تعلم مراسلات ذات معنى لهياكل الخطاب التي توجه النموذج لتوليد النصوص الطويلة مع التماسك طويل المدى أفضل.
تبسيط النص هو تقنية قيمة.ومع ذلك، يقتصر البحث الحالي على تبسيط الجملة.في هذه الورقة، نحدد والتحقيق في مهمة جديدة من تبسيط نص المستندات على مستوى المستند، والتي تهدف إلى تبسيط وثيقة تتكون من جمل متعددة.بناء على مقالب ويكيبيديا، نقوم أولا ببناء مجموعة
بيانات واسعة النطاق تسمى D-Wikipedia وأداء التحليل والتقييم البشري عليه لإظهار أن مجموعة البيانات موثوقة.بعد ذلك، نقترح مقياس تقييم تلقائي جديد يسمى D-SARI هو أكثر ملاءمة لمهمة تبسيط مستوى المستند.أخيرا، نقوم باختيار العديد من النماذج التمثيلية كطرازات أساسية لهذه المهمة وأداء التقييم التلقائي والتقييم البشري.نحن نحلل النتائج وأشرح أوجه القصور في النماذج الأساسية.
لقد تم استخراج العلاقات عبر مجموعة نصية كبيرة غير مستمدة نسبيا في NLP، لكنه مهم للغاية بالنسبة لمجالات عالية القيمة مثل الطب الحيوي، حيث يكون الحصول على استدعاء عالية من أحدث النتائج أمر حاسم للتطبيقات العملية. بالمقارنة مع استخراج المعلومات التقليدي
ة المحصورة على تمديد النص القصير، فإن استخراج العلاقات على مستوى المستند يواجه تحديات إضافية في كل من الاستدلال والتعلم. وبالنظر إلى تمديدات نصية أطول، فإن الهندسة العصبية الحديثة هي الإشراف الذاتي الأقل فعالية ومحددة المهام مثل الإشراف البعيد يصبح صاخبا جدا. في هذه الورقة، نقترح انحلال استخراج العلاقات على مستوى الوثيقة في الدقة المتعلقة بالكشف عن العلاقة والحجة، مما أدى إلى إلهام من دلالات ديفيدسون. تمكننا هذا من دمج نماذج الخطاب الصريحة والاستفادة من الإشراف الذاتي المعياري لكل مشكلة فرعية، وهو أقل عرضة للضوضاء ويمكن أن يكون مزيدا من النهايات المكررة عبر التباين. نقوم بإجراء تقييم شامل في قراءة الآلة الطبية الحيوية لعلم الأورام الدقيقة، حيث تذكر علاقة الفقرة الشاملة سائدة. تتفوق طريقةنا على الدولة السابقة للفن، مثل التعلم متعدد النطاق والشبكات العصبية الرسمية، بأكثر من 20 نقطة F1 المطلقة. وانطبق الربح بشكل خاص بين أكثر حالات العلاقات الأكثر تحديا التي لا تحدث حججها في فقرة.
غالبا ما يتم فحص النصوص القانونية القديمة وترقيمها عبر التعرف على الأحرف البصرية (OCR)، مما يؤدي إلى العديد من الأخطاء.على الرغم من أن لعبة الداما الإملائية والقواعد النحوية يمكن أن تصحيح الكثير من النص الممسوح ضوئيا تلقائيا، فإن التعرف على الكيان ال
مسمى (NER) صعبة، مما يجعل تصحيح الأسماء صعبة.لحل هذا، قمنا بتطوير نموذج لغة فرقة باستخدام بنية محولات في الشبكة العصبية جنبا إلى جنب مع آلة حالة محددة لاستخراج الأسماء من النص القانوني باللغة الإنجليزية.نحن نستخدم مشروع الوصول إلى هارفارد كاسيلاو في الولايات المتحدة للتدريب والاختبار.بعد ذلك، تعرض الأسماء المستخرجة للتحليل النصي المثيرة لتحديد الأخطاء وإجراء تصحيحات وقياس مدى المشكلات.مع هذا النظام، نحن قادرون على استخراج معظم الأسماء، وتصحيح الأخطاء العديدة تلقائيا وتحديد الأخطاء المحتملة التي يمكن مراجعتها لاحقا للتصحيح اليدوي.
تحقق هذه الورقة في كيفية تصحيح أخطاء النص الصينية مع أنواع من الأحرف الخاطئة والمفقودة والمتغمة، وهي شائعة للمتحدثين الأصليين الصينيين.يمكن لمعظم النماذج الموجودة على الإطار الصحيح على الكشف عن تصحيح الأحرف الخاطئة، ولكن لا يمكن التعامل مع الأحرف الم
فقودة أو الزائدة بسبب التناقض بين المدخلات والمخرجات النموذجية.على الرغم من أن أساليب العلامات المستندة إلى SEQ2SEQ أو التسلسل تقدم حلولا لأنواع الخطأ الثلاثة وحققت نتائج جيدة نسبيا في سياق اللغة الإنجليزية، فإنها لا تؤدي بشكل جيد في السياق الصيني وفقا تجاربنا.في عملنا، نقترح إطارا جديدا للكشف عن المحاذاة على المكتشفة التي يمكن أن تعالج كل من المواقف المحاذاة وغير المحاذاة ويمكن أن تكون بمثابة نموذج ابدأ بارد عند عدم توفر بيانات التعليق التوضيحي.تظهر النتائج التجريبية على ثلاث مجموعات بيانات أن طريقتنا فعالة وتحقق أداء أفضل من أحدث النماذج المنشورة.
