مطلوبة كميات كبيرة من العمل لتنظيف مجموعات كبيرة من الكتب الرقمية لتحليل NLP، بسبب وجود أخطاء في النص الممسوح ضوئيا ووجود أحجام مكررة في كورسا. في هذه الورقة، نعتبر مسألة deCuplication في وجود أخطاء التعرف على الأحرف البصرية (OCR). نقدم طرق للتعامل م
ع هذه الأخطاء، والتي تم تقييمها على مجموعة من 19347 نصية من مشاريع Gutenberg DataSet و 96،635 نصية من مكتبة Hathitrest. نوضح أن التحسينات في النماذج اللغوية الآن تمكن الآن من اكتشاف وأصحام أخطاء التعرف الضوئي على الحروف دون النظر في صورة المسح نفسه. توفر التناقضات التي عثرت عليها محاذاة أزواج من عمليات فحص نفس العمل الأساسي من نفس البيانات التدريبية لإنشاء نماذج للكشف عن الأخطاء وتصحيحها. نحدد الإصدار الكنسي لكل من الكتب 17،136 مرارا وتكرارا من الفحص من 58888 يوم. أخيرا، نحقق في طرق الكشف عن الأخطاء وتصحيحها في نصوص نسخة واحدة. نظهر أنه في المتوسط، تقوم طريقةنا بتصحيح أكثر من ستة أضعاف العديد من الأخطاء كما تقدم. كما نقدم تحليلا مثيرا للاهتمام بشأن العلاقة بين جودة المسح والعوامل الأخرى مثل الموقع والنشر.
تقارير الورقة نتائج دراسة الترجمة للنصوص الأدبية على أساس الروسية المترجمة وغير الترجمة. نهدف إلى معرفة ما إذا كانت الترجمات تنحرف عن النصوص الأدبية غير المترجمة، وإذا تعزى الفروق الثابتة إلى العلاقات الموضعية بين المصدر واللغات المستهدفة. نتوقع أن ت
رجمات أدبية من اللغات البعيدة من الناحية النموذجية يجب أن تظهر المزيد من الترجمة، وبصمات أصابع لغات المصدر الفردية (وعائلاتها) تعرج في الترجمات. نستكشف الخصائص اللغوية التي تميز الأدبيات الروسية غير المترجمة من الترجمات إلى الروسية. تظهر نتائجنا أن الخيال غير المترجم يختلف عن الترجمات إلى درجة أن هذه الأصناف اللغوية يمكن تصنيفها تلقائيا. كما هو متوقع، ينعكس نوضي اللغة في ترجمات النصوص الأدبية. حددنا الميزات التي تشير إلى خصوصية لغوية الأدب الروسي غير المترجم والآثار المشرقة. يتم قطع بعض الميزات النجمية عبر جميع أزواج اللغات، في حين أن البعض الآخر مميز ترجمات أدبية من اللغات التي تنتمي إلى أسر لغة محددة.
ما مدى صعوبة ذلك بالنسبة لمتعلمي اللغة الإنجليزية (ESL) للغة الإنجليزية (ESL) قراءة النصوص الإنجليزية الصاخبة؟هل يحتاج المتعلمون ESL إلى التطبيع المعجمي لقراءة النصوص الإنجليزية الصاخبة؟قد تؤثر هذه الأسئلة أيضا على تكوين المجتمع على مواقع الشبكات الا
جتماعية حيث يمكن أن تعزى الاختلافات إلى متعلمي ESL ومكبرات الصوت الإنجليزية الأصلية.ومع ذلك، فقد عالجت بعض الدراسات هذه الأسئلة.تحقيقا لهذه الغاية، بنينا مقيمين دقيقين للغاية لقراءة القراءة لتقييم قابلية قراءة النصوص للمتعلمين ESL.ثم طبقنا هذا المقيمين للنصوص الإنجليزية الصاخبة لمزيد من تقييم قابلية قراءة النصوص.أظهرت النتائج التجريبية أنه على الرغم من أن متعلمي ESL على المستوى المتوسطين يمكنهم قراءة معظم النصوص الإنجليزية الصاخبة في المقام الأول، فإن التطبيع المعجمي يحسن بشكل كبير من قراءة النصوص الإنجليزية الصاخبة للمتعلمين ESL.
من المعروف أن حساسية النماذج العميقة العصبية لضوضاء الإدخال مشكلة صعبة.في NLP، يتدهور أداء النموذج غالبا مع الضوضاء التي تحدث بشكل طبيعي، مثل الأخطاء الإملائية.لتخفيف هذه المشكلة، قد تستفيد النماذج البيانات الوكيل بشكل مصطنع.ومع ذلك، تم تحديد كمية ون
وع الضوضاء التي تم إنشاؤها حتى الآن بشكل تعسفي.لذلك نقترح نموذج الأخطاء الإحصائية من كورسا - تصحيح الأخطاء النحوية.نقدم تقييم شامل للعديد من متواك أنظمة NLP الحديثة لغات متعددة، مع المهام بما في ذلك التحليل المورفو النحوي، التعرف على الكيان المسمى، الترجمة الآلية العصبية، مجموعة فرعية من مرجع الغراء والفهم القراءة.نحن نقارن أيضا مناهضين لمعالجة انخفاض الأداء: أ) تدريب نماذج NLP مع البيانات الوكيل التي تم إنشاؤها بواسطة إطار عملائنا؛و ب) تقليل ضوضاء الإدخال بالنظام الخارجي لتصحيح اللغة الطبيعية.يتم إصدار الرمز في https://github.com/ufal/kazitext.
تفتح الأسئلة الاستخراجية المفتوحة الإجابة تعمل بشكل جيد على البيانات النصية من خلال استرداد النصوص المرشحة أولا ثم استخراج الإجابة من هؤلاء المرشحين. ومع ذلك، لا يمكن الإجابة على بعض الأسئلة بالنص وحدها ولكنها تتطلب معلومات مخزنة في الجداول. في هذه ا
لورقة، نقدم نهج لاستعادة كلا النصين والجداول ذات الصلة بالسؤال من خلال ترميز النصوص والطاولات والأسئلة في مساحة متجه واحدة. تحقيقا لهذه الغاية، نقوم بإنشاء مجموعة بيانات جديدة متعددة الوسائط بناء على مجموعات بيانات النصوص والجدول من العمل ذي الصلة ومقارنة أداء استرجاع مخطط ترميز مختلفة. نجد أن تضمين ناقلات كثيفة نماذج المحولات تتفوق على تضمين متفرق في أربع مجموعات من مجموعات بيانات تقييم. مقارنة نماذج تضمين كثيفة مختلفة، تزيد TRI-Encoders مع ترميز واحد لكل سؤال ونص وجدول أداء استرجاع مقارنة بالتشفيات الثنائية مع ترميز واحد للحصول على سؤال واحد لكل من النص والجداول. نطلق سراح مجموعة بيانات متعددة الوسائط التي تم إنشاؤها حديثا للمجتمع بحيث يمكن استخدامها للتدريب والتقييم.
نظم توليد النص في كل مكان في تطبيقات معالجة اللغة الطبيعية.ومع ذلك، فإن تقييم هذه النظم يظل تحديا، خاصة في إعدادات متعددة اللغات.في هذه الورقة، نقترح L'Ambre - مقياس قياسي لتقييم صورة نصية مورفوسنكتاسية من النص باستخدام تحليل التبعية والقواعد المورفو
سنكتانية للغة.نقدم طريقة لاستخراج القواعد المختلفة التي تحكم morphosyntax مباشرة من Temessency Treebanks.لمعالجة النواتج الصاخبة من أنظمة جيل النص، نقترح منهجية بسيطة لتدريب المحللين القويين.نظهر فعالية قيادةنا في مهمة الترجمة الآلية من خلال دراسة DIACHRONIC للنظم ترجمة إلى لغات غنية بالمظورة.
في هذه الورقة، نقترح مجموعة بيانات تحليل المعنويات المشروح مصنوعة من نصوص البنغالية المكتوبة بشكل غير رسمي.تضم هذه البيانات هذه البيانات تعليقات عامة على الأخبار ومقاطع الفيديو التي تم جمعها من وسائل التواصل الاجتماعي تغطي 13 مجالات مختلفة، بما في ذل
ك السياسة والتعليم والزراعة.يتم تصنيف هذه التعليقات بأحد الملصقات القطبية، وهي إيجابية، سلبية، محايدة.واحدة من الخصائص المهمة من مجموعة البيانات هي أن كل من التعليقات صاخبة من حيث مزيج من اللهجات والتصميم النحوي.تظهر تجاربنا لتطوير نظام تصنيف معيار أن الميزات المعجمية المصنوعة يدويا توفر أداء فائقا من الشبكة العصبية ونماذج اللغة المحددة مسبقا.لقد جعلنا مجموعة البيانات والرسوم المصاحبة المقدمة في هذه الورقة متاحة للجمهور في https://git.io/juunb.
في هذه الدراسة، ندرس تغيير اللغة في Biji الصينية باستخدام مهمة التصنيف: تصنيف النصوص الصينية القديمة حسب الفترات الزمنية. على وجه التحديد، نحن نركز على نوع فريد من نوعه في الأدب الصيني الكلاسيكي: BIJI (حرفيا دفتر الملاحظات "أو الملاحظات الفرشاة")، أي
مجموعة من الحكايات، الاقتباسات، إلخ، أي شيء مؤلفين ينظرون إلى جديرة بالملاحظة، تمتد Biji مئات السنين عبر العديد من السلالات والحفاظ على لغة غير رسمية في شكل مكتوب. لهذه الأسباب، يعتبرون موردا جيدا لتحقيق تغيير اللغة في الصينية (فانغ، 2010). في هذه الورقة، نقوم بإنشاء مجموعة بيانات جديدة من 108 Biji عبر أربع سلالات. بناء على DataSet، نقدم أولا مهمة تصنيف الفترة الزمنية للصينيين. ثم نحقق في طرق تمثيل ميزة مختلفة للتصنيف. تظهر النتائج أن النماذج باستخدام المدينات السياقية تؤدي الأفضل. يؤكد تحليل لأعلى الميزات المختارة من قبل نموذج Word N-Gram (بعد التبييض الأسماء المناسبة) أن هذه الميزات مفيدة وتتوافق مع الملاحظات والافتراضات المقدمة من اللغويين التاريخيين.
باستخدام كجن من الرموز المجمعة من الدول الأمريكية التي تحتوي على أقسام قانون الضرائب المسمى، نقوم بتدريب نصوص النصوص لوضع علامة على وثائق القانون الضريبي تلقائيا، وعلاوة على تحديد مصدر الإيرادات المرتبط (على سبيل المثال الدخل أو الممتلكات أو المبيعات
).بعد تقييم أداء المصنف في بيانات الاختبار المحتفظ بها، نطبقها على جثة تاريخية لتشريعات الدولة الأمريكية لاستخراج تدفق القوانين ذات الصلة على مر السنين في عام 1910 حتى عام 2010. نحن نوثقة أن المصنفين فعالة في الكوربوس التاريخية، على سبيل المثالمن خلال اكتشاف مؤسسات الضرائب ذات الدخل الشخصي الحكومي.يتم نشر النماذج المدربة مع رمز النسخ المتماثل في https://github.com/luyang521/tax-classification.
تشمل النصوص التي تم إنشاؤها من قبل المستخدم أنواعا مختلفة من الخصائص الأسلوبية، أو الضوضاء.لا تتم معالجة مثل هذه النصوص بشكل صحيح من خلال محلل مورفيم الحاليين أو نماذج اللغة القائمة على النصوص الرسمية مثل الموسوعات أو المقالات الإخبارية.في هذه الورقة
، نقترح أذكيلة بسيطة مناسبة مورفولوجية (K-MT) التي يمكن أن تعالج بشكل أفضل الأسماء المعدنية والتعاوض واللغة العامية الإنترنت من بين أنواع أخرى من الضوضاء في النصوص التي تم إنشاؤها من قبل المستخدمين الكورية.لقد اختبرنا خصومنا من خلال إجراء مهام التصنيف في مراجعات الأفلام الكورية التي أنشأها المستخدم ومجموعات بيانات الكلام الكراهية، ومجموعات بيانات التعرف على الكيان الكورية.من خلال اختباراتنا، وجدنا أن K-MT مناسبا بشكل أفضل لمعالجة علاوات الإنترنت والأسماء المناسبة والتعاملات المعدنية، مقارنة بمحلل مورفيم ومزمله لوائح التحميم على مستوى الطابع.
