نقدم Dreamdrug، مجموعة بيانات التعيد الجماعي للكشف عن ذكرات الأدوية في قوائم البند الناتجة عن المستخدم الصاخبة من أسواق Darknet.تحتوي DataSet لدينا على ما يقرب من 15000 كيانات مخطوية مشروح يدويا في أكثر من 3500 من قوائم البند كشط من منصة Darknet Mark
et Dreammarket '' '' '' '' 'في عام 2017. نحن أيضا تدريب ونماذج خط الأساس للكشف عن هذه الكيانات، باستخدام نماذج اللغة السياقية التي تم ضبطها بشكل صحيحالإعداد وعلى مجموعة البيانات كاملة، وفحص تأثير الاحتجاج على الفورورا غير المخلفات داخل المجال.
يتطلب التعرف على الكيان المسمى MultiModal (MNER) سد الفجوة بين فهم اللغة والسياق المرئي.في حين أن العديد من التقنيات العصبية متعددة الوسائط قد تم اقتراح دمج الصور في مهمة MNER، فإن قدرة النموذج على الاستفادة من التفاعلات متعددة الوسائط لا تزال مفهومة
سيئة.في هذا العمل، نقوم بإجراء تحليلات متعمقة من تقنيات الانصهار متعددة الوسائط المتعددة من وجهات نظر مختلفة ووصف السيناريوهات حيث لا تؤدي إضافة معلومات من الصورة دائما إلى زيادة الأداء.ندرس أيضا استخدام التسميات التوضيحية كوسيلة لإثراء السياق ل MNER.تعرض التجارب في ثلاث مجموعات من المنصات الاجتماعية الشعبية عنق الزجاجة من النماذج متعددة الوسائط الحالية والحالات التي يستخدمها المساميرات مفيدة.
تركز معالجة اللغة الطبيعية الحالية بقوة على زيادة الدقة.يأتي التقدم بتكلفة نماذج فائقة الثقيلة مع مئات الملايين أو حتى مليارات المعلمات.ومع ذلك، فإن المهام النحوية البسيطة مثل وضع العلامات على جزء من الكلام (POS) أو تحليل التبعية أو التعرف على الكيان
المسمى (NER) لا تحتاج إلى أكبر النماذج لتحقيق نتائج مقبولة.تمشيا مع هذا الافتراض، نحاول تقليل حجم النموذج الذي ينفذ بشكل مشترك جميع المهام الثلاثة.نقدم Comboner: أداة خفيفة الوزن، أوامر ذات حجم أصغر من المحولات الحديثة.يعتمد على مدمج الكلمات الفرعية المدربة مسبقا بنية الشبكة العصبية المتكررة.يعمل COMBONER على بيانات اللغة البولندية.يحتوي النموذج على مخرجات لوضع العلامات على نقاط البيع والتحليل التبعية و NER.تحتوي ورقةنا على بعض الأفكار من ضبط النموذج الدقيق والتقارير عن نتائجها الإجمالية.
أظهرت الدراسات الحديثة في التعلم العميق تقدما كبيرا في التعرف على الكيان المسمى (NER).ومع ذلك، تفترض أن معظم الأعمال الموجودة تفرض شرحا نظيفا للبيانات، في حين أن سيناريوهات العالم الواقعي تشتمل عادة على كمية كبيرة من الضوضاء من مجموعة متنوعة من المصا
در (E.G.، الزائفة أو الضعيفة أو الشريحية البعيدة).يدرس هذا العمل ner تحت إعداد صاخبة تحمل تصنيف مع تقدير الثقة المعايرة.بناء على الملاحظات التجريبية لمختلف الديناميات التدريبية للتسميات الصاخبة والنظيفة، نقترح استراتيجيات لتقدير درجات الثقة بناء على افتراضات الاستقلال المحلية والعالمية.نحن نتهم جزئيا تسميات الثقة المنخفضة بنموذج CRF.نقترح طريقة معايرة لعشرات الثقة بناء على هيكل ملصقات الكيان.نحن ندمج نهجنا في إطار التدريب الذاتي لتعزيز الأداء.تجارب في إعدادات صاخبة عامة مع أربع لغات وإعدادات المسمى المسمى أظهرت فعالية طريقتنا.
تتمثل الوصفة الحالية لأداء نموذج أفضل داخل NLP في زيادة حجم نموذج البيانات والتدريب.في حين أن ذلك يعطينا نماذج مع نتائج رائعة بشكل متزايد، إلا أنها تجعل من الصعب تدريب ونشر نماذج أحدث ل NLP بسبب زيادة التكاليف الحاسوبية.ضغط النموذج هو مجال للبحث الذي
يهدف إلى تخفيف هذه المشكلة.يشمل هذا المجال أساليب مختلفة تهدف إلى الحفاظ على أداء نموذج أثناء تقليل حجمها.واحدة من هذه الأسلوب هو تقطير المعرفة.في هذه المقالة، نحقق في تأثير تقطير المعرفة لنماذج التعرف على الكيان المسمى باللغة السويدية.نظهر أنه في حين أن بعض نماذج علامات التسلسل تستفيد من تقطير المعرفة، وليس كل النماذج تفعل.هذا يطالبنا بطرح أسئلة حول المواقف التي تنفجر المعرفة النماذج مفيدة.نحن أيضا السبب في تأثير تقطير المعرفة على التكاليف الحاسوبية.
أداء النماذج العصبية للتعرف على الكيان المسمى يتحلل مع مرور الوقت، أصبحت قديمة.هذا التدهور يرجع إلى الانجراف الزمني، والتغيير في الخصائص الإحصائية المتغيرات المستهدفة لدينا مع مرور الوقت.هذه المسألة مشكلة خاصة لبيانات وسائل التواصل الاجتماعي، حيث تتغ
ير المواضيع بسرعة.من أجل التخفيف من المشكلة، فإن شرح البيانات وإعادة تدريب النماذج أمر شائع.على الرغم من فائدتها، فإن هذه العملية مكلفة وتستغرق وقتا طويلا، مما يحفز بحثا جديدا على التحديث النموذجي الفعال.في هذه الورقة، نقترح نهجا بديهيا لقياس الوعي المحتمل للتغريدات واستخدام هذا المقياس لتحديد أكثر الحالات إعلامية للاستخدام للتدريب.نقوم بإجراء تجارب على ثلاث نماذج من أحدث طراز على مجموعة بيانات Twitter الزمنية.يظهر نهجنا زيادة أكبر في دقة التنبؤ مع بيانات تدريب أقل من البدائل، مما يجعلها حل جذابة وعملية.
