إن عملية نقل إشارة الكلام بسرية عالية وبأسرع وقت عبر شبكة الانترنيت يحتاج إلى تطوير تقنيات كبس وتشفير إشارة الكلام، وذلك لتقليل حجمها وجعلها غير مفهومة للأشخاص غير المخولين بالاستماع إليها.
تم في هذا البحث تصميم نظام لتشفير الصوت عبر بروتوكو
ل الانترنيت (VoIP) واستخدام تقنيات الكبس لغرض تقليل حجم البيانات وإرسالها عبر الشبكة، إذ تم استخدام خوارزمية (A_law PCM) في كبس بيانات الصوت. ومن ثم تم تطبيق خوارزميتي التشفير المتكرر الثلاثي القياسي (TDES)، ومقياس التشفير المتقدم (AES). تم اقتراح خوارزمية تشفير جديدة تعتمد في أساس عملها على نظام التشفير الكتلي، أُطلق عليها اسم خوارزمية المباشر والمعكوس، حيث تعتمد على ثلاث خطوات أساسية وهي توسيع المفتاح الأولي، وتوجيه التشفير لكل دورة باتجاه معين، وكذلك تبديل الـ (Bytes) حسب صندوق التعويض المستخدم في خوارزمية AES وذلك بجعله متحركاً. تم حساب نسبة الكبس بصورة عامة وكانت 50%، وتمت مقارنة نتائج معامل الارتباط للخوارزمية المقترحة مع نتائج خوارزميتي (AES, TDES).
اكتسبت توصية الأخبار التلقائية الكثير من الاهتمام من المجتمع الأكاديمي والصناعة. تكشف الدراسات الحديثة أن مفتاح هذه المهمة يكمن في تعلم التمثيل الفعال في كل من الأخبار والمستخدمين. تعمل الأعمال الحالية عادة عنوان الأخبار والمحتوى بشكل منفصل مع إهمال
تفاعلها الدلالي، وهو غير كاف من أجل فهم نص الأخبار. إلى جانب ذلك، ترميز النماذج السابقة سجل تصفح المستخدم دون الاستفادة من الارتباط الهيكلي لأخبار استعراض المستخدمين لتعكس اهتمامات المستخدم صراحة. في هذا العمل، نقترح إطار توصية أخبار يتكون من ترميز الأخبار التعاونية (CNE) وترميز المستخدم الهيكلية (SUE) لتعزيز تعلم الأخبار وتمثيل المستخدم. CNE مجهزة LSTMS ثنائي الاتجاه ترميز عنوان الأخبار والمحتوى التعاوني مع الوحدات النمطية الشاملة والاهتمام لمعرفة تمثيل الأخبار الدلالية التفاعلية. تستخدم SUE الشبكات التنافسية الرسمية لاستخراج السمات الهيكلية الكتلة لسجل المستخدم، تليها وحدات الانتباه بين الكتلة والإنتباه إلى التعلم لتعلم تمثيلات فائدة المستخدم الهرمية. نتائج التجربة على DataSet العقل التحقق من صحة فعالية نموذجنا لتحسين أداء توصية الأخبار.
تقدم هذه الورقة ترميز تصحيح ذاتي (SECOCO)، وهو إطار يتعامل بشكل فعال مع المدخلات الصاخبة للترجمة الآلية العصبية القوية عن طريق إدخال تنبؤ تصحيح ذاتي.تختلف عن الأساليب القوية السابقة، تمكن SECOCO NMT من تصحيح المدخلات الصاخبة بشكل صريح وحذف أخطاء محدد
ة في وقت واحد مع عملية فك تشفير الترجمة.SECOCO قادرة على تحقيق تحسينات كبيرة على خطوط أساس قوية على مجموعتين لاختبار العالم الحقيقي ومجموعة بيانات معيار WMT مع إمكانية الترجمة الترجمة جيدة.سنجعل كودنا ومجموعات البيانات متاحة للجمهور قريبا.
برزت التعلم المتعدد المهام مع ترميز المحولات (MTL) كتقنية قوية لتحسين الأداء على المهام ذات الصلة عن كثب لكل من الدقة والكفاءة في حين أن السؤال لا يزال يبقى ما إذا كان من شأنه أن يؤدي ذلك على المهام المميزة أم لا بشكل جيد في الطبيعة أم لا. نقوم أولا
بإجراء نتائج MTL على خمس مهام NLP، POS، NER، DEP، CON، SRL، وتصوير نقصها على تعلم المهمة الفردية. ثم نقوم بإجراء تحليل جذري واسع النطاق لإظهار أن مجموعة معينة من رؤساء الاهتمام تعلن أن معظم المهام خلال MTL، والذين يتداخلون مع بعضهم البعض لضبط تلك الرؤوس لأهدافهم الخاصة. استنادا إلى هذا النتيجة، نقترح فرضية الخلايا الجذعية للكشف عن وجود اهتمام يرأس الموهوبين بشكل طبيعي للعديد من المهام التي لا يمكن تدريبها بشكل مشترك على إنشاء شرائح كافية لجميع تلك المهام. أخيرا، نقوم بتصميم تحقيقات خالية من المعلمات الجديدة لتبرير فرضيتنا وإظهار كيفية تحويل رؤساء الانتباه عبر المهام الخمسة خلال MTL من خلال تحليل الملصقات.
تم استخدام نماذج ترميز فك التشفير بشكل شائع للعديد من المهام مثل الترجمة الآلية وتوليد الاستجابة.كما ذكرت البحث السابق، تعاني هذه النماذج من توليد التكرار الزائد.في هذا البحث، نقترح آلية جديدة لنماذج تشفير التشفير التي تقدر الاختلاف الدلالي في جملة م
صدر قبل وبعد تغذية في نموذج فك التشفير لالتقاط الاتساق بين الجانبين.تساعد هذه الآلية في تقليل الرموز التي تم إنشاؤها مرارا وتكرارا لمجموعة متنوعة من المهام.نتائج التقييم على مجموعات بيانات توليد الترجمة والاستجابة المتاحة للجمهورية توضح فعالية اقتراحنا.
التعبيرات الاصطلاحية المحتملة (الفطائر) غامضة بين التفسيرات الاصطلاحية غير المركزة والتفسيرات الحرفية الشفافة. على سبيل المثال، اضغط على الطريق "" يمكن أن يكون له معنى اصطلاحي يقابل بدء رحلة "أو لديك تفسير حرفي. في هذه الورقة، نقترح نموذجا للإشراف عل
ى أساس تضمينات السياق للتنبؤ بما إذا كانت تهدف الفطائر هي اصطلاحي أو حرفي. نحن نفكر في تجارب أحادية اللغة باللغتين الإنجليزية والروسية، وتظهر أن النموذج المقترح يتفوق على النهج السابقة، بما في ذلك في حالة اختبار النموذج على حالات أنواع فطيرة لم يلاحظ أثناء التدريب. ثم نفكر في تجارب عبر اللغات التي يتم فيها تدريب النموذج على حالات فطيرة بلغة أو الإنجليزية أو الروسية، واختبارها على اللغة الأخرى. نجد أن النموذج يتفوق على خطوط الأساس في هذا الإعداد. تشير هذه النتائج إلى أن المدينات السياقية قادرة على تعلم التمثيلات التي ترميز معرفة الاصطلاحية غير المقصورة على تعبيرات محددة، ولا لغة محددة.
تتطلب تضمين الوثائق الحالية شركة تدريبية كبيرة ولكنها تفشل في تعلم تمثيلات عالية الجودة عند مواجهة عدد صغير من المستندات الخاصة بالمجال والشروط النادرة. علاوة على ذلك، يقومون بتحويل كل وثيقة إلى متجه تضمين واحد، مما يجعل من الصعب التقاط مفاهيم مختلفة
من تشابه الوثيقة أو شرح سبب اعتبار المستندين مماثلة. في هذا العمل، نقترح تشفير المجال الأوجه لدينا، ونهج رواية لتعلم Admeddings متعددة الأوجه للمستندات الخاصة بالمجال. يعتمد ذلك على بنية شبكة عصبية سيامي ويعزز الرسوم البيانية المعرفة لتعزيز المدينات حتى لو كانت بعض عينات التدريب فقط متوفرة. يحدد النموذج أنواعا مختلفة من معرفة المجال وترميزها في أبعاد منفصلة من التضمين، مما يتيح طرق متعددة لإيجاد ومقارنة المستندات ذات الصلة في مساحة المتجهات. نقيم نهجنا على مجموعة بيانات قياسية وتجد أنه يحقق نفس جودة التضمين كطرازات حديثة بينما تتطلب سوى جزء صغير من بيانات التدريب الخاصة بهم فقط. تتوفر تجريبي تفاعلي ومجموعاتنا المصدر ومجموعات بيانات التقييم عبر الإنترنت: https://hpi.de/naumann/s/multifaceted-emberdings و screencast متاح على Youtube: https://youtu.be/hhcsx2clewg
نحن غالبا ما نستخدم الاضطرابات لتنظيم النماذج العصبية.بالنسبة للكشف عن المشفر العصبي، طبقت الدراسات السابقة أخذ العينات المجدولة (بنغيو وآخرون.، 2015) والاضطرابات الخصومة (SATO et al.، 2019) كشراءات ولكن هذه الطرق تتطلب وقتا حسابيا كبيرا.وبالتالي، فإ
ن هذه الدراسة تعالج مسألة ما إذا كانت هذه الأساليب فعالة بما يكفي لتدريب الوقت.قارنا العديد من الاضطرابات في مشاكل التسلسل إلى التسلسل فيما يتعلق بالوقت الحاسوبية.تظهر النتائج التجريبية أن التقنيات البسيطة مثل Hold Dropout (GAL و GHAHRAMANI، 2016) واستبدال عشوائي من الرموز المدخلات يحققون درجات قابلة للمقارنة (أو أفضل) إلى الاضطرابات المقترحة مؤخرا، على الرغم من أن هذه الطرق البسيطة أسرع.
قدمت نماذج تسلسل إلى تسلسل نتائج رائعة في مهام تكوين الكلمات مثل الانعطاف المورفولوجي، وغالبا ما تعلم نموذج التفاصيل المورفهولوجية الدقيقة مع بيانات تدريب محدودة. على الرغم من الأداء، فإن عتامة النماذج العصبية تجعل من الصعب تحديد ما إذا كانت التعميما
ت المعقدة تعلمت، أو ما إذا كان هناك نوع من تحفيظ منفصل عن ظهر قلب كل عملية مورفوفونية يحدث. للتحقيق في ما إذا كانت بدائل معقدة تم حفظها ببساطة أو ما إذا كان هناك مستوى من التعميم عبر التغييرات الصوتية ذات الصلة في نموذج تسلسل إلى تسلسل، فإننا نقوم بإجراء العديد من التجارب على التدرج السيكوني الفنلندي --- مجموعة معقدة من التغييرات الصوتية التي تنطلق في بعض الكلمات من خلال بعض اللواحق. نجد أن نماذجنا في كثير من الأحيان --- على الرغم من أنها ليست دائما --- تشفير 17 عملية مختلفة التدرج الساكن في حفنة من الأبعاد في RNN. نظهر أيضا أنه من خلال تحجيم التنشيط في هذه الأبعاد، يمكننا السيطرة على ما إذا كان التدرج السيكوني يحدث واتجاه التدريج.
الحوسبة الكمومية، كأداة واعدة لحل المسائل المستحيلة في الحوسبة التقليدية نظراً لتعقيدها الأسي، مزاياها الخارقة، معيقاتها، أدواتها الفيزيائية والبرمجية، بالإضافة للوضع الراهن ورءيا مستقبلية
