في هذه الورقة، نستكشف مهمة توليد أوصاف اللغة الطبيعية تلقائيا لأنماط بارزة في سلسلة زمنية، مثل أسعار الأسهم لشركة أكثر من أسبوع. يجب أن يكون نموذج لهذه المهمة قادرا على استخراج أنماط رفيعة المستوى مثل وجود ذروة أو تراجع. في حين أن النماذج العصبية المعاصرة النموذجية مع آليات الاهتمام يمكن أن تولد أوصاف إخراج بطلاقة لهذه المهمة، فإنها غالبا ما تولد أوصاف غير صحيحة في الواقع. نقترح نموذجا حسابيا مع بنية شرائط للحقيقة تعمل أولا البرامج المستفادة الصغيرة على سلسلة وقت الإدخال، ثم يحدد البرامج / الأنماط التي تمسك بالإدخال المحدد، وأخيرا ظروف * فقط * البرنامج الصحيح الذي تم اختياره (بدلا من ذلك من سلسلة وقت الإدخال) لتوليد وصف نص الإخراج. يتم إنشاء برنامج في طرازنا من الوحدات النمطية، وهي شبكات عصبية صغيرة مصممة لالتقاط الأنماط العددية والمعلومات الزمنية. يتم تقاسم الوحدات النمطية عبر برامج متعددة، مما يتيح التركيبية وكذلك التعلم الفعال لمعلمات الوحدة النمطية. إن الوحدات النمطية، وكذلك تكوين الوحدات النمطية، غير مقصودة في البيانات، ونحن نتعلمهم في أزياء نهاية إلى نهاية مع إشارة التدريب الوحيدة القادمة من أوصاف نص اللغة الطبيعية المصاحبة. نجد أن النموذج المقترح قادر على توليد التسميات التوضيحية عالية الدقة على الرغم من أننا نعتبر مساحة صغيرة وبسيطة من أنواع الوحدات النمطية.
In this paper, we explore the task of automatically generating natural language descriptions of salient patterns in a time series, such as stock prices of a company over a week. A model for this task should be able to extract high-level patterns such as presence of a peak or a dip. While typical contemporary neural models with attention mechanisms can generate fluent output descriptions for this task, they often generate factually incorrect descriptions. We propose a computational model with a truth-conditional architecture which first runs small learned programs on the input time series, then identifies the programs/patterns which hold true for the given input, and finally conditions on *only* the chosen valid program (rather than the input time series) to generate the output text description. A program in our model is constructed from modules, which are small neural networks that are designed to capture numerical patterns and temporal information. The modules are shared across multiple programs, enabling compositionality as well as efficient learning of module parameters. The modules, as well as the composition of the modules, are unobserved in data, and we learn them in an end-to-end fashion with the only training signal coming from the accompanying natural language text descriptions. We find that the proposed model is able to generate high-precision captions even though we consider a small and simple space of module types.
References used
https://aclanthology.org/
We propose a rolling version of the Latent Dirichlet Allocation, called RollingLDA. By a sequential approach, it enables the construction of LDA-based time series of topics that are consistent with previous states of LDA models. After an initial mode
Probing experiments investigate the extent to which neural representations make properties---like part-of-speech---predictable. One suggests that a representation encodes a property if probing that representation produces higher accuracy than probing
How to generate summaries of different styles without requiring corpora in the target styles, or training separate models? We present two novel methods that can be deployed during summary decoding on any pre-trained Transformer-based summarization mo
حظيت نمذجة وتوقع السلاسل الزمنية بأهمية كبيرة في العديد من المجالات التطبيقية كالتنبؤ بالطقس وأسعار العملات ومعدلات استهلاك الوقود والكهرباء، إن توقع السلاسل الزمنية من شأنه أن يزود المنظمات والشركات بالمعلومات الضرورية لاتخاذ القرارات الهامة، وبسبب
Deriving and modifying graphs from natural language text has become a versatile basis technology for information extraction with applications in many subfields, such as semantic parsing or knowledge graph construction. A recent work used this techniq