في توليد السؤال، يجب أن يكون السؤال الناتج يرتبطا جيدا وغالبا ما يتعلق بالإجابة بمثابة المدخلات. استمتعت أساليب الجيل العصبي في الغالب بالدليل التوزيعي للكلمات كإجراءات ذات معنى وتوليد أسئلة واحدة في وقت واحد. في هذه الورقة، نستكشف إمكانية الترميزات المستندة إلى النماذج والمزيد من الروائح المحبوسة، مثل تمثيلات الشخصية أو الكلمات الفرعية لجيل السؤال. نبدأ من هندسة SEQ2SEQ النموذجية باستخدام Word Ageddings المقدمة من De Kuthy et al. (2020)، الذين يولدون أسئلة من النص بحيث الإجابة المقدمة في مبارات نص الإدخال ليس فقط في معنى ولكن أيضا في شكل، تلبية متطابقة إجابة الأسئلة. نظهر أن النماذج المدربة على الطابع والتمثيلات الفرعية تتفوق بشكل كبير على النتائج المنشورة بناء على embeddings Word، وتقوم بذلك مع عدد أقل من المعلمات. نهجنا يلغي مشكلتين مهمتين للنهج القائم على الكلمة: ترميز الكلمات النادرة أو غير المفردات والاستبدال غير الصحيح للكلمات مع تلك ذات الصلة بالتنسيق. يحسن النموذج المستند إلى الطابع بشكل كبير على النتائج المنشورة، سواء من حيث درجات بلو واعتبار جودة السؤال الذي تم إنشاؤه. يتجاوز المهمة المحددة، تضيف هذه النتيجة إلى الأدلة التي تزن تمثيلات مختلفة من النماذج والمعنى لمهام معالجة اللغة الطبيعية.