إعادة إعمار خط قابل للتطوير مع فتحات كامنة مزدوجة

نقترح نموذجا عاما عميقا يقوم بإجراء تحليل الطباعة وإعادة بناء الخط عن طريق تعلم أنواع DESENTANGLED من كل من نمط الخط وشكل الأحرف. يتيح لنمنا نهجنا على زيادة عدد أنواع الأحرف التي يمكننا النموذج بشكل فعال مقارنة بالطرق السابقة. على وجه التحديد، نستنتج المتغيرات الكامنة المنفصلة التي تمثل الشخصية والخط عبر زوج من شبكات الاستدلال التي تأخذ كمجموعات مدخلات من الحروفية التي تشترك كلها إما كوعي حرف، أو تنتمي إلى الخط نفسه. يتيح هذا التصميم طرازنا التعميم مع الشخصيات التي لم يتم ملاحظتها أثناء وقت التدريب، وهي مهمة مهمة في ضوء Sparsity النسبية لمعظم الخطوط. لقد طرحنا أيضا خسارة جديدة، مكيفة من العمل السابق التي تقيس احتمال استخدام توزيع متكيف في مساحة متوقعة، مما يؤدي إلى المزيد من الصور الطبيعية دون الحاجة إلى تمييز. نحن نقيم في مهمة إعادة بناء الخط على مجموعات البيانات المختلفة التي تمثل أنواع الأحرف من العديد من اللغات، ومقارنة إيجابية لأنظمة نقل النمط الحديث وفقا لمقاييس كل من المقاييس التلقائية والتقييم يدويا.

We propose a deep generative model that performs typography analysis and font reconstruction by learning disentangled manifolds of both font style and character shape. Our approach enables us to massively scale up the number of character types we can effectively model compared to previous methods. Specifically, we infer separate latent variables representing character and font via a pair of inference networks which take as input sets of glyphs that either all share a character type, or belong to the same font. This design allows our model to generalize to characters that were not observed during training time, an important task in light of the relative sparsity of most fonts. We also put forward a new loss, adapted from prior work that measures likelihood using an adaptive distribution in a projected space, resulting in more natural images without requiring a discriminator. We evaluate on the task of font reconstruction over various datasets representing character types of many languages, and compare favorably to modern style transfer systems according to both automatic and manually-evaluated metrics.