تعميمات لغوية فعالة للعينة من خلال توليف البرامج: تجارب مع مشاكل علم الصوتيات

النماذج العصبية تتفوق في استخراج الأنماط الإحصائية من كميات كبيرة من البيانات، ولكن الكفاح لتعلم أنماط أو سبب حول اللغة من بعض الأمثلة فقط.في هذه الورقة، نسأل: هل يمكننا أن نتعلم قواعد واضحة تعميم بئر من بعض الأمثلة فقط؟نستكشف هذا السؤال باستخدام تخليق البرنامج.نقوم بتطوير نموذج توليف لتعلم قواعد علم الأصوات كبرامج في لغة خاصة بالمجال.نحن نختبر قدرة نماذجنا على التعميم من بعض الأمثلة التدريبية باستخدام مجموعة بياناتنا الجديدة من مشاكل اللغويات أولمبياد، وهي مجموعة صعبة من المهام التي تتطلب قدرة التفكير اللغوي القوي.بالإضافة إلى كونها كفاءة عالية، فإن نهجنا يولد برامج قابلة للقراءة البشرية، وتسمح بالتحكم في تعميم البرامج المستفادة.

Neural models excel at extracting statistical patterns from large amounts of data, but struggle to learn patterns or reason about language from only a few examples. In this paper, we ask: Can we learn explicit rules that generalize well from only a few examples? We explore this question using program synthesis. We develop a synthesis model to learn phonology rules as programs in a domain-specific language. We test the ability of our models to generalize from few training examples using our new dataset of problems from the Linguistics Olympiad, a challenging set of tasks that require strong linguistic reasoning ability. In addition to being highly sample-efficient, our approach generates human-readable programs, and allows control over the generalizability of the learnt programs.