Generate & Rank: A Multi-task Framework for Math Word Problems

• DOI: 10.18653/v1/2021.findings-emnlp.195
• Publication Date: 2021-12-28T17:24:05Z
• Authors: Jianhao Shen; Yichun Yin; Lin Li; Lifeng Shang; Xin Jiang; Ming Zhang; Qun Liu
• Keywords: FOS: Computer and information sciences; Artificial intelligence; Economics; 02 engineering and technology; 01 natural sciences; Task (project management); Mathematical Information Retrieval and Search; 0202 electrical engineering, electronic engineering, information engineering; Sequence labeling; Source code; Computer Science - Computation and Language; Geography; Topic Modeling; Programming language; Management; Computational Theory and Mathematics; Learning to rank; Rank (graph theory); Physical Sciences; Tree (set theory); Computation and Language (cs.CL); Geodesy; Computer Science - Artificial Intelligence; Generative grammar; Word (group theory); Geometry; Set (abstract data type); Mathematical analysis; Artificial Intelligence; Machine learning; FOS: Mathematics; Genetics; Mathematical Information Retrieval; Biology; Natural Language Processing; 0105 earth and related environmental sciences; Math Question Answering; Code (set theory); Natural language processing; Word Representation; Ranking (information retrieval); Statistical Machine Translation and Natural Language Processing; Computer science; Language Modeling; Artificial Intelligence (cs.AI); Combinatorics; FOS: Biological sciences; Computer Science; Benchmark (surveying); Mathematics; Sequence (biology)

Math word problem (MWP) is a challenging and critical task in natural language processing.Many recent studies formalize MWP as a generation task and have adopted sequence-tosequence models to transform problem descriptions to mathematical expressions.However, mathematical expressions are prone to minor mistakes while the generation objective does not explicitly handle such mistakes.To address this limitation, we devise a new ranking task for MWP and propose Generate & Rank, a multi-task framework based on a generative pre-trained language model.By joint training with generation and ranking, the model learns from its own mistakes and is able to distinguish between correct and incorrect expressions.Meanwhile, we perform tree-based disturbance specially designed for MWP and an online update to boost the ranker.We demonstrate the effectiveness of our proposed method on the benchmark and the results show that our method consistently outperforms baselines in all datasets.Particularly, in the classical Math23k, our method is 7% (78.4% → 85.4%) higher than the state-of-the-art 1 .<br/>El problema matemático de palabras (MWP) es una tarea desafiante y crítica en el procesamiento del lenguaje natural. Muchos estudios recientes formalizan el MWP como una tarea de generación y han adoptado modelos de secuencia-tosecuencia para transformar las descripciones de problemas en expresiones matemáticas. Sin embargo, las expresiones matemáticas son propensas a errores menores, mientras que el objetivo de generación no maneja explícitamente tales errores. Para abordar esta limitación, ideamos una nueva tarea de clasificación para MWP y proponemos Generate & Rank, un marco multitarea basado en un modelo generativo de lenguaje preentrenado. Mediante la capacitación conjunta con la generación y la clasificación, el modelo aprende de sus propios errores y es capaz de distinguir entre expresiones correctas e incorrectas. Mientras tanto, realizamos una perturbación basada en árboles especialmente diseñada para MWP y una actualización en línea para aumentar el ranking. Demostramos la efectividad de nuestro método propuesto en el punto de referencia y los resultados muestran que nuestro método supera constantemente las líneas de base en todos los conjuntos de datos. Particularmente, en el Math23k clásico, nuestro método es 7% (78.4% → 85.4%) más alto que el estado del arte 1 .<br/>Le problème des mots mathématiques (MWP) est une tâche difficile et critique dans le traitement du langage naturel. De nombreuses études récentes formalisent le MWP en tant que tâche de génération et ont adopté des modèles séquence-séquence pour transformer les descriptions de problèmes en expressions mathématiques. Cependant, les expressions mathématiques sont sujettes à des erreurs mineures alors que l'objectif de génération ne gère pas explicitement ces erreurs. Pour remédier à cette limitation, nous concevons une nouvelle tâche de classement pour le MWP et proposons Generate & Rank, un cadre multi-tâches basé sur un modèle de langage pré-entraîné génératif. Par un entraînement conjoint avec la génération et le classement, le modèle apprend de ses propres erreurs et est capable de distinguer les expressions correctes et incorrectes. Pendant ce temps, nous effectuons une perturbation basée sur les arbres spécialement conçue pour le MWP et une mise à jour en ligne pour améliorer le classement. Nous démontrons l'efficacité de notre méthode proposée sur le benchmark et les résultats montrent que notre méthode surpasse constamment les lignes de base dans tous les ensembles de données. En particulier, dans le Math23k classique, notre méthode est 7% (78,4% → 85,4%) plus élevée que l'état de l'art. 1 .<br/>تعد مشكلة الكلمات الرياضية (MWP) مهمة صعبة وحاسمة في معالجة اللغة الطبيعية. تضفي العديد من الدراسات الحديثة الطابع الرسمي على MWP كمهمة جيل واعتمدت نماذج تسلسل لتحويل أوصاف المشكلة إلى تعبيرات رياضية. ومع ذلك، فإن التعبيرات الرياضية عرضة لأخطاء طفيفة في حين أن هدف الجيل لا يتعامل صراحة مع مثل هذه الأخطاء. لمعالجة هذا القيد، نضع مهمة تصنيف جديدة لـ MWP ونقترح إنشاء وترتيب، وهو إطار متعدد المهام يعتمد على نموذج لغة توليدية مدربة مسبقًا. من خلال التدريب المشترك مع التوليد والترتيب، يتعلم النموذج من أخطائه الخاصة ويكون قادرًا على التمييز بين التعبيرات الصحيحة وغير الصحيحة. وفي الوقت نفسه، نؤدي اضطرابًا قائمًا على الأشجار مصممًا خصيصًا لـ MWP وتحديثًا عبر الإنترنت لتعزيز المرتبة. نوضح فعالية طريقتنا المقترحة على المعيار وتظهر النتائج أن طريقتنا تتفوق باستمرار على خطوط الأساس في جميع البيانات. على وجه الخصوص، في طريقة Mathk23 الكلاسيكية، هي 78.4 ٪ → (85 ٪) أعلى من الحالة الأولى .<br/>