Enriching and Controlling Global Semantics for Text Summarization

• DOI: 10.60692/zjmxr-2qs51
• Publication Date: 2021-01-01
• Authors: Thong Nguyen; Anh Tuan Luu; Truc Lu; Tho Quan
• Keywords: FOS: Computer and information sciences; Syntax-based Translation Models; Neural Machine Translation; Artificial intelligence; FOS: Political science; FOS: Law; Automatic summarization; 02 engineering and technology; Quantum mechanics; Artificial Intelligence; 0202 electrical engineering, electronic engineering, information engineering; Information retrieval; Multi-document summarization; Political science; Natural Language Processing; Transformer; Computer Science - Computation and Language; Topic Modeling; Natural language processing; Physics; Word Representation; Politics; Semantics (computer science); Voltage; Statistical Machine Translation and Natural Language Processing; Computer science; Language Modeling; Programming language; Automatic Keyword Extraction from Textual Data; Computer Science; Physical Sciences; Dependency (UML); Computation and Language (cs.CL); Representation (politics); Law

Recently, Transformer-based models have been proven effective in the abstractive summarization task by creating fluent and informative summaries.Nevertheless, these models still suffer from the short-range dependency problem, causing them to produce summaries that miss the key points of document.In this paper, we attempt to address this issue by introducing a neural topic model empowered with normalizing flow to capture the global semantics of the document, which are then integrated into the summarization model.In addition, to avoid the overwhelming effect of global semantics on contextualized representation, we introduce a mechanism to control the amount of global semantics supplied to the text generation module.Our method outperforms state-of-the-art summarization models on five common text summarization datasets, namely CNN/DailyMail, XSum, Reddit TIFU, arXiv, and PubMed.<br/>Recientemente, los modelos basados en Transformer han demostrado ser efectivos en la tarea de resumen abstracto mediante la creación de resúmenes fluidos e informativos. Sin embargo, estos modelos aún sufren del problema de dependencia de corto alcance, lo que hace que produzcan resúmenes que pierden los puntos clave del documento. En este documento, intentamos abordar este problema mediante la introducción de un modelo de tema neuronal potenciado con flujo normalizador para capturar la semántica global del documento, que luego se integran en el modelo de resumen. Además, para evitar el efecto abrumador de la semántica global en la representación contextualizada, introducimos un mecanismo para controlar la cantidad de semántica global suministrada al módulo de generación de texto. Nuestro método supera a los modelos de resumen de vanguardia en cinco conjuntos de datos de resumen de texto comunes, a saber, CNN/DailyMail, XSum, Reddit TIFU, arXiv y PubMed.<br/>Récemment, les modèles basés sur les transformateurs se sont révélés efficaces dans la tâche de synthèse abstraite en créant des résumés fluides et informatifs. Cependant, ces modèles souffrent toujours du problème de dépendance à court terme, ce qui les amène à produire des résumés qui manquent les points clés du document. Dans cet article, nous tentons de résoudre ce problème en introduisant un modèle de sujet neuronal doté d'un flux de normalisation pour capturer la sémantique globale du document, qui sont ensuite intégrés dans le modèle de synthèse. En outre, pour éviter l'effet écrasant de la sémantique globale sur la représentation contextualisée, nous introduisons un mécanisme pour contrôler la quantité de sémantique globale fournie au module de génération de texte. Notre méthode surpasse les modèles de synthèse de pointe sur cinq ensembles de données de synthèse de texte courants, à savoir CNN/DailyMail, XSum, Reddit TIFU, arXiv et PubMed.<br/>في الآونة الأخيرة، أثبتت النماذج القائمة على المحولات فعاليتها في مهمة التلخيص التجريدي من خلال إنشاء ملخصات بطلاقة وغنية بالمعلومات. ومع ذلك، لا تزال هذه النماذج تعاني من مشكلة التبعية قصيرة المدى، مما يجعلها تنتج ملخصات تفوت النقاط الرئيسية للوثيقة. في هذه الورقة، نحاول معالجة هذه المشكلة من خلال تقديم نموذج موضوع عصبي مدعوم بتدفق تطبيعي لالتقاط الدلالات العالمية للوثيقة، والتي يتم دمجها بعد ذلك في نموذج التلخيص. بالإضافة إلى ذلك، لتجنب التأثير الساحق للدلالات العالمية على التمثيل السياقي، نقدم آلية للتحكم في كمية الدلالات العالمية المقدمة إلى وحدة توليد النص. تتفوق طريقتنا على أحدث نماذج التلخيص في خمس مجموعات بيانات لتلخيص النص الشائعة، وهي CNN/DailyMail و XSum و Reddit TIFU و arXiv و PubMed.<br/>