topic aware evidence reasoning and stance aware aggregation for fact verification

• DOI: 10.60692/my99h-mme89
• Publication Date: 2021-01-01
• Authors: Jiasheng Si; Deyu Zhou; Tongzhe Li; Xingyu Shi; Yulan He
• Keywords: FOS: Computer and information sciences; Cognitive science; Artificial intelligence; Computer Science - Artificial Intelligence; Volume (thermodynamics); Association (psychology); Computational linguistics; Epistemology; 02 engineering and technology; Semantic Similarity; Quantum mechanics; Engineering; Artificial Intelligence; Aspect-based Sentiment Analysis; 0202 electrical engineering, electronic engineering, information engineering; Psychology; Natural Language Processing; Computer Science - Computation and Language; Architectural engineering; Topic Modeling; Natural language processing; Physics; Linguistics; Named Entity Recognition; Computer science; FOS: Philosophy, ethics and religion; Automatic Keyword Extraction from Textual Data; FOS: Psychology; Philosophy; Artificial Intelligence (cs.AI); Sentiment Analysis and Opinion Mining; Joint (building); Computer Science; Physical Sciences; FOS: Languages and literature; Textual Data; Computation and Language (cs.CL)

La verificación de hechos es una tarea desafiante que requiere razonar y agregar simultáneamente múltiples piezas de evidencia recuperadas para evaluar la veracidad de una afirmación. Los enfoques existentes generalmente (i) exploran la interacción semántica entre la afirmación y la evidencia en diferentes niveles de granularidad, pero no logran capturar su consistencia tópica durante el proceso de razonamiento, lo que creemos que es crucial para la verificación; (ii) agregan múltiples piezas de evidencia por igual sin considerar sus posturas implícitas a la afirmación, introduciendo así información falsa. Para aliviar los problemas anteriores, proponemos un nuevo razonamiento de evidencia topicaware y un modelo de agregación consciente de la postura para una verificación de hechos más precisa, con las siguientes cuatro propiedades clave: 1) verificar la consistencia tópica entre la afirmación y la evidencia; 2) mantener la coherencia tópica entre múltiples piezas de evidencia; 3) garantizar la similitud semántica entre la información global del tema y la representación semántica de la evidencia; 4) agregar evidencia basada en sus posturas implícitas a la afirmación. Los experimentos exhaustivos realizados en los dos conjuntos de datos de referencia demuestran la superioridad del modelo propuesto sobre varios enfoques de vanguardia para la verificación de hechos.<br/>Fact verification is a challenging task that requires simultaneously reasoning and aggregating over multiple retrieved pieces of evidence to evaluate the truthfulness of a claim.Existing approaches typically (i) explore the semantic interaction between the claim and evidence at different granularity levels but fail to capture their topical consistency during the reasoning process, which we believe is crucial for verification; (ii) aggregate multiple pieces of evidence equally without considering their implicit stances to the claim, thereby introducing spurious information.To alleviate the above issues, we propose a novel topicaware evidence reasoning and stance-aware aggregation model for more accurate fact verification, with the following four key properties: 1) checking topical consistency between the claim and evidence; 2) maintaining topical coherence among multiple pieces of evidence; 3) ensuring semantic similarity between the global topic information and the semantic representation of evidence; 4) aggregating evidence based on their implicit stances to the claim.Extensive experiments conducted on the two benchmark datasets demonstrate the superiority of the proposed model over several state-of-the-art approaches for fact verification.<br/>La vérification des faits est une tâche difficile qui nécessite simultanément un raisonnement et une agrégation sur plusieurs éléments de preuve récupérés pour évaluer la véracité d'une allégation. Les approches existantes consistent généralement à (i) explorer l'interaction sémantique entre l'allégation et la preuve à différents niveaux de granularité, mais ne parviennent pas à capturer leur cohérence topique au cours du processus de raisonnement, ce qui nous semble crucial pour la vérification ; (ii) agréger plusieurs éléments de preuve de manière égale sans tenir compte de leurs positions implicites par rapport à l'allégation, introduisant ainsi des informations fallacieuses. Pour atténuer les problèmes ci-dessus, nous proposons un nouveau modèle d'agrégation de preuves et de prises de position pour une vérification des faits plus précise, avec les quatre propriétés clés suivantes : 1) vérifier la cohérence topique entre l'allégation et la preuve ; 2) maintenir la cohérence topique entre plusieurs éléments de preuve ; 3) assurer la similitude sémantique entre les informations globales sur le sujet et la représentation sémantique des preuves ; 4) agréger les preuves sur la base de leurs positions implicites par rapport à l'allégation. Des expériences approfondies menées sur les deux ensembles de données de référence démontrent la supériorité du modèle proposé par rapport à plusieurs approches de pointe pour la vérification des faits.<br/>يعد التحقق من الحقائق مهمة صعبة تتطلب الاستدلال والتجميع في وقت واحد على أجزاء متعددة من الأدلة المسترجعة لتقييم صحة الادعاء .النهج الموجودة عادة (1) استكشاف التفاعل الدلالي بين الادعاء والأدلة على مستويات مختلفة من التفصيل ولكنها تفشل في التقاط اتساقها الموضعي أثناء عملية الاستدلال، والتي نعتقد أنها حاسمة للتحقق ؛ (2) تجميع أجزاء متعددة من الأدلة بالتساوي دون النظر في مواقفها الضمنية من الادعاء، وبالتالي تقديم معلومات زائفة .لتخفيف القضايا المذكورة أعلاه، نقترح نموذجًا جديدًا للتفكير في الأدلة والوعي بالوقفة من أجل التحقق من الحقائق بشكل أكثر دقة، مع الخصائص الرئيسية الأربعة التالية: 1) التحقق من الاتساق الموضعي بين الادعاء والأدلة ؛ 2) الحفاظ على التماسك الموضعي بين أجزاء متعددة من الأدلة ؛ 3) ضمان التشابه الدلالي بين معلومات الموضوع العالمية والتمثيل الدلالي للأدلة ؛ 4) تجميع الأدلة بناءً على مواقفها الضمنية من الادعاء .التجارب المكثفة التي أجريت على مجموعتين مرجعيتين تثبت التفوق المقترح للنموذج على العديد من أساليب التحقق من الحقائق.<br/>