Classifying Relations via Long Short Term Memory Networks along Shortest Dependency Paths

• DOI: 10.18653/v1/d15-1206
• Publication Date: 2015-12-15T11:53:04Z
• Authors: Yan Xu; Lili Mou; Ge Li; Yunchuan Chen; Hao Peng; Zhi Jin
• Keywords: FOS: Computer and information sciences; Artificial neural network; Computer Science - Machine Learning; Artificial intelligence; Semi-Supervised Learning; Recurrent neural network; Representation Learning; 02 engineering and technology; Quantum mechanics; Term (time); Machine Learning (cs.LG); Artificial Intelligence; Multi-label Text Classification in Machine Learning; 0202 electrical engineering, electronic engineering, information engineering; Multi-label Learning; Natural Language Processing; Computer Science - Computation and Language; Physics; Named Entity Recognition; Computer science; Long short term memory; Relational Data Modeling; Computer Science; Physical Sciences; Dependency (UML); Graph Neural Network Models and Applications; Computation and Language (cs.CL)

Relation classification is an important research arena in the field of natural language processing (NLP).In this paper, we present SDP-LSTM, a novel neural network to classify the relation of two entities in a sentence.Our neural architecture leverages the shortest dependency path (SDP) between two entities; multichannel recurrent neural networks, with long short term memory (LSTM) units, pick up heterogeneous information along the SDP.Our proposed model has several distinct features: (1) The shortest dependency paths retain most relevant information (to relation classification), while eliminating irrelevant words in the sentence.(2) The multichannel LSTM networks allow effective information integration from heterogeneous sources over the dependency paths.(3) A customized dropout strategy regularizes the neural network to alleviate overfitting.We test our model on the SemEval 2010 relation classification task, and achieve an F 1 -score of 83.7%, higher than competing methods in the literature.<br/>La classification des relations est un domaine de recherche important dans le domaine du traitement du langage naturel (NLP). Dans cet article, nous présentons SDP-LSTM, un nouveau réseau neuronal pour classer la relation de deux entités dans une phrase. Notre architecture neuronale tire parti du chemin de dépendance le plus court (SDP) entre deux entités ; les réseaux neuronaux récurrents multicanaux, avec des unités de mémoire à long terme (LSTM), captent des informations hétérogènes le long du SDP. Notre modèle proposé présente plusieurs caractéristiques distinctes : (1) Les chemins de dépendance les plus courts conservent les informations les plus pertinentes (à la classification des relations), tout en éliminant les mots non pertinents dans la phrase.(2) Les réseaux LSTM multicanaux permettent une intégration efficace des informations provenant de sources hétérogènes sur les chemins de dépendance.(3) Une stratégie d'abandon personnalisée régularise le réseau neuronal pour atténuer le surajustement. Nous testons notre modèle sur la tâche de classification des relations SemEval 2010 et obtenons un score F1 de 83,7 %, supérieur aux méthodes concurrentes de la littérature.<br/>La clasificación de relaciones es un campo de investigación importante en el campo del procesamiento del lenguaje natural (PNL). En este documento, presentamos SDP-LSTM, una nueva red neuronal para clasificar la relación de dos entidades en una oración. Nuestra arquitectura neuronal aprovecha la ruta de dependencia más corta (SDP) entre dos entidades; las redes neuronales recurrentes multicanal, con unidades de memoria a largo plazo (LSTM), recogen información heterogénea a lo largo del SDP. Nuestro modelo propuesto tiene varias características distintas: (1) Las rutas de dependencia más cortas conservan la información más relevante (para la clasificación de relaciones), al tiempo que eliminan palabras irrelevantes en la oración.(2) Las redes LSTM multicanal permiten una integración efectiva de la información desde fuentes heterogéneas a través de las rutas de dependencia.(3) Una estrategia de abandono personalizada regulariza la red neuronal para aliviar el sobreajuste. Probamos nuestro modelo en la tarea de clasificación de relaciones SemEval 2010 y logramos una puntuación F1 del 83,7%, más alta que los métodos de la competencia en la literatura.<br/>تصنيف العلاقة هو مجال بحثي مهم في مجال معالجة اللغة الطبيعية. في هذه الورقة، نقدم SDP - LSTM، وهي شبكة عصبية جديدة لتصنيف العلاقة بين كيانين في جملة واحدة. تستفيد بنيتنا العصبية من أقصر مسار تبعية (SDP) بين كيانين ؛ الشبكات العصبية المتكررة متعددة القنوات، مع وحدات الذاكرة قصيرة المدى (LSTM)، تلتقط معلومات غير متجانسة على طول SDP. يحتوي نموذجنا المقترح على العديد من الميزات المميزة: (1) تحتفظ أقصر مسارات التبعية بالمعلومات الأكثر صلة (لتصنيف العلاقة)، مع إزالة الكلمات غير ذات الصلة في الجملة.(2) تسمح شبكات LSTM متعددة القنوات بالتكامل الفعال للمعلومات من مصادر غير متجانسة عبر مسارات التبعية.(3) تعمل استراتيجية التسرب المخصصة على تنظيم الشبكة العصبية للتخفيف من فرط التجهيز. نحن نختبر نموذجنا في مهمة تصنيف العلاقة SemEval 2010، ونحقق درجة F 1 بنسبة 83.7 ٪، أعلى من الطرق المنافسة في الأدبيات.<br/>