DisorBERT: A Double Domain Adaptation Model for Detecting Signs of Mental Disorders in Social Media

• DOI: 10.18653/v1/2023.acl-long.853
• Publication Date: 2023-08-05T00:57:42Z
• Authors: Mario Aragon; Adrian Pastor Lop...; Luis Gonzalez; David E. Losada; Manuel Montes
• Keywords: Text Analysis; Domain adaptation; Cognitive science; Artificial intelligence; Social Psychology; Adaptation (eye); Domain (mathematical analysis); Psychological Language Analysis; Social Sciences; Computer science; Mathematical analysis; FOS: Psychology; Social media; World Wide Web; Psychological Language Analysis in Social Media; Mental model; Psychotherapist; FOS: Mathematics; Psychology; Mental health; Research Domain Criteria; Classifier (UML); Mathematics; Neuroscience

Les troubles mentaux affectent des millions de personnes dans le monde et provoquent des interférences avec leur pensée et leur comportement. Au cours des dernières années, la sensibilisation créée par les campagnes de santé et d'autres sources a motivé l'étude de ces troubles à l'aide d'informations extraites des plateformes de médias sociaux. Dans ce travail, nous visons à contribuer à l'étude de ces troubles et à la compréhension de la façon dont les problèmes mentaux se répercutent sur les médias sociaux. Pour atteindre cet objectif, nous proposons une adaptation à double domaine d'un modèle de langage. D'abord, nous avons adapté le modèle au langage des médias sociaux, puis nous l'avons adapté au domaine de la santé mentale. Dans les deux étapes, nous avons incorporé une ressource lexicale pour guider le processus de masquage du modèle de langage et, par conséquent, pour l'aider à accorder plus d'attention aux mots liés aux troubles mentaux. Nous avons évalué notre modèle dans la détection des signes de trois troubles mentaux majeurs : l'anorexie, l'automutilagie et la dépression. Les résultats sont encourageants car ils montrent que l'adaptation proposée améliore les performances de classification et donne des résultats compétitifs par rapport aux méthodes de pointe.<br/>Los trastornos mentales afectan a millones de personas en todo el mundo y causan interferencias con su pensamiento y comportamiento. A lo largo de los últimos años, la conciencia creada por campañas de salud y otras fuentes motivó el estudio de estos trastornos utilizando información extraída de las plataformas de redes sociales. En este trabajo, nuestro objetivo es contribuir al estudio de estos trastornos y a la comprensión de cómo se reflejan los problemas mentales en las redes sociales. Para lograr este objetivo, proponemos una adaptación de doble dominio de un modelo de lenguaje. En primer lugar, adaptamos el modelo al lenguaje de las redes sociales y, luego, lo adaptamos al dominio de la salud mental. En ambos pasos, incorporamos un recurso léxico para guiar el proceso de enmascaramiento del modelo de lenguaje y, por lo tanto, para ayudarlo a prestar más atención a las palabras relacionadas con los trastornos mentales. Hemos evaluado nuestro modelo en la detección de signos de tres trastornos mentales importantes: anorexia, autolesión y depresión. Los resultados son alentadores, ya que muestran que la adaptación propuesta mejora el rendimiento de la clasificación y produce resultados competitivos frente a los métodos más avanzados.<br/>Mental disorders affect millions of people worldwide and cause interference with their thinking and behavior.Through the past years, awareness created by health campaigns and other sources motivated the study of these disorders using information extracted from social media platforms.In this work, we aim to contribute to the study of these disorders and to the understanding of how mental problems reflect on social media.To achieve this goal, we propose a double-domain adaptation of a language model.First, we adapted the model to social media language, and then, we adapted it to the mental health domain.In both steps, we incorporated a lexical resource to guide the masking process of the language model and, therefore, to help it in paying more attention to words related to mental disorders.We have evaluated our model in the detection of signs of three major mental disorders: Anorexia, Self-harm, and Depression.Results are encouraging as they show that the proposed adaptation enhances the classification performance and yields competitive results against state-of-the-art methods.<br/>تؤثر الاضطرابات العقلية على ملايين الأشخاص في جميع أنحاء العالم وتتسبب في تداخل مع تفكيرهم وسلوكهم. خلال السنوات الماضية، حفز الوعي الذي خلقته الحملات الصحية والمصادر الأخرى دراسة هذه الاضطرابات باستخدام المعلومات المستخرجة من منصات وسائل التواصل الاجتماعي. في هذا العمل، نهدف إلى المساهمة في دراسة هذه الاضطرابات وفهم كيفية انعكاس المشاكل العقلية على وسائل التواصل الاجتماعي. لتحقيق هذا الهدف، نقترح تكيفًا مزدوج النطاق لنموذج اللغة. أولاً، قمنا بتكييف النموذج مع لغة وسائل التواصل الاجتماعي، ثم قمنا بتكييفه مع مجال الصحة العقلية. في كلتا الخطوتين، قمنا بتضمين مورد معجمي لتوجيه عملية إخفاء نموذج اللغة، وبالتالي مساعدته في إيلاء المزيد من الاهتمام للكلمات المتعلقة بالاضطرابات العقلية. لقد قمنا بتقييم نموذجنا في الكشف عن علامات ثلاثة اضطرابات نفسية رئيسية: فقدان الشهية وإيذاء النفس والاكتئاب. النتائج مشجعة لأنها تظهر أن التكيف المقترح يعزز أداء التصنيف ويحقق نتائج تنافسية مقابل أحدث الأساليب.<br/>