SLSNet: Skin lesion segmentation using a lightweight generative adversarial network

• DOI: 10.1016/j.eswa.2021.115433
• Publication Date: 2021-06-17T05:23:17Z
• Authors: Md. Mostafa Kamal...; Hatem A. Rashwan; Farhan Akram; Vivek Kumar Singh; Syeda Furruka Banu; Forhad U.H. Chowd...; Kabir Ahmed Choud...; Sylvie Chambon; Petia Radeva; Domenec Puig; Mohamed Abdel-Nasser
• Keywords: FOS: Computer and information sciences; 0301 basic medicine; Artificial intelligence; Epidemiology; Computer Vision and Pattern Recognition (cs.CV); Computer Science - Computer Vision and Pattern Recognition; 02 engineering and technology; Position attention; Pattern recognition (psychology); Segmentation; 0202 electrical engineering, electronic engineering, information engineering; Deep generative adversarial network; Melanoma; Image and Video Processing (eess.IV); Epidemiology and Management of Skin Cancer; Channel attention module; 004; Skin diseases; Oncology; Skin lesion segmentation Generative adversarial network 1-D kernel factorized network Position attention module Channel attention module; Skin lesion segmentation; Medicine; Urology; Dermoscopy; 03 medical and health sciences; Aprenentatge automàtic; Machine learning; Health Sciences; FOS: Electrical engineering, electronic engineering, information engineering; FOS: Mathematics; 1-D kernel factorized network; Position attention module; [INFO.INFO-CV]Computer Science [cs]/Computer Vision and Pattern Recognition [cs.CV]; Discriminative model; Deep learning; Electrical Engineering and Systems Science - Image and Video Processing; Computer science; 620; Channel attention; Malalties de la pell; Combinatorics; Regulation and Function of Hair Follicle Stem Cells; Kernel (algebra); Computer vision; Jaccard index; Generative adversarial network; Mathematics

يواجه تحديد حدود الآفة الجلدية الدقيقة في صور التنظير الجلدي باستخدام طرق آلية العديد من التحديات، والأهم من ذلك، وجود الشعر، وحواف الآفة غير الواضحة والتباين المنخفض في صور التنظير الجلدي، والتباين في لون وملمس وأشكال الآفات الجلدية. خوارزميات تجزئة الآفات الجلدية القائمة على التعلم العميق مكلفة من حيث الوقت الحسابي والذاكرة. وبالتالي، يتطلب تشغيل خوارزميات التجزئة هذه وحدة معالجة رسومات قوية وذاكرة عالية النطاق الترددي، والتي لا تتوفر في أجهزة تنظير الجلد. وبالتالي، تهدف هذه المقالة إلى تحقيق تجزئة دقيقة للآفة الجلدية بأقل قدر من الموارد: نموذج شبكة خصومة توليدية (GAN) خفيف الوزن وفعال يسمى SLSNet، والذي يجمع بين الشبكات ذات عوامل النواة أحادية البعد، وانتباه الموضع والقناة، وآليات التجميع متعددة المقاييس مع نموذج GAN. تقلل الشبكة أحادية النواة من التكلفة الحسابية للترشيح ثنائي الأبعاد. تعزز وحدات الانتباه الموضعي والقناة القدرة التمييزية بين تمثيلات ميزة الآفة وغير الآفة في الأبعاد المكانية والقناة، على التوالي. كما يتم استخدام كتلة متعددة المقاييس لتجميع الميزات الخشنة إلى الدقيقة لصور الجلد المدخلة وتقليل تأثير القطع الأثرية. يتم تقييم SLSNet على مجموعتي بيانات متاحتين للجمهور: ISBI 2017 و ISIC 2018. على الرغم من أن SLSNet لديها 2.35 مليون معلمة فقط، إلا أن النتائج التجريبية تظهر أنها تحقق نتائج تجزئة على قدم المساواة مع أحدث طرق تجزئة الآفات الجلدية بدقة 97.61 ٪، ومعاملات تشابه Dice و Jaccard بنسبة 90.63 ٪ و 81.98 ٪ على التوالي. يمكن تشغيل SLSNet بأكثر من 110 إطارًا في الثانية (FPS) في وحدة معالجة الرسومات GTX1080Ti واحدة، وهي أسرع من نماذج تجزئة الصور القائمة على التعلم العميق المعروفة، مثل FCN. لذلك، يمكن استخدام SLSNet للتطبيقات التنظيرية الجلدية العملية.<br/>La determinación de los límites precisos de la lesión cutánea en imágenes dermatoscópicas utilizando métodos automatizados se enfrenta a muchos desafíos, entre los que destacan la presencia de pelo, los bordes discretos de la lesión y el bajo contraste en las imágenes dermatoscópicas, así como la variabilidad en el color, la textura y las formas de las lesiones cutáneas. Los algoritmos existentes de segmentación de lesiones cutáneas basados en el aprendizaje profundo son caros en términos de tiempo de cálculo y memoria. En consecuencia, ejecutar dichos algoritmos de segmentación requiere una GPU potente y una memoria de gran ancho de banda, que no están disponibles en los dispositivos de dermatoscopia. Por lo tanto, este artículo tiene como objetivo lograr una segmentación precisa de las lesiones cutáneas con recursos mínimos: un modelo de red adversarial generativa (GAN) liviano y eficiente llamado SLSNet, que combina redes factorizadas de kernel 1-D, atención de posición y canal, y mecanismos de agregación multiescala con un modelo GAN. La red factorizada del kernel 1-D reduce el coste computacional del filtrado 2D. Los módulos de posición y atención del canal mejoran la capacidad discriminatoria entre las representaciones de las características de lesión y no lesión en las dimensiones espacial y del canal, respectivamente. También se utiliza un bloque multiescala para agregar las características de grueso a fino de las imágenes de piel de entrada y reducir el efecto de los artefactos. SLSNet se evalúa en dos conjuntos de datos disponibles públicamente: ISBI 2017 y la CIIU 2018. Aunque SLSNet tiene solo 2,35 millones de parámetros, los resultados experimentales demuestran que logra resultados de segmentación a la par con los métodos de segmentación de lesiones cutáneas de última generación con una precisión del 97,61%, y coeficientes de similitud de Dice y Jaccard del 90,63% y 81,98%, respectivamente. SLSNet puede ejecutarse a más de 110 fotogramas por segundo (FPS) en una sola GPU GTX1080Ti, que es más rápida que los modelos de segmentación de imágenes basados en aprendizaje profundo bien conocidos, como FCN. Por lo tanto, SLSNet se puede utilizar para aplicaciones dermatoscópicas prácticas.<br/>The determination of precise skin lesion boundaries in dermoscopic images using automated methods faces many challenges, most importantly, the presence of hair, inconspicuous lesion edges and low contrast in dermoscopic images, and variability in the color, texture and shapes of skin lesions. Existing deep learning-based skin lesion segmentation algorithms are expensive in terms of computational time and memory. Consequently, running such segmentation algorithms requires a powerful GPU and high bandwidth memory, which are not available in dermoscopy devices. Thus, this article aims to achieve precise skin lesion segmentation with minimum resources: a lightweight, efficient generative adversarial network (GAN) model called SLSNet, which combines 1-D kernel factorized networks, position and channel attention, and multiscale aggregation mechanisms with a GAN model. The 1-D kernel factorized network reduces the computational cost of 2D filtering. The position and channel attention modules enhance the discriminative ability between the lesion and non-lesion feature representations in spatial and channel dimensions, respectively. A multiscale block is also used to aggregate the coarse-to-fine features of input skin images and reduce the effect of the artifacts. SLSNet is evaluated on two publicly available datasets: ISBI 2017 and the ISIC 2018. Although SLSNet has only 2.35 million parameters, the experimental results demonstrate that it achieves segmentation results on a par with the state-of-the-art skin lesion segmentation methods with an accuracy of 97.61%, and Dice and Jaccard similarity coefficients of 90.63% and 81.98%, respectively. SLSNet can run at more than 110 frames per second (FPS) in a single GTX1080Ti GPU, which is faster than well-known deep learning-based image segmentation models, such as FCN. Therefore, SLSNet can be used for practical dermoscopic applications.<br/>La détermination des limites précises des lésions cutanées dans les images dermoscopiques à l'aide de méthodes automatisées est confrontée à de nombreux défis, notamment la présence de poils, les bords des lésions discrets et le faible contraste des images dermoscopiques, ainsi que la variabilité de la couleur, de la texture et des formes des lésions cutanées. Les algorithmes existants de segmentation des lésions cutanées basés sur l'apprentissage en profondeur sont coûteux en termes de temps de calcul et de mémoire. Par conséquent, l'exécution de tels algorithmes de segmentation nécessite un GPU puissant et une mémoire à bande passante élevée, qui ne sont pas disponibles dans les appareils de dermoscopie. Ainsi, cet article vise à réaliser une segmentation précise des lésions cutanées avec un minimum de ressources : un modèle de réseau antagoniste génératif (GaN) léger et efficace appelé SLSNet, qui combine des réseaux factorisés à noyau 1-D, une attention de position et de canal, et des mécanismes d'agrégation multi-échelle avec un modèle GaN. Le réseau factorisé à noyau 1-D réduit le coût de calcul du filtrage 2D. Les modules de position et d'attention de canal améliorent la capacité discriminative entre les représentations de caractéristiques de lésion et de non-lésion dans les dimensions spatiales et de canal, respectivement. Un bloc multi-échelle est également utilisé pour agréger les caractéristiques grossières à fines des images de peau d'entrée et réduire l'effet des artefacts. SLSNet est évalué sur deux ensembles de données accessibles au public : ISBI 2017 et ISIC 2018. Bien que SLSNet ne compte que 2,35 millions de paramètres, les résultats expérimentaux démontrent qu'il atteint des résultats de segmentation équivalents à ceux des méthodes de segmentation des lésions cutanées de pointe avec une précision de 97,61 % et des coefficients de similarité Dice et Jaccard de 90,63 % et 81,98 %, respectivement. SLSNet peut fonctionner à plus de 110 images par seconde (FPS) dans un seul GPU GTX1080Ti, ce qui est plus rapide que les modèles de segmentation d'image basés sur l'apprentissage profond bien connus, tels que FCN. Par conséquent, SLSNet peut être utilisé pour des applications dermoscopiques pratiques.<br/>