UAV-Based Crowd Surveillance in Post COVID-19 Era

• DOI: 10.1109/access.2021.3133796
• Publication Date: 2021-12-07T20:36:03Z
• Authors: Nizar Masmoudi; Wael Jaafar; Safa Cherif; Jihene Ben Abderr...; Halim Yanikomeroglu
• Keywords: FOS: Computer and information sciences; Visual Tracking; Artificial intelligence; Object detection; Computer Vision and Pattern Recognition (cs.CV); Unmanned Aerial Vehicle Communications; Astronomy; Computer Science - Computer Vision and Pattern Recognition; Trajectory; Aerospace Engineering; FOS: Mechanical engineering; Systems and Control (eess.SY); 02 engineering and technology; Simultaneous Localization and Mapping; Electrical Engineering and Systems Science - Systems and Control; computer vision; Real-time computing; Visual Object Tracking and Person Re-identification; Bounding overwatch; Engineering; Context (archaeology); Computer security; unmanned aerial vehicle; FOS: Electrical engineering, electronic engineering, information engineering; 0202 electrical engineering, electronic engineering, information engineering; Biology; Physics; image coordinates mapping; Paleontology; Computer science; TK1-9971; 3. Good health; Computer Science; Physical Sciences; Computer vision; Electrical engineering. Electronics. Nuclear engineering; Computer Vision and Pattern Recognition; clustering

To cope with the current pandemic situation and reinstate pseudo-normal daily life, several measures have been deployed and maintained, such as mask wearing, social distancing, hands sanitizing, etc. Since outdoor cultural events, concerts, and picnics, are gradually allowed, a close monitoring of the crowd activity is needed to avoid undesired contact and disease transmission. In this context, intelligent unmanned aerial vehicles (UAVs) can be occasionally deployed to ensure the surveillance of these activities, that health restriction measures are applied, and to trigger alerts when the latter are not respected. Consequently, we propose in this paper a complete UAV framework for intelligent monitoring of post COVID-19 outdoor activities. Specifically, we propose a three steps approach. In the first step, captured images by a UAV are analyzed using machine learning to detect and locate individuals. The second step consists of a novel coordinates mapping approach to evaluate distances among individuals, then cluster them, while the third step provides an energy-efficient and/or reliable UAV trajectory to inspect clusters for restrictions violation such as mask wearing. Obtained results provide the following insights: 1) Efficient detection of individuals depends on the angle from which the image was captured, 2) coordinates mapping is very sensitive to the estimation error in individuals' bounding boxes, and 3) UAV trajectory design algorithm 2-Opt is recommended for practical real-time deployments due to its low-complexity and near-optimal performance.<br/>Pour faire face à la situation pandémique actuelle et rétablir une vie quotidienne pseudo-normale, plusieurs mesures ont été déployées et maintenues, telles que le port du masque, la distanciation sociale, la désinfection des mains, etc. Étant donné que les événements culturels en plein air, les concerts et les pique-niques sont progressivement autorisés, une surveillance étroite de l'activité de la foule est nécessaire pour éviter les contacts indésirables et la transmission de maladies. Dans ce contexte, des véhicules aériens sans pilote (UAV) intelligents peuvent être déployés occasionnellement pour assurer la surveillance de ces activités, l'application de mesures de restriction sanitaire et déclencher des alertes lorsque ces dernières ne sont pas respectées. Par conséquent, nous proposons dans ce document un cadre complet pour la surveillance intelligente des activités de plein air post-COVID-19. Plus précisément, nous proposons une approche en trois étapes. Dans la première étape, les images capturées par un UAV sont analysées à l'aide de l'apprentissage automatique pour détecter et localiser les individus. La deuxième étape consiste en une nouvelle approche de cartographie des coordonnées pour évaluer les distances entre les individus, puis les regrouper, tandis que la troisième étape fournit une trajectoire d'UAV économe en énergie et/ou fiable pour inspecter les regroupements à la recherche de violations de restrictions telles que le port du masque. Les résultats obtenus fournissent les informations suivantes : 1) la détection efficace des individus dépend de l'angle sous lequel l'image a été capturée, 2) la cartographie des coordonnées est très sensible à l'erreur d'estimation dans les boîtes de délimitation des individus, et 3) l'algorithme de conception de trajectoire d'UAV 2-Opt est recommandé pour les déploiements pratiques en temps réel en raison de sa faible complexité et de ses performances quasi optimales.<br/>للتعامل مع الوضع الوبائي الحالي واستعادة الحياة اليومية الطبيعية الزائفة، تم نشر العديد من التدابير والحفاظ عليها، مثل ارتداء الكمامة، والتباعد الاجتماعي، وتعقيم اليدين، وما إلى ذلك. نظرًا لأن الأحداث الثقافية في الهواء الطلق والحفلات الموسيقية والنزهات مسموح بها تدريجيًا، فهناك حاجة إلى مراقبة دقيقة لنشاط الحشود لتجنب الاتصال غير المرغوب فيه وانتقال الأمراض. وفي هذا السياق، يمكن نشر المركبات الجوية الذكية بدون طيار من حين لآخر لضمان مراقبة هذه الأنشطة، وتطبيق تدابير التقييد الصحي، وإطلاق التنبيهات عندما لا يتم احترام هذه الأخيرة. وبالتالي، نقترح في هذه الورقة إطارًا كاملاً للطائرات بدون طيار للمراقبة الذكية للأنشطة الخارجية بعد كوفيد-19. على وجه التحديد، نقترح نهجًا من ثلاث خطوات. في الخطوة الأولى، يتم تحليل الصور الملتقطة بواسطة طائرة بدون طيار باستخدام التعلم الآلي للكشف عن الأفراد وتحديد موقعهم. تتكون الخطوة الثانية من نهج جديد لرسم خرائط الإحداثيات لتقييم المسافات بين الأفراد، ثم تجميعهم، بينما توفر الخطوة الثالثة مسارًا للطائرات بدون طيار موفرًا للطاقة و/أو موثوقًا به لفحص المجموعات بحثًا عن انتهاك القيود مثل ارتداء الكمامة. توفر النتائج التي تم الحصول عليها الرؤى التالية: 1) يعتمد الكشف الفعال عن الأفراد على الزاوية التي تم التقاط الصورة منها، 2) تخطيط الإحداثيات حساس للغاية لخطأ التقدير في المربعات المحيطة بالأفراد، و 3) يوصى باستخدام خوارزمية تصميم مسار الطائرات بدون طيار 2 - Opt لعمليات النشر العملية في الوقت الفعلي بسبب انخفاض تعقيدها وأدائها شبه الأمثل.<br/>Para hacer frente a la situación pandémica actual y restablecer la vida cotidiana pseudo-normal, se han desplegado y mantenido varias medidas, como el uso de mascarillas, el distanciamiento social, la desinfección de las manos, etc. Dado que los eventos culturales al aire libre, los conciertos y los picnics se permiten gradualmente, se necesita un monitoreo cercano de la actividad de la multitud para evitar el contacto no deseado y la transmisión de enfermedades. En este contexto, ocasionalmente se pueden desplegar vehículos aéreos no tripulados (UAV) inteligentes para garantizar la vigilancia de estas actividades, que se apliquen medidas de restricción sanitaria y para activar alertas cuando no se respeten estas últimas. En consecuencia, proponemos en este documento un marco completo de UAV para el monitoreo inteligente de las actividades al aire libre posteriores a COVID-19. En concreto, proponemos un enfoque de tres pasos. En el primer paso, las imágenes capturadas por un UAV se analizan utilizando el aprendizaje automático para detectar y localizar individuos. El segundo paso consiste en un novedoso enfoque de mapeo de coordenadas para evaluar las distancias entre los individuos y luego agruparlos, mientras que el tercer paso proporciona una trayectoria de UAV energéticamente eficiente y/o confiable para inspeccionar los grupos en busca de violaciones de restricciones, como el uso de mascarillas. Los resultados obtenidos proporcionan los siguientes conocimientos: 1) La detección eficiente de individuos depende del ángulo desde el que se capturó la imagen, 2) el mapeo de coordenadas es muy sensible al error de estimación en los cuadros delimitadores de los individuos, y 3) se recomienda el algoritmo de diseño de trayectoria UAV 2-Opt para despliegues prácticos en tiempo real debido a su baja complejidad y rendimiento casi óptimo.<br/>