An Efficient Method for Underwater Video Summarization and Object Detection Using YoLoV3

• DOI: 10.32604/iasc.2023.028262
• Publication Date: 2022-07-19T02:42:18Z
• Authors: Mubashir Javaid; Muazzam Maqsood; Farhan Aadil; Jibran Safdar; Yongsung Kim
• Keywords: Artificial intelligence; History; Object detection; Perspective (graphical); Automatic summarization; 02 engineering and technology; Pattern recognition (psychology); Motion Detection; Visual Object Tracking and Person Re-identification; Image Feature Retrieval and Recognition Techniques; Field (mathematics); FOS: Mathematics; 0202 electrical engineering, electronic engineering, information engineering; Information retrieval; Video Summarization; Key Frame Extraction; Pure mathematics; Automatic Video Summarization and Analysis; Computer science; Object Tracking; Archaeology; Computer Science; Physical Sciences; Multiple Object Tracking; Computer vision; Object (grammar); Computer Vision and Pattern Recognition; Underwater; Mathematics

Actuellement, les industries et les communautés du monde entier se préoccupent de la construction, de l'expansion et de l'exploration des actifs et des ressources trouvés dans les océans et les mers. Plus précisément, pour analyser un stock, l'archéologie et la surveillance, plusieurs caméras sont installées sous les mers pour collecter des vidéos. Cependant, d'un autre côté, ces vidéos de grande taille nécessitent beaucoup de temps et de mémoire pour leur traitement afin d'extraire les informations pertinentes. Par conséquent, pour automatiser cette procédure manuelle d'évaluation vidéo, un système automatisé précis et efficace est une plus grande nécessité. Dans cette perspective, nous avons l'intention de présenter une solution de cadre complète pour la tâche de synthèse vidéo et de détection d'objets dans les vidéos sous-marines. Nous avons utilisé une méthode d'énergie de mouvement perçue (PME) pour extraire d'abord les images clés, suivie d'une approche de modèle de détection d'objets, à savoir YoloV3, pour effectuer la détection d'objets dans des vidéos sous-marines. Les problèmes de flou et de faible contraste dans les images sous-marines sont également pris en compte dans l'approche présentée en appliquant la méthode d'amélioration d'image. En outre, le cadre suggéré pour la synthèse vidéo sous-marine et la détection d'objets a été évalué sur un ensemble de données saumâtres accessibles au public. Il est observé que le cadre proposé montre de bonnes performances et aide donc en fin de compte plusieurs chercheurs ou scientifiques marins liés au domaine de l'archéologie sous-marine, de l'évaluation des stocks et de la surveillance.<br/>في الوقت الحالي، تهتم الصناعات والمجتمعات في جميع أنحاء العالم ببناء وتوسيع واستكشاف الأصول والموارد الموجودة في المحيطات والبحار. بتعبير أدق، لتحليل المخزون وعلم الآثار والمراقبة، تم تثبيت العديد من الكاميرات تحت سطح البحر لجمع مقاطع الفيديو. ومع ذلك، من ناحية أخرى، تتطلب مقاطع الفيديو كبيرة الحجم هذه الكثير من الوقت والذاكرة لمعالجتها لاستخراج المعلومات ذات الصلة. وبالتالي، لأتمتة هذا الإجراء اليدوي لتقييم الفيديو، فإن وجود نظام آلي دقيق وفعال هو ضرورة أكبر. من هذا المنظور، نعتزم تقديم حل إطاري كامل لمهمة تلخيص الفيديو واكتشاف الكائنات في مقاطع الفيديو تحت الماء. استخدمنا طريقة طاقة الحركة المتصورة (PME) لاستخراج الإطارات الرئيسية أولاً متبوعة بنهج نموذج الكشف عن الأجسام وهو YoloV3 لإجراء الكشف عن الأجسام في مقاطع الفيديو تحت الماء. كما تؤخذ قضايا التشويش والتباين المنخفض في الصور تحت الماء في الاعتبار في النهج المقدم من خلال تطبيق طريقة تحسين الصورة. علاوة على ذلك، تم تقييم الإطار المقترح لتلخيص الفيديو تحت الماء واكتشاف الكائنات على مجموعة بيانات مالحة متاحة للجمهور. لوحظ أن الإطار المقترح يظهر أداءً جيدًا وبالتالي يساعد في نهاية المطاف العديد من الباحثين أو العلماء البحريين فيما يتعلق بمجال علم الآثار تحت الماء وتقييم المخزون والمراقبة.<br/>Currently, worldwide industries and communities are concerned with building, expanding, and exploring the assets and resources found in the oceans and seas. More precisely, to analyze a stock, archaeology, and surveillance, several cameras are installed underseas to collect videos. However, on the other hand, these large size videos require a lot of time and memory for their processing to extract relevant information. Hence, to automate this manual procedure of video assessment, an accurate and efficient automated system is a greater necessity. From this perspective, we intend to present a complete framework solution for the task of video summarization and object detection in underwater videos. We employed a perceived motion energy (PME) method to first extract the keyframes followed by an object detection model approach namely YoloV3 to perform object detection in underwater videos. The issues of blurriness and low contrast in underwater images are also taken into account in the presented approach by applying the image enhancement method. Furthermore, the suggested framework of underwater video summarization and object detection has been evaluated on a publicly available brackish dataset. It is observed that the proposed framework shows good performance and hence ultimately assists several marine researchers or scientists related to the field of underwater archaeology, stock assessment, and surveillance.<br/>Actualmente, las industrias y comunidades de todo el mundo se preocupan por construir, expandir y explorar los activos y recursos que se encuentran en los océanos y mares. Más precisamente, para analizar un stock, arqueología y vigilancia, se instalan varias cámaras submarinas para recopilar videos. Sin embargo, por otro lado, estos videos de gran tamaño requieren mucho tiempo y memoria para su procesamiento para extraer información relevante. Por lo tanto, para automatizar este procedimiento manual de evaluación de video, un sistema automatizado preciso y eficiente es una necesidad mayor. Desde esta perspectiva, pretendemos presentar una solución marco completa para la tarea de resumen de video y detección de objetos en videos submarinos. Empleamos un método de energía de movimiento percibido (PME) para extraer primero los fotogramas clave, seguido de un enfoque de modelo de detección de objetos, a saber, YoloV3, para realizar la detección de objetos en videos submarinos. Los problemas de borrosidad y bajo contraste en las imágenes submarinas también se tienen en cuenta en el enfoque presentado mediante la aplicación del método de mejora de la imagen. Además, el marco sugerido de resumen de video subacuático y detección de objetos se ha evaluado en un conjunto de datos salobres disponibles públicamente. Se observa que el marco propuesto muestra un buen desempeño y, por lo tanto, en última instancia ayuda a varios investigadores o científicos marinos relacionados con el campo de la arqueología subacuática, la evaluación de poblaciones y la vigilancia.<br/>