A transformer-based deep neural network with wavelet transform for forecasting wind speed and wind energy

• DOI: 10.1016/j.energy.2023.127678
• Publication Date: 2023-05-02T20:00:27Z
• Authors: Erick Giovani Spe...; Talison A.C. de Melo; Davidson M. Moreira
• Keywords: Artificial neural network; Artificial intelligence; Time series; Electricity Price and Load Forecasting Methods; Aerospace Engineering; FOS: Mechanical engineering; Wind Power Generation; Wind speed; Engineering; Meteorology; Artificial Intelligence; Machine learning; FOS: Electrical engineering, electronic engineering, information engineering; Machine Learning Methods for Solar Radiation Forecasting; Electrical and Electronic Engineering; Transformer; Geography; Load Forecasting; Deep learning; Voltage; Computer science; Wind Farm Optimization; Electrical engineering; Physical Sciences; Computer Science; Anemometer; Wavelet transform; Wind Energy Technology and Aerodynamics; Wind power; Short-Term Forecasting; Wavelet; Forecasting

يقدم هذا العمل بنية شبكة عصبية عميقة جديدة قائمة على المحولات مدمجة مع تحويل الموجات للتنبؤ بسرعة الرياح وتوليد طاقة الرياح (الطاقة) لمدة 6 ساعات قادمة، باستخدام متغيرات أرصاد جوية متعددة كمدخلات للتنبؤ بالسلاسل الزمنية متعددة المتغيرات. لتقييم أداء النموذج المقترح، تم التحقيق في دراسات حالة مختلفة، باستخدام البيانات التي تم جمعها من مقاييس شدة الرياح المثبتة في ثلاث مناطق مختلفة في باهيا، البرازيل. تمت مقارنة أداء النموذج المقترح القائم على المحولات مع تحويل الموجات مع نموذج الذاكرة طويلة المدى (LSTM) كخط أساس، حيث تم استخدامه بنجاح لمعالجة السلاسل الزمنية في التعلم العميق، وكذلك مع أحدث الأعمال المماثلة السابقة (SOTA). تم تقييم نتائج أداء التنبؤ باستخدام المقاييس الإحصائية، إلى جانب وقت التدريب وأداء الاستدلالات، باستخدام التحليل الكمي والنوعي. وأظهروا أن الطريقة المقترحة فعالة للتنبؤ بسرعة الرياح وتوليد الطاقة، مع أداء متفوق على نموذج خط الأساس وأداء مماثل لأعمال سوتا المماثلة السابقة، مما يقدم الملاءمة المحتملة لتمديدها للأغراض العامة للتنبؤ بالسلاسل الزمنية متعددة المتغيرات. علاوة على ذلك، أظهرت النتائج أن تكامل نموذج المحول مع تحلل الموجات الصغيرة أدى إلى تحسين دقة التنبؤ.<br/>Ce travail présente une nouvelle architecture de réseau neuronal profond basée sur un transformateur intégré à une transformée en ondelettes pour prévoir la vitesse du vent et la génération (d'énergie) éolienne pour les 6 prochaines heures, en utilisant de multiples variables météorologiques comme entrée pour la prévision de séries temporelles multivariées. Pour évaluer la performance du modèle proposé, différentes études de cas ont été étudiées, en utilisant des données recueillies à partir d'anémomètres installés dans trois régions différentes de Bahia, au Brésil. La performance du modèle à base de transformateur proposé avec transformée en ondelettes a été comparée à un modèle LSTM (Long Short Term Memory) comme référence, car il a été utilisé avec succès pour le traitement de séries temporelles en apprentissage profond, ainsi qu'avec des travaux similaires antérieurs à la pointe de la technologie (SOTA). Les résultats de la performance prévisionnelle ont été évalués à l'aide de mesures statistiques, ainsi que le temps consacré à la formation et à la réalisation d'inférences, à la fois à l'aide d'une analyse quantitative et qualitative. Ils ont montré que la méthode proposée est efficace pour prévoir la vitesse du vent et la production d'énergie, avec des performances supérieures au modèle de référence et des performances comparables aux travaux SOTA similaires précédents, présentant une aptitude potentielle à être étendue aux fins générales de la prévision de séries chronologiques multivariées. De plus, les résultats ont démontré que l'intégration du modèle de transformateur avec la décomposition en ondelettes améliorait la précision de la prévision.<br/>Este trabajo presenta una novedosa arquitectura de red neuronal profunda basada en transformadores integrada con transformada wavelet para pronosticar la velocidad del viento y la generación de energía eólica (energía) para las próximas 6 horas, utilizando múltiples variables meteorológicas como entrada para el pronóstico de series temporales multivariadas. Para evaluar el rendimiento del modelo propuesto, se investigaron diferentes estudios de casos, utilizando datos recopilados de anemómetros instalados en tres regiones diferentes en Bahía, Brasil. El rendimiento del modelo basado en transformador propuesto con transformada wavelet se comparó con un modelo LSTM (Long Short Term Memory) como línea de base, ya que se ha utilizado con éxito para el procesamiento de series temporales en aprendizaje profundo, así como con trabajos similares anteriores de última generación (SOTA). Los resultados del desempeño del pronóstico se evaluaron utilizando métricas estadísticas, junto con el tiempo para el entrenamiento y la realización de inferencias, tanto mediante análisis cuantitativo como cualitativo. Demostraron que el método propuesto es efectivo para pronosticar la velocidad del viento y la generación de energía, con un rendimiento superior al modelo de referencia y un rendimiento comparable al de trabajos anteriores similares de SOTA, presentando una posible idoneidad para extenderse con el propósito general de pronósticos de series temporales multivariadas. Además, los resultados demostraron que la integración del modelo de transformador con la descomposición de wavelets mejoró la precisión del pronóstico.<br/>This work presents a novel transformer-based deep neural network architecture integrated with wavelet transform for forecasting wind speed and wind energy (power) generation for the next 6 h ahead, using multiple meteorological variables as input for multivariate time series forecasting. To evaluate the performance of the proposed model, different case studies were investigated, using data collected from anemometers installed in three different regions in Bahia, Brazil. The performance of the proposed transformer-based model with wavelet transform was compared with an LSTM (Long Short Term Memory) model as a baseline, since it has been successfully used for time series processing in deep learning, as well as with previous state-of-the-art (SOTA) similar works. Results of the forecasting performance were evaluated using statistical metrics, along with the time for training and performing inferences, both using quantitative and qualitative analysis. They showed that the proposed method is effective for forecasting wind speed and power generation, with superior performance than the baseline model and comparable performance to previous similar SOTA works, presenting potential suitability for being extended for the general purpose of multivariate time series forecasting. Furthermore, results demonstrated that the integration of the transformer model with wavelet decomposition improved the forecast accuracy.<br/>