ارزیابی عملکرد مدل‌های یادگیری ماشین و دستوالعمل‌های بهینه‌سازی برای پیش‌بینی آب‌دهی رود کشکان

نوع مقاله : پژوهشی

نویسندگان

1 دانشجوی دکتری، دانشکدة مهندسی عمران، دانشگاه یزد، یزد، ایران

2 استادیار دانشکدة مهندسی عمران، دانشگاه یزد، یزد، ایران

3 استاد دانشکدة منابع‌طبیعی و کویرشناسی، دانشگاه یزد، یزد، ایران

10.22092/wmrj.2024.365128.1579

چکیده

مقدمه و هدف
شبیه‌سازی آبدهی رود در ایستگاه‌های آب‌سنجی به‌منظور آگاهی از آب‌دهی رود در دوره‌های زمانی آینده از مسائل مهمی است که معمولاً به‌وسیلة سری‌های زمانی آب‌شناختی مرتبط با همان ایستگاه انجام می‌شود. به‌منظور پیش‌بینی آب‌دهی رود با بیشترین دقت از سه گروه بزرگ شامل روش‌های تجربی و آماری، مفهومی و فرایند-محور استفاده می‌شود. از جمله روش‌های داده-محور، روش‌های مبتنی بر پایة هوش مصنوعی هستند. هدف این پژوهش، بررسی عملکرد مدل‌های یادگیری ماشین شامل: SVM وANFIS ، ANN و بررسی عملکرد مدل آموزش داده‌شدۀ شبکة عصبی با دستورالعمل‌های بهینه‌سازی نهنگ (WOA) و دستورالعمل ازدحام ذرات (PSO) در پیش‌بینی آب‌دهی رود بود. افزون بر ارزیابی مدل‌های هوشمند، تأثیر استفاده از دستورالعمل‌های بهینه‌سازی بر دقت پیش‌بینی آب‌دهی رود بررسی شد. از آنجایی که برای استفاده از مدل‌های داده-محور، داده‌های ورودی تأثیر قابل توجهی بر عملکرد مدل‌ها دارند، ازاین‌رو سنجه‌های مؤثر بر آب‌دهی رود مشخص شد و بهترین ترکیب متغیرهای ورودی برای هر مدل تعیین شد. 
مواد و روش‌ها
در این پژوهش، به‌منظور پیش­بینی آب‌دهی روزانه در ایستگاه آب‌سنجی پل‌دختر واقع بر رود کشکان، داده‌های آب‌دهی رود و بارش مربوط به سال‌های 1397-1350 تهیه شد. از مدل‌های هوشمند ساختار استنتاج فازی عصبی (ANFIS) و ساختار بردار پشتیبان (SVM)، شبکة عصبی مصنوعی (ANN)، مدل ترکیبی شبکة عصبی و دستورالعمل ازدحام ذرات (ANN-PSO) و مدل ترکیبی شبکة عصبی و دستورالعمل نهنگ (ANN-WOA) استفاده شد. در دو مدل ترکیبی تلاش شد که سنجه‌های شبکة عصبی با استفاده از دستورالعمل‌های فراابتکاری تنظیم شوند و تأثیر آن بر عملکرد مدل ANN بررسی شود. هم‌چنین، در این پژوهش، تأثیر داده‌های آب‌دهی رود و بارش همراه با تأخیرهای زمانی (داده‌های مربوط به روزهای گذشته) و ترکیبی از این سنجه‌ها به‌عنوان ورودی مدل‌ها بررسی شد. به‌منظور تعیین بهترین ترکیب متغیرهای ورودی، روش‌های آماری تابع همبستگی خودکار (ACF) و تابع همبستگی خودکار جزئی (PACF) و ضریب همبستگی پیرسون (PCC) به‌کارگرفته شد. پس از اعمال ورودی‌های مؤثر و آموزش مدل‌های هوشمند نامبرده، با مقایسة اندازه‌های RMSE، R2 و NE، عملکرد آن‌ها در پیش‌بینی آب‌دهی رود بررسی شد.
نتایج و بحث
نتایج بررسی همه مدل‌ها در این پژوهش نشان داد که آب‌دهی یک (Q-1)، دو (Q-2) و سه (Q-3) روز گذشته و بارش یک روز گذشته (P-1)، بیش‌ترین همبستگی را با آب‌دهی روزانه رود نشان داد. به‌طور کلی، برای مدل کردن آب‌دهی رود در آبخیز کشکان دقت همه مدل‌ها قابل قبول بود. بر اساس نتایج به‌دست آمده، بیشترین دقت برای پیش‌بینی آب‌دهی روزانه جریان مربوط به مدل ANN-WOA با بیش‌ترین اندازة ضریب تبیین (0/896 R2=) و ضریب نش-‌ساتکلیف (0/803 NE=) و کمترین اندازة خطا (0/0186RMSE= )، بود. پس از آن، مدل SVM با ساختار تابع کرنل پایه شعاعی و اندازه‌های 4C=، 1  =و 0/001  =با اندازة ضریب تبیین (0/895 R2=)، ضریب نش‌-ساتکلیف (0/801 NE=) و اندازة خطا (0/0187RMSE= )، عملکرد بهتری نشان داد و مدل‌های ANN-PSO و ANN نیز به‌ترتیب در رده‌های سوم و چهارم بودند. نتایج بیانگر آن بود که استفاده از دستورالعمل‌های بهینه‌سازی فرابتکاری دقت مدل ANN را افزایش داد و می‌توان از آن برای آموزش شبکه استفاده کرد. بررسی ساختارهای گوناگون ANFIS نشان داد برای مدل‌سازی آب‌دهی رود منطقة مطالعه‌شده عملکرد توابع مثلثی و گوسی بیشتر بود. از سوی دیگر، خطای این مدل با اندازه‌های 023/0RMSE= و 76/0NE= در مقایسه با دیگر مدل‌ها بیشتر بود.
نتیجه‌گیری و پیشنهادها
نتایج این پژوهش نشان داد برای پیش‌بینی آب‌دهی رود دقت مدل‌های یادگیری ماشین مانند SVM،ANFIS  و ANN قابل قبول بود. تنظیم سنجه‌های شبکة عصبی با استفاده از دستورالعمل‌های بهینه‌سازی مانند WOA و PSO تأثیر بسزایی در بهبود عملکرد این مدل داشت. سرانجام می‌توان گفت این مدل‌ها می‌توانند جایگزین مناسبی برای مدل‌های مفهومی و آب‌شناختی در حل مسائل آب‌شناختی و آب‌دهی باشند. پیشنهاد می‌شود دو مدل SVM و ANFIS با استفاده از دستورالعمل PSO و WOA آموزش‌داده شود و سپس نتایج با یافته‌های این پژوهش مقایسه شود.

کلیدواژه‌ها

موضوعات


عنوان مقاله [English]

The performance evaluation of machine learning models and optimization algorithms for predicting the River Discharge of Kashkan River

نویسندگان [English]

  • Fatemeh Avazpour 1
  • Mohammad Reza Hadian 2
  • Ali Talebi 3
1 Ph.D. Candidate, Department of Civil Engineering, Yazd University, Yazd, Iran
2 Assistant Professor, Department of Civil Engineering, Yazd University, Yazd, Iran
3 Professor, Department of Natural Resources and Desert Studies, Yazd University, Yazd, Iran
چکیده [English]

Introduction and Goal
The simulation of river discharge at hydrometric stations to predict future flow discharge over specific time periods is an important issue typically addressed using hydrological time series associated with the respective station. To predict river discharge with the hights accuracy, three major groups of methods are commonly utilized: empirical and statistical methods, conceptual methods, and process-based approaches. Among data-driven methods, those based on artificial intelligence-based are prominent. The aim of this study was evaluating the performance of machine learning models, including SVM, ANFIS, and ANN, and assessing the performance of a neural network model trained with Whale Optimization Algorithm (WOA) and Particle Swarm Optimization (PSO) to predict flow discharge. In addition to evaluating the intelligent models, the impact of using optimization algorithms on the accuracy of river discharge predictions was also examined. Since input data have a significant impact on the performance of data-driven models, the criteria influencing the river discharge were identified, and the best combination of input variables for each model was determined.
Materials and Methods
In this study, to predict the daily discharge at the Poldokhtar hydrometric station located on the Kashkan River, discharge and precipitation data from 1971 to 2018 were collected, and Intelligent models, including Adaptive Neuro-Fuzzy Inference System (ANFIS), Support Vector Machine (SVM), Artificial Neural Network (ANN), and the hybrid model of Artificial Neural Network with Particle Swarm Optimization (ANN-PSO) and the hybrid model of Artificial Neural Network with Whale Optimization Algorithm (ANN-WOA) were employed. In the two hybrid models, efforts were made to adjust the criterias of the artificial neural network using metaheuristic algorithms, and their impact on the performance of the ANN model was examined. Additionally, this study investigated the impact of river discharge and precipitation data, along with their time lags (data from previous days), and combinations of these metrics as input variables for the models. To determine the best combination of input variables, statistical methods such as the Autocorrelation Function (ACF), Partial Autocorrelation Function (PACF), and Pearson Correlation Coefficient (PCC) were employed. After applying the effective inputs and training the mentioned intelligent models, their performance in predicting river discharge was evaluated by comparing RMSE, R², and NE metrics.
Results and Discussion
The evaluation of all models in this study showed that the river discharge of one day (Q-1), two days (Q-2), and three days (Q-3) ago, along with the precipitation of one day ago (P-1), exhibited the highest correlation with the river’s daily discharge. Overall, all models demonstrated acceptable accuracy in modeling the river discharge in the Kashkan watershed. According to the results, the highest accuracy in predicting daily discharge was achieved by the ANN-WOA model, with the highest coefficient of determination (R² = 0.896), Nash-Sutcliffe efficiency (NE = 0.803), and the lowest error (RMSE = 0.0186). Subsequently, the SVM model, using a radial basis kernel function with parameters C=4, γ=1, and ϵ=0.001 demonstrated superior performance, with a coefficient of determination (R² = 0.895), Nash-Sutcliffe efficiency (NE = 0.801), and an error (RMSE = 0.0187). Then, the ANN-PSO and ANN models ranked third and fourth, respectively. The results indicated that using metaheuristic optimization algorithms significantly improved the accuracy of the ANN model, making it a suitable tool for neural network training. The evaluation of different ANFIS structures revealed that triangular and Gaussian functions performed better for modeling river discharge in the study area. On the other hand, the error of this model, with values of RMSE=0.023 and NE=0.76 was higher compared to the other models.
Conclusion and Suggestions
This study demonstrated that machine learning models, such as SVM, ANFIS, and ANN, exhibited acceptable accuracy in predicting river discharge. Adjusting neural network parameters using optimization algorithms like WOA and PSO significantly enhanced the performance of the ANN model. Finally, it can be concluded that these models can serve as suitable alternatives to conceptual and hydrological models for addressing hydrological and discharge-related issues. It is recommended to train the SVM and ANFIS models using the PSO and WOA algorithms and then compare the results with the findings of this study.

کلیدواژه‌ها [English]

  • Kashkan Watershed
  • Rainfall-Runoff
  • Particle Swarm Optimization
  • Whale Optimization Algorithm
  • Artificial Intelligence
Abdollah Pour Azad MR, Sattari MT. 2015. Forecasting daily river flow of Ahar Chay River using artificial neural networks (ANN) and comparison with Adaptive neuro fuzzy inference system (ANFIS). Journal of Water and Soil Conservation. 22(1):287-298. (In Persian). https://doi : 20.1001.1.23222069.1394.22.1.15.7
Asadabadi AS, Dinpazhuh Y, Mirabasi Najafabadi R. 2014. Forecasting the average daily discharge of the Beheshtabad River using wavelet analysis. Journal of Water and Soil Science. 28(3): 534–45. (In Persian). https://doi: 20.1001.1.23222069.1394.22.1.15.7
Buyukyildiz M, Kumcu SY. 2017. An estimation of the suspended sediment load using adaptive network based fuzzy inference system, support vector machine and artificial neural network models. Journal of Water Resources Management. 31(5): 1343–1359. https://doi.org/10.1007/s11269-017-1581-1
Choubin B, Moradi E, Golshan M, Adamowski J, Sajedi Hosseini F, Mousavi A. 2019. An ensemble prediction of flood susceptibility using multivariate discriminant analysis, classification and regression trees, and support vector machines. Journal of Science of the Total Environment. 651(2/15): 2087-2096. https://doi.org/10.1016/j.scitotenv.2018.10.064
Ditthakit P, Sirimon P, Nureehan S, Jakkarin W, Thai Th, and Quoc BP. 2023. Comparative study of machine learning methods and GR2M model for monthly runoff prediction. Journal of Ain Shams Engineering. 14(4) 101941. https://doi.org/10.1016/j.asej.2022.101941
Emami H, Emami S, Heidari Tashe Kabud SH. 2019. Prediction suspended sediment load of river using meta-heuristic algorithms. Journal of Irrigation and Drainage. 13(5): 1426-1438. (In Persian). https://doi: 20.1001.1.20087942.1398.13.5.21.5
Eskandari A, Nouri R, Vesali Naseh MR, Saeedi F. 2019. Uncertainty evaluation of ANN and ANFIS models in estimating the inflow to Rais Ali Delwari dam. Journal of Environmental Science and Technology. 21(7):34-47 .(In Persian). https://doi: 10.22034/jest.2020.20068.2909
Falamaki A, Eskandari M, Baghlani A, Ahmadi SA. 2012. Modeling total sediment load in rivers using artificial neural networks. Journal of Water and Soil Resources Conservation. 2(3):13-25 .  (In Persian). https://sid.ir/paper/403921/fa
Ghafari GH, Vafakhah M. 2013. Simulation of rainfall-runoff process using artificial neural network and fuzzy-adaptive neural system (case study: Hajighoshan watershed). Journal of Watershed Management Research. 4(8):120-136. (In Persian). https://jwmr.sanru.ac.ir/article-1-321-fa.html
Hakimi Khansar H, Parsa J, Momeni Keleshteri O, Karami N, Khoshdel Sangdeh M. 2024. Extended estimation of daily inflow of Sefidroud dam using meta-heuristic algorithms combined with fuzzy neural inference system. Journal of Civil Engineering, Amirkabir. 56(1): 03-22. (In Persian). https://doi: 10.22060/ceej.2024.21634.7784
Jang, J-SR. 1993. ANFIS: Adaptive-Network-Based Fuzzy Inference System. IEEE Transactions on systems, man, and cybernetics. 23(3): 665–85.
Joudi HA, Kadkhoda Hosseini M, Akhavan S, Nozari H. 2015. Evaluation of AWAT and SVM models in the simulation of Ligvanchai river runoff. Journal of Water and Soil Science. 26(4/1): 137-150. (In Persian). https://civilica.com/doc/1587524
Katipoğlu OM. 2023. Modeling the effect of meteorological variables on streamflow estimation: application of data mining techniques in mixed rainfall–snowmelt regime Munzur River. Türkiye. Journal of Environmental Science and Pollution Research. 30(4): 96312–96328.https://doi.org/10.1007/s11356-023-29220-2
Latif SD, Chong KL, Ahmed AN, Huang YF, Sherif M, Shafie A EL. 2023. Sediment load prediction in Johor River: deep learning versus machine learning models. Journal of Applied Water Science. 13(3): 79-93. https://doi.org/10.1007/s13201-023-01874-w
 Malik A,  Tikhamarine Y,  Souag-Gamane D, Rai P,  Sammen SS,  Kisi O. 2021. Support vector regression integrated with novel meta-heuristic algorithms for meteorological drought prediction. Journal of Meteorology and Atmospheric Physics. 133(2): 891–909. https://doi.org/10.1007/s00703-021-00787-0
 Marcé R, Comerma M, García JC. Armengol J. 2004. A neuro‐fuzzy modeling tool to estimate fluvial nutrient loads in watersheds under time‐varying human impact. Limnology and Oceanography Methods, 2(11): 342-355. https://doi.org/10.4319/lom.2004.2.342
Memari M, Harifi M, Khalili A. 2020. Improving the classification performance of polynomial neural network using whale algorithm. Journal of Electrical and Computer Engineering. 20(2):145-154. (In Persian). https://sid.ir/paper/959517/fa
 Mirjalili S, Lewis A. 2016. The whale optimization algorithm. Journal of Advances in Engineering Software. 95(6):51-67 https://doi.org/10.1016/j.advengsoft. 2016.01.008
Mohammadi  B, Moazenzadeh R. 2019. Prediction of stream flow using intelligent hybrid models in monthly scale (case study: Zarrin roud River). Journal of Environmental Science and Technology. 21(9):71-81. (In Persian). https://doi: 10.22034/jest.2020.24315.3331.
Moriasi DN, Jeffrey GA, Michael WVL, Ronald LB, Daren H, Tamie LV. 2007. Model evaluation guidelines for systematic quantification of accuracy in watershed simulations. Transactions of the American Society of Agricultural and Biological Engineers (ASABE). 50(3): 885–900. https://doi: 10.13031/2013.23153
Nazeri Tahroudi M, Hashemi SR, Ahmadi F, Nazeri Tahroudi Z. 2016. Examining the accuracy of ANFIS, SVM and GP models in modeling the river flow discharge. Journal of Echohydrology. 3(3):347-361. (In Persian). https://doi: 10.22059/ije.2016.60024
Nie Y, Sun J, Jiehua M. 2023. Seasonal prediction of summer extreme precipitation frequencies over southwest China based on machine learning. Journal of Atmospheric Research. 294 (5): 106947.
Nourani V, Alizadeh F, Roushangar K. 2015. Evaluation of a two-Stage SVM and spatial statistics methods for modeling monthly river suspended sediment load. Journal of Water Resour Management. 30(9):393-407.  https://doi:  10.1007/s11269-015-1168-7
Parisouj P, Mohebzadeh H, Lee T. 2020. Employing machine learning algorithms for streamflow prediction: A case study of four River basins with different climatic zones in the United States. Journal of Water Resource Management. 34(3): 4113-4131. https://doi.org/10.1007/s11269-020-02659-5
Samadi M, Fath Abadi A. 2018. Application of Time Series, ANN, and SVM Models in forecasting the Gorgan Dam inflow rate. Journal of Environment and Water Engineering. 4(4): 299-309. (In Persian). https://doi.org/10.22034/jewe.2018.128256.1256
Shahhoseini Sh, Moosavi M, Mollajafari M. 2011. Evolutionary algorithms- fundamentals, applications, implementation. Tehran Press Center, Iran University of Science and Technology, Tehran, 590 p. (In Persian).
Shahi Nejad B, Dehghani R. 2017. Evaluation and performance of support vector machine model in estimation of suspended sediment. Journal of Irrigation and Water Engineering. 8(29):25-34.(In Persian). https://www.waterjournal.ir/article_74207.html
Studies on the modernization of the country's water comprehensive plan in the border watersheds of the West, Karkheh, Karun and Jarahi-Zahre. 2006. Ministry of Energy and Water Research Institute. pp. 52-58 (In Persian).
Yu X, Liong SY.  Babovic V. 2004. EC-SVM approach for real-time hydrologic forecasting. Journal of Hydroinformatics, 6 (3): 209–223. https://doi.org/10.2166/hydro.2004.0016