Аналіз інтегрованих систем підтримки прийняття рішень у реальному часі на основі нейронних мереж та слабоструктурованих даних
Микола ДемчинаМетою цієї роботи було дослідження та обґрунтування ефективних методів аналізу слабоструктурованих даних з використанням нейронних мереж для забезпечення оперативної підтримки прийняття рішень у складних середовищах. Основну увагу приділено використанню штучних нейронних мереж для аналізу слабоструктурованих даних, таких як сенсорні потоки, для забезпечення оперативності, точності та адаптивності в умовах динамічного середовища. Дослідження спрямоване на створення інноваційних моделей і технологій, які дозволять підвищити ефективність управління у складних ситуаціях, таких як реагування на надзвичайні події, автоматизація процесів у критичних галузях і прийняття рішень на основі прогнозної аналітики. У роботі досліджено концептуальні підходи до розробки інтегрованих систем підтримки прийняття рішень у реальному часі, які базуються на аналізі слабоструктурованих даних за допомогою нейронних мереж. Запропоновано методи адаптивного навчання, що дають змогу нейронним мережам ефективно обробляти дані в умовах постійних змін. Методологія дослідження включала моделювання архітектури реального часу з використанням мікросервісного підходу та платформ для потокової обробки даних, таких як Apache Kafka і Apache Flink. Висвітлено роль нейронних мереж у роботі з потоковими даними, зокрема згорткових мереж для обробки візуальної інформації, рекурентних мереж для аналізу послідовностей і трансформерів для багатоканального аналізу. Розроблено архітектурні рішення, які дозволяють обробляти великі обсяги даних із мінімальними затримками, забезпечуючи точність і адаптивність систем. Представлено підходи до реалізації адаптивного навчання нейронних мереж, що мінімізують ризики втрати релевантності моделі в динамічному середовищі. Використання сучасних технологій, таких як штучні нейронні мережі, адаптивне навчання та інтеграція з інтернетом речей, дозволяє створювати ефективні системи для оперативного реагування на надзвичайні події. Запропоновані методи сприяють підвищенню ефективності управління у складних умовах і відкривають нові перспективи для інновацій у різних галузях
Використані джерела
[1] Abirami, S., & Chitra, P. (2020). Energy-efficient edge based real-time healthcare support system. Advances in Computers, 117(1), 339-368. doi: 10.1016/bs.adcom.2019.09.007.
[2] Apache Flink. (n.d.). Retrieved from https://flink.apache.org/.
[3] Apache Kafka. (n.d.). Retrieved from https://kafka.apache.org/.
[4] Ashraf, S., Afify, Y.M., & Ismail, R. (2022). Big data for real-time processing on streaming data: state-of-the-art and future challenges. In 2022 International conference on electrical, computer, communications and mechatronics engineering (pp. 1-8). Maldives: IEEE. doi: 10.1109/iceccme55909.2022.9987770.
[5] Deepthi, B.G., Rani, K.S., Krishna, P.V., & Saritha, V. (2023). An efficient architecture for processing real-time traffic data streams using Apache Flink. Multimedia Tools and Applications, 83(13), 37369-37385. doi: 10.1007/s11042-023-17151-6.
[6] Dhruv, P., & Naskar, S. (2020). Image classification using convolutional neural network (CNN) and recurrent neural network (RNN): A review. In D. Swain, P. Pattnaik & P. Gupta (Eds.), Machine learning and information processing (pp. 367-381). Singapore: Springer. doi: 10.1007/978-981-15-1884-3_34.
[7] Fan, F., Xiong, J., Li, M., & Wang, G. (2021). On interpretability of artificial neural networks: A survey. IEEE Transactions on Radiation and Plasma Medical Sciences, 5(6), 741-760. doi: 10.1109/trpms.2021.3066428.
[8] Gurcan, F., & Berigel, M. (2018). Real-time processing of big data streams: Lifecycle, tools, tasks, and challenges. In 2018 2nd international symposium on multidisciplinary studies and innovative technologies (pp. 1-6). Ankara: IEEE. doi: 10.1109/ismsit.2018.8567061.
[9] Haidur, H.I., Gakhov, S.O., & Bryhynets, A.A. (2023). Detection of network anomalies with neural networks algorithms. Telecommunication and Information Technologies, 1(78), 61-73. doi: 10.31673/2412-4338.2023.016173.
[10] Hammou, B.A., Lahcen, A.A., & Mouline, S. (2019). Towards a real-time processing framework based on improved distributed recurrent neural network variants with fastText for social big data analytics. Information Processing & Management, 57(1), article number 102122. doi: 10.1016/j.ipm.2019.102122.
[11] Han, Y., Huang, G., Song, S., Yang, L., Wang, H., & Wang, Y. (2021). Dynamic neural networks: A survey. IEEE Transactions on Pattern Analysis and Machine Intelligence, 44(11), 7436-7456. doi: 10.1109/tpami.2021.3117837.
[12] Hancock, J.T., & Khoshgoftaar, T.M. (2020). Survey on categorical data for neural networks. Journal of Big Data, 7, article number 28. doi: 10.1186/s40537-020-00305-w.
[13] Hariri, R.H., Fredericks, E.M., & Bowers, K.M. (2019). Uncertainty in big data analytics: Survey, opportunities, and challenges. Journal of Big Data, 6(1), article number 44. doi: 10.1186/s40537-019-0206-3.
[14] Huang, G., Zhu, Q., & Siew, C. (2006). Real-time learning capability of neural networks. IEEE Transactions on Neural Networks, 17(4), 863-878. doi: 10.1109/tnn.2006.875974.
[15] Huang, S., Lin, C., Zhou, K., Yao, Y., Lu, H., & Zhu, F. (2020). Identifying physical-layer attacks for IoT security: An automatic modulation classification approach using multi-module fusion neural network. Physical Communication, 43, article number 101180. doi: 10.1016/j.phycom.2020.101180.
[16] Kabudi, T., Pappas, I., & Olsen, D.H. (2021). AI-enabled adaptive learning systems: A systematic mapping of the literature. Computers and Education Artificial Intelligence, 2, article number 100017. doi: 10.1016/j.caeai.2021.100017.
[17] Kavitha, D., & Ravikumar, S. (2020). IOT and context‐aware learning‐based optimal neural network model for realtime health monitoring. Transactions on Emerging Telecommunications Technologies, 32(1), article number e4132. doi: 10.1002/ett.4132.
[18] Liu, Y., He, Q., Zheng, D., Xia, X., Chen, F., & Zhang, B. (2020). Data caching optimization in the edge computing environment. IEEE Transactions on Services Computing, 15(4), 2074-2085. doi: 10.1109/tsc.2020.3032724.
[19] Mehmood, E., & Anees, T. (2020). Challenges and solutions for processing real-time big data stream: A systematic literature review. IEEE Access, 8, 119123-119143. doi: 10.1109/access.2020.3005268.
[20] Mohammadi, M., Al-Fuqaha, A., Sorour, S., & Guizani, M. 2018. Deep learning for IoT big data and streaming analytics: A survey. IEEE Communications Surveys & Tutorials, 20(4), 2923-2960. doi: 10.1109/COMST.2018.2844341.
[21] Mohan, D., & Thyagarajan, K. (2023). A side-by-side comparison of Apache Spark and Apache Flink for common streaming use cases. Retrieved from https://aws.amazon.com/ru/blogs/big-data/a-side-by-side-comparison-of-apache-sparkand-apache-flink-for-common-streaming-use-cases/?utm_source.
Navaz, A.N., Harous, S., Serhani, M.A., & Taleb, I. (2019). Real-time data streaming algorithms and processing technologies: A survey. In 2019 International conference on computational intelligence and knowledge economy (pp. 246-250). Dubai: IEEE. doi: 10.1109/ICCIKE47802.2019.9004318.
Nilima, S.I., Bhuyan, M.K., Kamruzzaman, M., Akter, J., Hasan, R., & Johora, F.T. (2024). Optimizing resource management for IoT devices in constrained environments. Journal of Computer and Communications, 12(08), 81-98. doi.org/10.4236/jcc.2024.128005.
Novak, A., Bennett, D., & Kliestik, T. (2021). Product decision-making information systems, real-time sensor networks, and artificial intelligence-driven big data analytics in sustainable Industry 4.0. Economics, Management, and Financial Markets, 16(2), 62-72. doi: 10.22381/emfm16220213.
Ortiz, G., Boubeta-Puig, J., Criado, J., Corral-Plaza, D., Garcia-De-Prado, A., Medina-Bulo, I., & Iribarne, L. (2021). A microservice architecture for real-time IoT data processing: A reusable Web of things approach for smart ports. Computer Standards & Interfaces, 81, article number 103604. doi: 10.1016/j.csi.2021.103604.
Ortiz, G., Caravaca, J.A., Garcia-De-Prado, A., De La O, F.C., & Boubeta-Puig, J. (2019). Real-time context-aware microservice architecture for predictive analytics and smart decision-making. IEEE Access, 7, 183177-183194. doi: 10.1109/access.2019.2960516.
Petit, O., Velasco, C., & Spence, C. (2018). Digital sensory marketing: Integrating new technologies into multisensory online experience. Journal of Interactive Marketing, 45(1), 42-61. doi: 10.1016/j.intmar.2018.07.004.
Raparthi, M. et al. (2021). Real-time AI decision making in IoT with quantum computing: Investigating & exploring the development and implementation of quantum-supported AI inference systems for IoT applications. Internet of Things and Edge Computing Journal, 1(1), 18-27.
Raptis, T.P., Passarella, A., & Conti, M. (2019). Data management in Industry 4.0: State of the art and open challenges. IEEE Access, 7, 97052-97093. doi: 10.1109/access.2019.2929296.
Semenenko, O., Nozdrachov, O., Chernyshova, I., Melnychenko, A., & Momot, D. (2024). Innovative technologies to improve energy efficiency and security of military facilities. Machinery & Energetics, 15(4), 147-156. doi: 10.31548/ machinery/4.2024.147.
Sherstinsky, A. (2020). Fundamentals of recurrent neural network (RNN) and long short-term memory (LSTM) network. Physica D: Nonlinear Phenomena, 404, article number 132306. doi: 10.1016/j.physd.2019.132306.
Trofymenko, O., Sokolov, A., Chykunov, P., Akhmametieva, H., & Manakov, S. (2024). AI in the military cyber domain. Technologies and Engineering, 25(4), 85-92. doi: 10.30857/2786-5371.2024.4.8.
Ullah, A., Muhammad, K., Haq, I.U., & Baik, S.W. (2019). Action recognition using optimized deep autoencoder and CNN for surveillance data streams of non-stationary environments. Future Generation Computer Systems, 96, 386-397.
doi: 10.1016/j.future.2019.01.029.
Wang, C., Wang, J., Shen, Y., & Zhang, X. (2019). Autonomous navigation of UAVs in large-scale complex environments: A deep reinforcement learning approach. IEEE Transactions on Vehicular Technology, 68(3), 2124-2136. doi: 10.1109/ tvt.2018.2890773.
Wang, Y., & Zou, S. (2021). Online robust reinforcement learning with model uncertainty. Advances in Neural Information Processing Systems, 34.
Wang, Y., Zhang, H., & Zhang, G. (2019). cPSO-CNN: An efficient PSO-based algorithm for fine-tuning hyper-parameters of convolutional neural networks. Swarm and Evolutionary Computation, 49, 114-123. doi: 10.1016/j. swevo.2019.06.002.
Yan, Y., & Yang, H. (2024). Big data analysis and decision support system based on deep learning. Computer-Aided Design & Applications, 21(S13), 62-74. doi: 10.14733/cadaps.2024.s13.62-74.
Yang, L.X., & Xiu, C.Y. (2023). Characteristics and techniques for adaptive models for behavior prediction in dynamic networks. International Journal of Responsible Artificial Intelligence, 13(7), 13-21.