https://oldena.lpnu.ua/handle/ntb/56880| Title: | Neural network model for identification of material creep curves using CUDA technologies |
| Other Titles: | Нейромережева модель ідентифікації кривих повзучості матеріалу з використанням CUDA технологій |
| Authors: | Соколовський, Я. І. Шиманський, В. М. Мокрицька, О. В. Харко, Я. В. Sokolovskyy, Ya. I. Shymanskyi, V. M. Mokrytska, O. V. Kharko, Ya. V. |
| Affiliation: | Національний лісотехнічний університет України Ukrainian National Forestry University |
| Bibliographic description (Ukraine): | Neural network model for identification of material creep curves using CUDA technologies / Ya. I. Sokolovskyy, V. M. Shymanskyi, O. V. Mokrytska, Ya. V. Kharko // Український журнал інформаційних технологій. — Львів : Видавництво Львівської політехніки, 2019. — Том 1. — № 1. — С. 11–16. |
| Bibliographic description (International): | Neural network model for identification of material creep curves using CUDA technologies / Ya. I. Sokolovskyy, V. M. Shymanskyi, O. V. Mokrytska, Ya. V. Kharko // Ukrainian Journal of Information Technology. — Lviv : Vydavnytstvo Lvivskoi politekhniky, 2019. — Vol 1. — No 1. — P. 11–16. |
| Is part of: | Український журнал інформаційних технологій, 1 (1), 2019 Ukrainian Journal of Information Technology, 1 (1), 2019 |
| Journal/Collection: | Український журнал інформаційних технологій |
| Issue: | 1 |
| Volume: | 1 |
| Issue Date: | 26-Sep-2019 |
| Publisher: | Видавництво Львівської політехніки |
| Place of the edition/event: | Львів Lviv |
| Keywords: | ідентифікація параметрів розпаралелювання штучні нейронні мережі python chainer framework cuda identification of parameters parallelization artificial neural network python Chainer framework CUDA |
| Number of pages: | 6 |
| Page range: | 11-16 |
| Start page: | 11 |
| End page: | 16 |
| Abstract: | Ця робота присвячена проблемі ідентифікації реологічних параметрів деревини з використанням штучних
нейронних мереж з розпаралеленим алгоритмом навчання за допомогою мови програмування Python, фреймворку Chainer та
технології CUDA. Розроблено інтелектуальну систему ідентифікації реологічних параметрів деревини. Створена
система містить максимально зрозумілий інтерфейс користувача, весь необхідний комплекс інструментів для автоматизації
процесу візуалізації та аналізу даних. У процесі створення інтелектуальної системи було передбачено вирішення
наступних завдань: провести аналіз систем штучного інтелекту та аналіз навчання штучних нейронних мереж, зокрема
багатошарових нейронних мереж прямого поширення, рекурентної нейронних мереж та нейронної мережі Кохонена;
дослідити структуру фреймворку Chainer та його взаємодію з CUDA; провести аналіз існуючих хмарних технологій для
реалізації завдання; провести аналіз алгоритмів навчання штучних нейронних мереж, їхнє математичне забезпечення;
здійснити розпаралелення алгоритмів навчання та розробити необхідне програмне забезпечення. Використання Chainer дає
змогу створювати пул пам'яті для розподілу пам'яті GPU. Щоб уникнути розподілу та вилучення пам'яті під час обчислень,
Chainer надає можливість використовувати пул пам'яті CuPy як стандартний розподіл пам'яті не маючи справу з
розподілом пам'яті. Для визначення фізико-механічних параметрів математичної моделі неізотермічного вологоперенесення та
в'язко-пружного деформування капілярно-пористих матеріалів у процесі сушіння розроблено інтелектуальну систему.
Вона надає можливість провести ідентифікацію параметрів ядер повзучості та релаксації, що записується як лінійна
комбінація експоненціальних операторів. Запропонований алгоритм апроксимації та отримані розрахункові
співвідношення реологічної поведінки деревини за допомогою багатошарової нейромережі з експоненціальними функціями
активації у прихованих шарах дає змогу підвищити точність апроксимації експериментальних даних повзучості. Розроблені
математичні моделі можуть бути використані для створення систем автоматизованого скінченно-різницевого
розрахунку температури, вологовмісту та компонент напружень під час сушіння капілярно-пористих матеріалів з урахуванням
технологічних параметрів агента сушіння. This paper addresses the problem of identifying rheological parameters of wood using artificial neural networks with parallel learning algorithm using Python programming language, Chainer framework and CUDA technology. An intelligent system for identification of rheological parameters of wood has been developed. The system created contains the most user-friendly interface, all the necessary set of tools for automation of the process of visualization and analysis of data. In the process of creation of the intellectual system, the following tasks were envisaged: to carry out the analysis of artificial intelligence systems and the analysis of training of artificial neural networks, in particular multilayer neural networks of direct propagation, recurrent neural networks and the Kohonen neural network; examine the structure of the Chainer framework and its interaction with CUDA; to conduct existing cloud technologies to accomplish the task; to conduct the analysis of algorithms of studies of artificial neuron networks, their mathematical providing; to implement parallelization of learning algorithms and to develop the necessary software. Using Chainer allows you to create a memory pool for GPU memory allocation. To avoid memory allocation and erasure during computing, Chainer provides the ability to use the CuPy memory pool as a standard memory allocation without dealing with memory allocation. An intellectual system to determine the physical and mechanical parameters of a mathematical model of nonisothermal moisture transfer and viscoelastic deformation of capillary-porous materials was developed. It provides the opportunity to identify parameters of the kernels of creep and relaxation that is written as a linear combination of exponential operators. The proposed algorithm of approximation and obtained calculated ratios of rheological behavior of wood by means of multilayer neural network with exponential activation functions in hidden layers allows to increase the accuracy of approximation of experimental creep data. The developed mathematical models can be used to create an automated systems of finite-difference calculation of temperature and moisture content, stress components during the drying of capillary-porous materials with taking into account the technological parameters of the drying agent. |
| URI: | https://ena.lpnu.ua/handle/ntb/56880 |
| Copyright owner: | © Національний університет “Львівська політехніка”, 2019 |
| URL for reference material: | https://doi.org/10.2478/amcs-2019-0035 https://doi.org/10.1016/j.sandf.2018.08.001 https://doi.org/10.1111/mice.12359 https://doi.org/10.1016/j.cpc.2010.06.035 https://doi.org/10.1109/CSSE.2008.1448 |
| References (Ukraine): | [1] Anagnostopoulos, I., Anagnostopoulos, C., & Loumos, V. (2004). Classifying Web pages employing a probabilistic neural network. IEEE Proceedings – Software, 151(3), (pp. 139–150). [2] Bodyanskiy, Y. V., & Tyshchenko, O. K. (2019). A Hybrid Cascade Neuro-Fuzzy Network with Pools of Extended Neo- Fuzzy Neurons and its Deep Learning. International Journal of Applied Mathematics and Computer Science, 29(3), 477–488. https://doi.org/10.2478/amcs-2019-0035 [3] Chang, D.-J., Kantardzic, M. M., & Ouyang, M. (2009). Hierarchical Clustering with CUDA/GPU. ISCA PDCCS, 7–12. [4] Chapman, B., Jost, G., & van der Pas, Ruud. (2008). Using OpenMP: portable shared memory parallel programming (Scientific and Engineering Computation), 2(3), 43–48. Cambridge, Massachusetts: The MIT Press. [5] Díaz, E., Brotons, V., & Tomás, R. (2018). Use of artificial neural networks to predict 3-D elastic settlement of foundations on soils with inclined bedrock. Soils and Foundations,58(6), 1414–1422. https://doi.org/10.1016/j.sandf.2018.08.001 [6] Gerbec, D., Gasperic, S., & Smon, I. (2005). Allocation of the load profiles to consumers using probabilistic neural networks. IEEE Transactions on Power Systems, 20(2), (pp 548–555). [7] Gu, L., Li, X., & Siegel, Ja. (2010). An empirically tuned 2D and 3D FFT library on CUDA GPU. Proceedings of the 24th ACM International Conference on Supercomputing – ACM, Tsukuba, Japan. – June 01–04. New York, (pp. 305–314). [8] Haykin, S. (2013). Neural Network a comprehensive foundation (2nd ed.). Prentice Hall, 426 p. [9] Hong, S. G., Kim, S. W., & Lee, J. J. (2015). The Minimum Cost Path Finding Algorithm Using a Hopfield Type Neural Network. Proceedings IEEE International Conference on Fuzzy, Systems 4, (pp. 719–726). [10] Hu, Z., Bodyanskiy, Y., & Tyshchenko, O. K. (2019). Self-learning procedures for a kernel fuzzy clustering system. Advances in Intelligent Systems and Computing, 754, 487–497. [11] Spooner, J. T., Maggiore, M., Ordóñez, R., & Passino, K. M. (2002). Stable Adaptive Control and Estimation for Nonlinear Systems: Neural and Fuzzy Approximator Techniques. John Wiley & Sons, Inc., 236 p. [12] Krste, A., et al. (2016). The Landscape of Parallel Computing cResearch: A View from Berkeley University of California, Berkeley. Technical cReport No. UCB/EECS-2016-183. [13] Nabian, M. A., & Meidani, H. (2017). Deep Learning for Accelerated Reliability Analysis of Infrastructure Networks. Computer-Aided Civil and Infrastructure Engineering, 33(6),443–458. https://doi.org/10.1111/mice.12359 [14] Nukada, A., & Matsuoka, S. (2009). Auto-tuning 3-D FFT library for CUDA GPUs. Proceedings of the Conference on High Performance Computing Networking, Storage and Analysis – ACM, November 14–20, 2009, Portland, Oregon. – New York, (pp. 1–30). [15] Plas, D. V. (2018). Python Data Science Handbook: Essential Tools for Working with Data. St. Petersburg: Piter, 576 p. [16] Shymanskyi, V., & Protsyk, Yu. (2018). Simulation of the Heat Conduction Process in the Claydite-Block Construction with Taking Into Account the Fractal Structure of the Material. Computer Science and Information Technologies: XIII-th International Scientific and Technical Conference (CSIT-2018), Lviv Ukraine, (pp. 151–154). [17] Sokolovskyy, Y., Boretska, I., Gayvas, B., Shymanskyi, V., & Gregus, M. (2019). Mathematical modeling of heat transfer in anisotropic biophysical materials, taking into account the phase transition boundary. CEUR Workshop Proceedings 2488, (pp. 121–132).16 Ukrainian Journal of Information Technology, 2019, vol. 1, no 1 [18] Sokolovskyy, Ya., Mokrytska, O., & Krishtapovich, V. (2015). Mathematical Simulation of Deformation and Relaxtion process in capillaryporaus materials. Proceedings of the information Conference on Computer Science and Information Technologies (CSIT 2015), Lviv Ukraine, (pp. 52–56). [19] Sokolovskyy, Ya., Nechepurenko, A., & Zdolbytskyy, A. (2017). Software simulation of heat mass transfer using parallel computing technologies. Visnyk NULP: Komp'iuterni systemy. Teoriia i praktyka, 923, 34–43. [20] Sokolovskyy, Ya., & Sinkevych, O. (2018). Software and algorithmic support for representation of CAD models in 2D von Neumann neighborhood. CEUR Workshop Proceedings 2300, (pp. 215–218). [21] Sokolowskyi, Ya., Shymanskyi, V., & Levkovych, M. (2016). Mathematical modeling of non-isotermal moisture transfer and visco-elastic deformation in the materials with fractal structure. Computer Science and Information Technologies. XI-Th International Scientific and Technical Conference (CSIT-2016), Lviv, Ukraine, (pp. 91–95). [22] Tian, B., Azimi-Sadjadi, M. R., & Vonder Haar, T. H. (2010). Temporal updating scheme for probabilistic neural network with application to satellite cloud classification. IEEE Transactions on Neural Networks, 11(3–4), (pp. 903–920). [23] Tkachenko, R., Izonin, I., Kryvinska, N., Chopyak, V., Lotoshynska, N., & Danylyuk, D. (2018). Piecewise-linear Approach for Medical Insurance Costs Prediction using SGTM Neural-Like Structure. In: Shakhovska, N., Montenegro, S., Estève, Ya., Subbotin, S., Kryvinska, N., Izonin, I. (Eds.): Informatics & Data-Driven Medicine. Proceedings of the 1st International Workshop IDDM (IDDM 2018), Lviv, Ukraine, November 28–30, (pp. 170–179). [24] Tkachenko, R., & Izonin, I. (2019). Model and Principles for the Implementation of Neural-Like Structures based on Geometric Data Transformations. In: Hu, Z. B., Petoukhov, S., (Eds.): Advances in Computer Science for Engineering and Education. Advances in Intelligent Systems and Computing. Springer, Cham. (ICCSEEA 2018). Vol. 754, (pp. 578–587). [25] Yang, C.-T., Huang, C.-L., & Lin, C.-F. (2011). Hybrid CUDA, OpenMP, and MPI parallel programming on multicore GPU clusters. Computer physics communications, 1, 266–269. https://doi.org/10.1016/j.cpc.2010.06.035 [26] Zhiyi, Y., Zhu, Y., & Pu, Y. (2008). Parallel image processing based on CUDA. Computer Science and Software Engineering, 3, 198–201. https://doi.org/10.1109/CSSE.2008.1448 |
| References (International): | [1] Anagnostopoulos, I., Anagnostopoulos, C., & Loumos, V. (2004). Classifying Web pages employing a probabilistic neural network. IEEE Proceedings – Software, 151(3), (pp. 139–150). [2] Bodyanskiy, Y. V., & Tyshchenko, O. K. (2019). A Hybrid Cascade Neuro-Fuzzy Network with Pools of Extended Neo- Fuzzy Neurons and its Deep Learning. International Journal of Applied Mathematics and Computer Science, 29(3), 477–488. https://doi.org/10.2478/amcs-2019-0035 [3] Chang, D.-J., Kantardzic, M. M., & Ouyang, M. (2009). Hierarchical Clustering with CUDA/GPU. ISCA PDCCS, 7–12. [4] Chapman, B., Jost, G., & van der Pas, Ruud. (2008). Using OpenMP: portable shared memory parallel programming (Scientific and Engineering Computation), 2(3), 43–48. Cambridge, Massachusetts: The MIT Press. [5] Díaz, E., Brotons, V., & Tomás, R. (2018). Use of artificial neural networks to predict 3-D elastic settlement of foundations on soils with inclined bedrock. Soils and Foundations,58(6), 1414–1422. https://doi.org/10.1016/j.sandf.2018.08.001 [6] Gerbec, D., Gasperic, S., & Smon, I. (2005). Allocation of the load profiles to consumers using probabilistic neural networks. IEEE Transactions on Power Systems, 20(2), (pp 548–555). [7] Gu, L., Li, X., & Siegel, Ja. (2010). An empirically tuned 2D and 3D FFT library on CUDA GPU. Proceedings of the 24th ACM International Conference on Supercomputing – ACM, Tsukuba, Japan, June 01–04. New York, (pp. 305–314). [8] Haykin, S. (2013). Neural Network a comprehensive foundation (2nd ed.). Prentice Hall, 426 p. [9] Hong, S. G., Kim, S. W., & Lee, J. J. (2015). The Minimum Cost Path Finding Algorithm Using a Hopfield Type Neural Network. Proceedings IEEE International Conference on Fuzzy, Systems 4, (pp. 719–726). [10] Hu, Z., Bodyanskiy, Y., & Tyshchenko, O. K. (2019). Self-learning procedures for a kernel fuzzy clustering system. Advances in Intelligent Systems and Computing, 754, 487–497. [11] Spooner, J. T., Maggiore, M., Ordóñez, R., & Passino, K. M. (2002). Stable Adaptive Control and Estimation for Nonlinear Systems: Neural and Fuzzy Approximator Techniques. John Wiley & Sons, Inc., 236 p. [12] Krste, A., et al. (2016). The Landscape of Parallel Computing cResearch: A View from Berkeley University of California, Berkeley. Technical cReport No. UCB/EECS-2016-183. [13] Nabian, M. A., & Meidani, H. (2017). Deep Learning for Accelerated Reliability Analysis of Infrastructure Networks. Computer-Aided Civil and Infrastructure Engineering, 33(6),443–458. https://doi.org/10.1111/mice.12359 [14] Nukada, A., & Matsuoka, S. (2009). Auto-tuning 3-D FFT library for CUDA GPUs. Proceedings of the Conference on High Performance Computing Networking, Storage and Analysis – ACM, November 14–20, 2009, Portland, Oregon, New York, (pp. 1–30). [15] Plas, D. V. (2018). Python Data Science Handbook: Essential Tools for Working with Data. St. Petersburg: Piter, 576 p. [16] Shymanskyi, V., & Protsyk, Yu. (2018). Simulation of the Heat Conduction Process in the Claydite-Block Construction with Taking Into Account the Fractal Structure of the Material. Computer Science and Information Technologies: XIII-th International Scientific and Technical Conference (CSIT-2018), Lviv Ukraine, (pp. 151–154). [17] Sokolovskyy, Y., Boretska, I., Gayvas, B., Shymanskyi, V., & Gregus, M. (2019). Mathematical modeling of heat transfer in anisotropic biophysical materials, taking into account the phase transition boundary. CEUR Workshop Proceedings 2488, (pp. 121–132).16 Ukrainian Journal of Information Technology, 2019, vol. 1, no 1 [18] Sokolovskyy, Ya., Mokrytska, O., & Krishtapovich, V. (2015). Mathematical Simulation of Deformation and Relaxtion process in capillaryporaus materials. Proceedings of the information Conference on Computer Science and Information Technologies (CSIT 2015), Lviv Ukraine, (pp. 52–56). [19] Sokolovskyy, Ya., Nechepurenko, A., & Zdolbytskyy, A. (2017). Software simulation of heat mass transfer using parallel computing technologies. Visnyk NULP: Komp'iuterni systemy. Teoriia i praktyka, 923, 34–43. [20] Sokolovskyy, Ya., & Sinkevych, O. (2018). Software and algorithmic support for representation of CAD models in 2D von Neumann neighborhood. CEUR Workshop Proceedings 2300, (pp. 215–218). [21] Sokolowskyi, Ya., Shymanskyi, V., & Levkovych, M. (2016). Mathematical modeling of non-isotermal moisture transfer and visco-elastic deformation in the materials with fractal structure. Computer Science and Information Technologies. XI-Th International Scientific and Technical Conference (CSIT-2016), Lviv, Ukraine, (pp. 91–95). [22] Tian, B., Azimi-Sadjadi, M. R., & Vonder Haar, T. H. (2010). Temporal updating scheme for probabilistic neural network with application to satellite cloud classification. IEEE Transactions on Neural Networks, 11(3–4), (pp. 903–920). [23] Tkachenko, R., Izonin, I., Kryvinska, N., Chopyak, V., Lotoshynska, N., & Danylyuk, D. (2018). Piecewise-linear Approach for Medical Insurance Costs Prediction using SGTM Neural-Like Structure. In: Shakhovska, N., Montenegro, S., Estève, Ya., Subbotin, S., Kryvinska, N., Izonin, I. (Eds.): Informatics & Data-Driven Medicine. Proceedings of the 1st International Workshop IDDM (IDDM 2018), Lviv, Ukraine, November 28–30, (pp. 170–179). [24] Tkachenko, R., & Izonin, I. (2019). Model and Principles for the Implementation of Neural-Like Structures based on Geometric Data Transformations. In: Hu, Z. B., Petoukhov, S., (Eds.): Advances in Computer Science for Engineering and Education. Advances in Intelligent Systems and Computing. Springer, Cham. (ICCSEEA 2018). Vol. 754, (pp. 578–587). [25] Yang, C.-T., Huang, C.-L., & Lin, C.-F. (2011). Hybrid CUDA, OpenMP, and MPI parallel programming on multicore GPU clusters. Computer physics communications, 1, 266–269. https://doi.org/10.1016/j.cpc.2010.06.035 [26] Zhiyi, Y., Zhu, Y., & Pu, Y. (2008). Parallel image processing based on CUDA. Computer Science and Software Engineering, 3, 198–201. https://doi.org/10.1109/CSSE.2008.1448 |
| Content type: | Article |
| Appears in Collections: | Ukrainian Journal of Information Technology. – 2019. – Vol. 1, No. 1 |
| File | Description | Size | Format | |
|---|---|---|---|---|
| 2019v1n1_Sokolovskyy_Ya_I-Neural_network_model_11-16.pdf | 558.72 kB | Adobe PDF | View/Open | |
| 2019v1n1_Sokolovskyy_Ya_I-Neural_network_model_11-16__COVER.png | 1.89 MB | image/png | View/Open |
Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.