Анализ технических возможностей развития последовательно обучающихся нейронных сетей в проектировании промышленной архитектуры

Цель исследования заключается в анализе механических возможностей развития последовательно обучающихся нейронных сетей в контексте проектирования промышленной архитектуры. В ходе исследования был выявлен дефицит эмпирических данных по применению нейросетевых методов для автоматизации создания архитектурных моделей промышленных объектов в современной информационной среде. Существующие работы ограничиваются общим описанием проблематики и не предлагают комплексных решений. Применяемые методы основаны на обучении нейронных сетей с использованием изображений, но адаптированы для моделирования автономного поведения в архитектурном проектировании. Предложенные стандарты предусматривают, что алгоритмически управляемые нейронные сети выполняют роль инструмента, облегчающего последующее проектирование, а не являются источником знаний. Основной метод исследования – проведение теоретических и экспериментальных исследований, направленных на разработку новых технологий инженерного дизайна для создания модели автономного поведения в архитектуре. Результаты демонстрируют, что интеграция инженерного дизайна с нейросетевыми методами способствует стандартизации проектных процессов, повышению функциональной эффективности и качества реализуемых объектов. В заключение подтверждено, что применение разработанных методов позволяет на ранних этапах проектирования перейти от традиционных визуальных подходов к использованию алгоритмически управляемых моделей, что открывает новые перспективы в автоматизации инженерного проектирования.

1. Sinno Jialin Pan, Qiang Yang A Survey on Transfer Learning // IEEE Transactions on Knowledge and Data Engineering. 2010. Vol. 22. Iss. 10. P. 1345–1359. https://doi.org/10.1109/tkde.2009.191.

2. LeCun Y., Bengio Y., Hinton G. Deep Learning // Nature. 2015. Vol. 521. P. 436–444. https://doi.org/10.1038/nature14539.

3. Parisi G.I., Kemker R., Part J.L., Kanan C., Wermter S. Continual Lifelong Learning with Neural Networks: A Review // Neural Networks. 2019. Vol. 113. P. 54–71. https://doi.org/10.1016/j.neunet.2019.01.012.

4. Chaudhry A., Ranzato M.A., Rohrbach M., Elhoseiny M. Efficient Lifelong Learning with A-GEM // ICLR. 2019. P. 1–20. https://doi.org/10.48550/arXiv.1812.00420.

5. Schwarz J., Luketina J., Czarnecki W.M., Grabska-Barwinska A., Yee Whye Teh, Pascanu R. et al. Progress & Compress: A Scalable Framework For Continual Learning // International Conference On Machine Learning. 2018. P. 4528–4537. https://doi.org/10.48550/arXiv.1805.06370.

6. Zenke F., Poole B., Ganguli S. Continual Learning Through Synaptic Intelligence // International Conference On Machine Learning. 2017. P. 3987–3995. https://doi.org/10.48550/arXiv.1703.04200.

7. Kirkpatrick J., Pascanu R., Rabinowitz N., Veness J., Desjardins G., Rusu A.A. et al. Overcoming Catastrophic Forgetting in Neural Networks // Proceedings of the National Academy of Sciences of the United States of America. 2017. Vol. 114. Iss. 13. P. 3521–3526.

8. Hospedales T., Antoniou A., Micaelli P., Storkey A. Meta-Learning in Neural Networks: A Survey // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2022. Vol. 44. Iss. 9. P. 5149–5169. https://doi.org/10.1109/TPAMI.2021.3079209.

9. Zoph B., Le Q.V. Neural Architecture Search with Reinforcement Learning // ICLR. 2017. P. 1–16. https://doi.org/10.48550/arXiv.1611.01578.

10. Zonghan Wu, Shirui Pan, Fengwen Chen, Guodong Long, Chengqi Zhang, Yu P.S. A Comprehensive Survey on Graph Neural Networks // IEEE Transactions on Neural Networks and Learning Systems. 2021. Vol. 32. Iss. 1. P. 4–24. https://doi.org/10.1109/TNNLS.2020.2978386.

11. Baker B., Gupta O., Naik N., Raskar R. Designing Neural Network Architectures using Reinforcement Learning // ICLR. 2017. P. 1–18. https://doi.org/10.48550/arXiv.1611.02167.

12. Zoph B., Vasudevan V., Shlens J., Le Q.V. Learning Transferable Architectures for Scalable Image Recognition // Proceedings of The IEEE Conference On Computer Vision and Pattern Recognition. 2018. P. 8697–8710. https://doi.org/10.48550/arXiv.1707.07012.

13. Sabour S., Frosst N., Hinton G.E. Dynamic Routing Between Capsules // Advances in Neural Information Processing Systems. 2017. Vol. 30. P. 1–11. https://doi.org/10.48550/arXiv.1710.09829.

14. Zeiler M.D., Fergus R. Visualizing and Understanding Convolutional Networks // ECCV 2014. Lecture Notes in Computer Science. 2014. Vol. 8689. P. 818–833. https://doi.org/10.1007/978-3-319-10590-1_53.

15. Hinton G., Vinyals O., Dean J. Distilling the Knowledge in a Neural Network // Cornell University ArXiv. 2015. P. 1–9. https://doi.org/10.48550/arXiv.1503.02531.

16. Delange M., Aljundi R., Masana M., Parisot S., Xu Jia, Leonardis A. A Continual Learning Survey: Defying Forgetting in Classification Tasks // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2021. Vol. 1. Iss. 1. P. 1–20. https://doi.org/10.1109/tpami.2021.3057446.

17. Elsken T., Metzen J.H., Hutter F. Neural Architecture Search: A Survey // Journal of Machine Learning Research. 2019. Vol. 20. Iss. 55. P. 1–21. https://doi.org/10.48550/arXiv.1808.05377.

18. Chen Z., Liu B. Lifelong Machine Learning Systems: Beyond Learning Algorithms. USA: Morgan & Claypool Publishers series, 2018. 209 p. https://doi.org/10.2200/S00832ED1V01Y201802AIM037.

19. Ruder S. An Overview of Multi-Task Learning in Deep Neural Networks // Cornell University ArXiv. 2017. P. 1–14. https://doi.org/10.48550/arXiv.1706.05098.

20. Real E., Moore S., Selle A., Saxena S., Suematsu Y.L., Quoc Le et al. Large-Scale Evolution of Image Classifiers / International Conference On Machine Learning. 2017. P. 2902–2911. https://doi.org/10.48550/arXiv.1703.01041.

21. Gao Huang, Zhuang Liu, van der Maaten L., Weinberger K.Q. Densely Connected Convolutional Networks // Proceedings of The IEEE Conference On Computer Vision and Pattern Recognition. 2017. P. 4700–4708. https://doi.org/10.48550/arXiv.1608.06993.

22. Simonyan K., Zisserman A. Very Deep Convolutional Networks for Large-Scale Image Recognition // ICLR. 2015. P. 1–14. https://doi.org/10.48550/arXiv.1409.1556.

23. Szegedy C., Wei Liu, Yangqing Jia, Sermanet P., Reed S., Anguelov D. et al. Going Deeper With Convolutions // 2015 IEEE Conference on Computer Vision and Pattern Recognition. 2015. P. 1–9. https://doi.org/10.1109/CVPR.2015.7298594.

24. Ioffe S., Szegedy C. Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift / International Conference On Machine Learning. 2015. P. 448–456. https://doi.org/10.48550/arXiv.1502.03167.

25. Min Lin, Qiang Chen, Shuicheng Yan Network in Network // Cornell University ArXiv. 2014. P. 1–10. https://doi.org/10.48550/arXiv.1312.4400.

26. Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun Deep Residual Learning for Image Recognition // Proceedings of The IEEE Conference On Computer Vision and Pattern Recognition. 2016. P. 770–778. https://doi.org/10.48550/arXiv.1512.03385.

27. Vaswani A., Shazeer N., Parmar N., Uszkoreit J., Jones L., Gomez A.N. et al. Attention Is All You Need // Advances in Neural Information Processing Systems. 2017. Vol. 30. P. 1–15. https://doi.org/10.48550/arXiv.1706.03762.

28. Goodfellow I.J., Pouget-Abadie J., Mirza M., Bing Xu, Warde-Farley D., Ozair S. Generative Adversarial Networks // Advances in Neural Information Processing Systems. 2014. Vol. 27. 1–9. https://doi.org/10.48550/arXiv.1406.2661.

29. Radford A., Metz L., Chintala S. Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks // ICLR. 2016. P. 1–16. https://doi.org/10.48550/arXiv.1511.06434.

30. Frankle J., Carbin M. The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks // ICLR. 2019. P. 1–42. https://doi.org/10.48550/arXiv.1803.03635.