Алгоритм спрощення гібридних нейронних мереж
DOI:
https://doi.org/10.18372/1990-5548.56.12936Ключові слова:
Нейронні мережі, проблема оптимізації, гібридний багатокритеріальний еволюційний алгоритм, метод найшвидшого спуску, алгоритм об'єднання і нарощуванняАнотація
Розглянуто задачу модифікації нейронної мережі, топологія якої була обрана раніше в результаті вирішення оптимізаційної проблеми. Запропонований алгоритм вирішення базується на двоетапній процедурі, яка складається з генетичного і локального алгоритму оптимізації. Проблему модифікації представлено у вигляді двох задач: пошук оптимальної структури нейронної мережі і налаштування вагових коефіцієнтів. Для вирішення цих двох завдань використано двоетапний алгоритм, у якому на першому етапі застосовується гібридний багатокритеріальний еволюційний алгоритм, а на другому етапі визначаються значення вагових коефіцієнтів за допомогою методу зворотного поширення помилки і методу найшвидшого спуску. Визначення оптимальної кількості прихованих шарів виконується за допомогою адаптивного алгоритму об'єднання і нарощування.
Посилання
D. E. Rumelhart, G. E. Hinton, and R. J. Williams, “Learning internal representations by error propagation,” in Parallel Distributed Processing, vol. I, D. E. Rumelhart and J. L. McClelland, Eds. Cambridge, MA: MIT Press, 1986, pp. 318–362.
T. Y. Kwok and D. Y. Yeung, “Constructive algorithms for structure learning in feedforward neural networks for regression problems,” IEEE Trans. Neural Netw., vol. 8, no. 3, pp. 630–645, May 1997.
R. Reed, “Pruning algorithms – A survey,” IEEE Trans. Neural Netw., vol. 4, no. 5, pp. 740–747, Sep. 1993.
F. Girosi, M. Jones, and T. Poggio, “Regularization theory and neural networks architectures,” Neural Comput., vol. 7, no. 2, pp. 219–269, Mar. 1995.
J. H. Holland, Adaptation in Natural and Artificial Systems. Ann Arbor, MI: Univ. Michigan Press, 1975.
L. J. Fogel, A. J. Owens, and M. J. Walsh, Artificial Intelligence Through Simulated Evolution. New York: Wiley, 1966.
D. B. Fogel, Evolutionary Computation: Toward a New Philosophy of Machine Intelligence. New York: IEEE Press, 1995.
Md. Monirul Islam, Md. Abdus Sattar, Md. Faijul Amin, Xin Yao, Fellow, IEEE, and Kazuyuki Murase, “A New Adaptive Merging and Growing Algorithmfor Designing Artificial Neural Networks,” IEEE Transactions on Systems, Man, and Cybernetics – Part B: Cybernetics, vol. 39, no. 3, June 2009, pp. 705–709.
V. M. Sineglazov, O. I. Chumachenko, and D. Koval, "Improvement of the Hybrid Genetic Algorithm for
the Deep Neural Networks Synthesis," IV International Scientific and Practical Conference "Computing Intellect" (Kyiv, May 16-18, 2017), pp. 142–143.
Downloads
Як цитувати
Номер
Розділ
Ліцензія
Науковий журнал "Електроніка та системи управління" дотримується принципів відкритого доступу (Open Access) та забезпечує вільний, негайний і постійний доступ до всіх опублікованих матеріалів без фінансових, технічних або юридичних обмежень для читачів.
Усі статті публікуються у відкритому доступі відповідно до ліцензії Creative Commons Attribution 4.0 International (CC BY 4.0).
Авторські права
Автори, які публікують свої роботи в журналі ""Електроніка та системи управління":
-
зберігають за собою авторські права на свої публікації;
-
надають журналу право на перше опублікування статті;
-
погоджуються на поширення матеріалів за ліцензією CC BY 4.0;
-
мають право повторно використовувати, архівувати та поширювати свої роботи (у тому числі в інституційних та тематичних репозитаріях) за умови посилання на первинну публікацію в журналі.
