Мінімальна точність для надійного рейтингу архітектури в баєсівському NAS для виявлення об’єктів
DOI:
https://doi.org/10.18372/1990-5548.88.20966Ключові слова:
пошук нейронної архітектури, баєсівська оптимізація, мінімальна точність, проксі-метрики, крива навчання, TPE, OptunaАнотація
Роботу присвячено проблемі зниження обчислювальних витрат у задачі автоматичного синтезу нейронних мереж (Neural Architecture Search, NAS) для детекції об’єктів. Ключовою невизначеністю low-fidelity підходів є питання: після якої мінімальної кількості epochs ранній навчальний сигнал вже прийнятно ранжує архітектури? В роботі розроблено методологію визначення мінімальної фіделіті на основі out-of-sample оцінки rank correlation: trials розбиваються на калібраційний (70%) та тестовий (30%) набори, composite proxy синтезується на першому і перевіряється на другому. Проведено емпіричне дослідження на 60 архітектурах, навчених по 25 epochs на датасеті детекції об'єктів (6,772 зображень, 6 класів). В результаті встановлено, що rank-ансамбль трьох навчальних метрик (val_loss, train_accuracy, val_accuracy) досягає Spearman ρ = 0.877 out-of-sample на epoch 3, забезпечуючи 88% економію обчислень. Складна 7-компонентна метрика поступається простому ансамблю через overfitting при малій вибірці (ρ_test = 0.70 проти 0.88). Результати є локально валідними у досліджуваному пошуковому просторі та на конкретному датасеті.
Посилання
T. Elsken, J. H. Metzen, and F. Hutter, “Neural architecture search: A survey,” JMLR, 2019. https://doi.org/10.1007/978-3-030-05318-5_11
C. Sciuto, K. Yu, M. Jaggi, C. Musat, and M. Salzmann, “Evaluating the search phase of neural architecture search,” ICLR, 2020.
E. Real, A. Aggarwal, Y. Huang, and Q. V. Le, “Regularized evolution for image classifier architecture search,” AAAI, 2019. https://doi.org/10.1609/aaai.v33i01.33014780
H. Liu, K. Simonyan, and Y. Yang, “DARTS: Differentiable architecture search,” ICLR, 2019.
J. Bergstra, R. Bardenet, Y. Bengio, and B. Kégl, “Algorithms for hyper-parameter optimization,” NeurIPS, 2011.
M. S. Abdelfattah, A. Mehrotra, Ł. Dudziak, and N. D. Lane, “Zero-cost proxies for lightweight NAS,” ICLR, 2021.
J. Mellor, J. Turner, A. Storkey, and E. J. Crowley, “Neural architecture search without training,” ICML, 2021.
T. Domhan, J. T. Springenberg, and F. Hutter, “Speeding up automatic hyperparameter optimization of deep neural networks by extrapolation of learning curves,” IJCAI, 2015.
L. Li, K. Jamieson, G. DeSalvo, A. Rostamizadeh, and A. Talwalkar, “Hyperband: A novel bandit-based approach to hyperparameter optimization,” JMLR, 2017.
J. Siems, L. Zimmer, A. Zela, J. Lukasik, M. Keuper, and F. Hutter, “NAS-Bench-301 and the case for surrogate benchmarks for NAS,” NeurIPS (Workshop), 2020.
T. Akiba, S. Sano, T. Yanase, T. Ohta, and M. Koyama, “Optuna: A next-generation hyperparameter optimization framework,” KDD, 2019. https://doi.org/10.1145/3292500.3330701.
##submission.downloads##
Опубліковано
Як цитувати
Номер
Розділ
Ліцензія
Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License.
Науковий журнал "Електроніка та системи управління" дотримується принципів відкритого доступу (Open Access) та забезпечує вільний, негайний і постійний доступ до всіх опублікованих матеріалів без фінансових, технічних або юридичних обмежень для читачів.
Усі статті публікуються у відкритому доступі відповідно до ліцензії Creative Commons Attribution 4.0 International (CC BY 4.0).
Авторські права
Автори, які публікують свої роботи в журналі ""Електроніка та системи управління":
-
зберігають за собою авторські права на свої публікації;
-
надають журналу право на перше опублікування статті;
-
погоджуються на поширення матеріалів за ліцензією CC BY 4.0;
-
мають право повторно використовувати, архівувати та поширювати свої роботи (у тому числі в інституційних та тематичних репозитаріях) за умови посилання на первинну публікацію в журналі.
