Обробка зображень з камери на мікроконтролері ESP32 за допомогою згорткової нейронної мережі

Автор(и)

  • Віктор Михайлович Синєглазов Національний авіаційний університет, Київ https://orcid.org/0000-0002-3297-9060
  • Володимир Петрович Хоцянівський Національний авіаційний університет, Київ

DOI:

https://doi.org/10.18372/1990-5548.72.16939

Ключові слова:

машинне навчання, трансферне навчання, мікроконтролери, класифікація зображен, ESP32

Анотація

У роботі проаналізовано поширений мікроконтролер ESP32 з вбудованою камерою для завдань класифікації зображень з використанням згорткової нейронної мережі. Зазвичай ESP32 використовується в пристроях IoT для зчитування даних та управління сенсорами тому його обчислювальна потужність не є значною, що позитивно впливає на вартість пристрою. Поширеність вбудованих пристроїв з наднизьким енергоспоживанням, таких як ESP32 дозволить масове поширення вбудованих пристроїв IoT із штучним інтелектом. В роботі одержано тривалість фотографування та обробки фотографій, оскільки це може бути вузьким місцем мікроконтролера, особливо разом з алгоритмами машинного навчання. Розгорнуто згорткову нейронну мережу, попередньо навчену на іншому пристрої, архітектури MobileNet на мікроконтролері та доведено, що потужностей ESP32 достатньо для одночасної роботи як камери так і згорткової нейронної мережі.

Біографії авторів

Віктор Михайлович Синєглазов , Національний авіаційний університет, Київ

Доктор технічних наук. Професор. Завідувач кафедрою.

Кафедра авіаційних комп’ютерно-інтегрованих комплексів

Факультет аеронавігації, електроніки і телекомунікацій

Володимир Петрович Хоцянівський , Національний авіаційний університет, Київ

Аспірант

Факультет аеронавігації, електроніки та телекомунікацій

Посилання

D. Schweizer, M. Zehnder, H. Wache, H. Witschel, D. Zanatta and M. Rodriguez. Using Consumer Behavior Data to Reduce Energy Consumption in Smart Homes: Applying Machine Learning to Save Energy without Lowering Comfort of Inhabitants, 2015. https://doi.org/10.1109/ICMLA.2015.62

Liciotti, Daniele & Bernardini, Michele & Romeo, Luca & Frontoni, Emanuele. A Sequential Deep Learning Application for Recognising Human Activities in Smart Homes, Neurocomputing, 2019, pp. 396. https://doi.org/10.1016/j.neucom.2018.10.104

Keras documentation: MobileNet, MobileNetV2, and MobileNetV3. Keras: the Python deep learning API. https://keras.io/api/applications/mobilenet/

Jian Mao, Qixiao Lin, Jingdong Bian. Application of learning algorithms in smart home IoT system security, 2018. https://doi.org/10.3934/mfc.2018004

L. Y. Pratt, Discriminability-based transfer between neural networks. NIPS Conference: Advances in Neural Information Processing Systems, 1992.

STM32Cube.AI: Convert neural networks into optimized code for STM32. ST life.augmented Blog. https://blog.st.com/stm32cubeai-neural-networks/

L. Lai,, N. Suda, I. V. Chandra, CMSIS-NN: efficient neural network kernels for arm cortex-M CPUs. Comput. https://arxiv.org/abs/1801.06601, 2018

General vision, Presentation of the Curie Neurons on Arduino/Genuino101,https://www.general-vision.com/publications/PR_CurieNeuronsPresentation.pdf

Allan, A. Getting started with the NVIDIA jetson nano developer kit, 2019

M5-docs. https://docs.m5stack.com/en/unit/m5camera

Pseudostatic (random-access) memory (PSRAM) | JEDEC. https://www.jedec.org/standards-documents/dictionary/terms/pseudostatic-random-access-memory-psram, 2019

Micros() – arduino reference. Arduino - Home. https://www.arduino.cc/reference/en/language/functions/time/micros/

Stephen Johnson. Stephen Johnson on Digital Photography. O'Reilly. ISBN 0-596-52370-X , 2006

Contributors to Wikimedia projects. ImageNet - Wikipedia. Wikipedia, the free encyclopedia. https://en.wikipedia.org/wiki/ImageNet

Intro to machine learning with edge impulse - silicon labs. (2020). Silicon Labs. https://www.silabs.com/support/training/intro-machine-learning-with-edge-impulse/intro-machine-learning-with-edge-impulse-presentation

Tensorflow.(2022). models/research/slim/nets/ mobilenet at master tensorflow/models. GitHub.(2022),https://github.com/tensorflow/models/tree/master/research/slim/nets/mobilenet

NetAdapt: Platform-aware neural network adaptation for mobile applications. (2018). arXiv.org. https://arxiv.org/abs/1804.03230

##submission.downloads##

Опубліковано

2022-11-20

Як цитувати

Синєглазов , В. М., & Хоцянівський , В. П. (2022). Обробка зображень з камери на мікроконтролері ESP32 за допомогою згорткової нейронної мережі. Електроніка та системи управління, 2(72), 26–31. https://doi.org/10.18372/1990-5548.72.16939

Номер

Том 2 № 72 (2022)

Розділ

АВТОМАТИЗАЦІЯ ТА КОМП’ЮТЕРНО-ІНТЕГРОВАНІ ТЕХНОЛОГІЇ

Ліцензія

Науковий журнал "Електроніка та системи управління" дотримується принципів відкритого доступу (Open Access) та забезпечує вільний, негайний і постійний доступ до всіх опублікованих матеріалів без фінансових, технічних або юридичних обмежень для читачів.

Усі статті публікуються у відкритому доступі відповідно до ліцензії Creative Commons Attribution 4.0 International (CC BY 4.0).

Авторські права

Автори, які публікують свої роботи в журналі ""Електроніка та системи управління":

  • зберігають за собою авторські права на свої публікації;

  • надають журналу право на перше опублікування статті;

  • погоджуються на поширення матеріалів за ліцензією CC BY 4.0;

  • мають право повторно використовувати, архівувати та поширювати свої роботи (у тому числі в інституційних та тематичних репозитаріях) за умови посилання на первинну публікацію в журналі.