Проект: Разработка моделей нейронных сетей для установки на микрокомпьютер с нейронным процессором

В ходе реализации проекта будут выполняться исследования эффективности применения микрокомпьютеров для решения практических задач распознавания объектов или обработки данных в бортовой встраиваемой системе с использованием нейронных сетей. В результате данной работы будут получены следующие результаты: 1. Разработана модель нейронной сети для обнаружения и распознавания объектов на инфракрасных изображениях в бортовой встраиваемой системе на микрокомпьютере с нейронным процессором. 2. Разработана модель нейронной сети для обнаружения и распознавания объектов на радиолокационных изображениях в бортовой встраиваемой системе на микрокомпьютере с нейронным процессором. 3. Разработаны алгоритмы обработки информации для нейронных сетей в бортовой встраиваемой системе на микрокомпьютере с нейронным процессором. В данном проекте будут разработаны алгоритмы и программное обеспечение для микрокомпьютера, который будет устанавливаться на различные беспилотные платформы и выполнять поставленные задачи в режиме реального времени. На текущем этапе прямых аналогов таких бортовых систем автоматического распознавания и классификации объектов на микрокомпьютерах с нейронными процессорами в открытых источниках не выявлено.

В настоящее время существуют эффективные системы распознавания объектов или анализа данных с применением нейронных сетей и алгоритмов машинного обучения, но большинство из них реализуются на высокопроизводительных компьютерах с мощными видеокартами. Такие компьютеры затруднительно использовать для решения практических задач распознавания объектов или обработки данных в бортовых встраиваемых системах, например, в беспилотных летательных аппаратах. Предварительные результаты разработки нейронных сетей для распознавания объектов, полученные при выполнении НИР «Создание макета функционального программного обеспечения для формирования изображения земной поверхности при совместной обработке данных от различных информационных источников и автоматического распознавания наземных объектов в бортовом интегрированном радиолокационно-оптическом комплексе», позволяют сделать выводы о возможности практической программной реализации таких алгоритмов на современных микрокомпьютерах с нейронными процессорами (Xilinx SK-KV260-G-ED, Khadas VIM3 и т. п.). Кроме того, на перспективных беспилотных летательных аппаратах будут устанавливаться различные сенсоры, работающие в различных частотных диапазонах (оптическая камера, тепловизор, радиолокатор и т. п.). Информационные потоки с этих сенсоров необходимо обрабатывать с применением современных технологий на бортовых встраиваемых системах с микрокомпьютерами. Цель проекта состоит в разработке моделей нейронных сетей для установки на микрокомпьютер с нейронным процессором для решения практических задач на бортовых встраиваемых системах. Основные задачи проекта заключается в следующем: 1. Разработка модели нейронной сети для обнаружения и распознавания объектов на инфракрасных изображениях в бортовой встраиваемой системе на микрокомпьютере с нейронным процессором. 2. Разработка модели нейронной сети для обнаружения и распознавания объектов на радиолокационных изображениях в бортовой встраиваемой системе на микрокомпьютере с нейронным процессором. 3. Разработка алгоритмов обработки информации для нейронных сетей в бортовой встраиваемой системе на микрокомпьютере с нейронным процессором. Заинтересованными потребителями результатов проекта являются ООО «ЛЗМЗ-Т», АО «НПП «Исток» им. Шокина» и другие промышленные предприятия, занимающиеся разработкой бортовых систем.

Разработка моделей нейронных сетей для установки на микрокомпьютер с нейронным процессором для решения практических задач на бортовых встраиваемых системах.

- аналитический обзор научно-технических достижений в исследуемой области; - патентные исследования; - теоретические исследования; - анализ возможностей по размещению программной реализации нейронных сетей на микрокомпьютерах; - разработка моделей нейронных сетей с учетом архитектуры микрокомпьютера; - адаптация выбранных алгоритмов для использования на микрокомпьютере с ограниченными ресурсами; - установка и оценка эффективности нейронных сетей на микрокомпьютере

Новизна заключается в разработке моделей нейронных сетей и исследовании эффективности применения микрокомпьютеров для решения практических задач распознавания объектов или обработки данных в бортовой встраиваемой системе с использованием нейронных сетей

Научно-технический задел по тематике проекта сформирован в результате: 1. Выполнения НИР «Создание макета функционального программного обеспечения для формирования изображения земной поверхности при совместной обработке данных от различных информационных источников и автоматического распознавания наземных объектов в бортовом интегрированном радиолокационно -оптическом комплексе» шифр «Распознавание-Т»; 2. Выполнения совместно с ООО «ЛЭМЗ-Т» работ по формированию базы данных и разработки моделей нейронных сетей для распознавания БПЛА, разработки и установки тестовой модели нейронной сети на микрокомпьютер с нейронным процессором для распознавания объектов на оптическом изображении. Основные публикации: 1. Распознавание наземных объектов на радиолокационном изображении с применением сверточной нейронной сети / В. И. Вебер, В. Ю. Куприц, А. А. Мещеряков, М. В. Куприц // Ural Radio Engineering Journal. – 2022. – Т. 6, № 1. – С. 93-101. – DOI 10.15826/urej.2022.6.1.005. – EDN RVPVSI. 2. Вебер, В. И. Исследование эффективности автоматической системы обнаружения и распознавания объектов на радиолокационном изображении с применением нейронных сетей / В. И. Вебер, В. Ю. Куприц, К. Д. Зайков // Ural Radio Engineering Journal. – 2022. – Т. 6, № 3. – С. 296-309. – DOI 10.15826/urej.2022.6.3.004. – EDN WAUYNL. 3. Метрики оценки качества работы классификатора малоразмерных объектов на радиолокационном изображении, полученном с помощью радиолокатора с синтезированной апертурой / Ф. А. Эрин, В. И. Вебер, В. Ю. Куприц, А. А. Нетесов // Инфокоммуникационные и радиоэлектронные технологии. – 2022. – Т. 5, № 4. – С. 436-444. – DOI 10.29039/2587-9936.2022.05.4.32. – EDN MFQLJF.

В настоящее время в основном практически реализованы различные стационарные комплексы обнаружения объектов, их распознавания, сопровождения, принятия решения о необходимом действии (например, https://glory-air.ru/uav-detection - который представляют собой собой подавитель дронов, оснащенный сканирующим приемником, работающим в наиболее часто используемых каналах связи и управления БПЛА, а также оптоэлектронной системой слежения). В настоящем проекте разрабатываются алгоритмы и программное обеспечение для микрокомпьютера, который будет устанавливаться на различные беспилотные платформы и выполнять поставленные задачи в режиме реального времени. Прямых аналогов таких бортовых систем автоматического распознавания и классификации объектов га микрокомпьютерах с нейронными процессорами в открытых источниках не выявлено.

• Картинка для проекта

  Картинка для проекта.pptx