Проект: Разработка активно-импульсной телевизионной измерительной системы для автоматического слежения за объектами интереса и дистанционного измерения их характеристик

В процессе реализации проекта планируется разработать макет АИ ТИС и высокопроизводительные алгоритмы для автоматического отслеживания (трекинга) объектов в поле зрения АИ ТИС. Изображения, полученные с использованием АИ ТИС обладают спецификой из-за используемого ближнего инфракрасного диапазона спектра (850 нм) и импульсного метода наблюдения. Таким образом, требуется разработка адаптированных для АИ ТИС быстродействующих алгоритмов для автоматического отслеживания координат объектов интереса как по углу места и азимуту, так и по глубине (дальности). Разработка и программная реализация данных алгоритмов позволит существенно повысить возможности автоматизированных систем слежения и автономных мобильных устройств в сложных условиях видения. Конечный продукт будет представлять собой макет АИ ТИС и программное обеспечение с графическим интерфейсом позволяющее выполнять захват видеопотока с АИ ТИС, выполнять регулировку фотодатчика, задавать область интереса, выбирать требуемый метод определения особых точек и метод их отслеживания в видеопотоке, фиксировать путь (трек) перемещения объекта интереса по осям x, y, z, фиксировать время затрачиваемое алгоритмом в каждом кадре. Разработанные алгоритмы будут испытаны в ходе экспериментальных исследований на макете АИ ТИС. Будут получены результаты эффективности разработанных алгоритмов по критериям быстродействия и точности отслеживания координат при различных отношениях сигнал/шум изображений. По результатам выполнения проекта будут подготовлены работы для публикации в рецензируемых изданиях. Научно-технический отчет будет включать конструкторскую документацию на макет АИ ТИС и программную документацию (алгоритм работы программы, описание программы, инструкция для пользователя).

Актуальность данного проекта связана с постоянным ростом требований к возможностям автоматизированных систем обнаружения и слежения за объектами, а также с развитием и ростом применения автономных мобильных устройств различного назначения. Такие устройства для ориентации в пространстве, обнаружения, идентификации и распознавания объектов оснащаются целыми комплексами различных датчиков среди которых: видеокамеры видимого диапазона, лидары, ультразвуковые датчики, радары, инфракрасные камеры. Все они обладают своими преимуществами и недостатками. В частности в сложных условиях видения (туман, дым, обильные осадки) и при низкой освещенности, эффективность камер видимого диапазона резко снижается, а использование радаров не представляется возможным под водой. Для обнаружения и распознавания объектов в сложных условиях видения нашли свое применение активно-импульсные телевизионные измерительные системы (АИ ТИС). Принцип действия АИ ТИС сочетает в себе преимущества телевизионных камер (высокое разрешение по углу места и азимуту, прямая классификация объектов), лидарных систем (определение дальности до объектов) и частично радаров (работоспособность в сложных метеоусловиях). Изображения полученные с использованием АИ ТИС обладают спецификой из-за используемого ближнего инфракрасного диапазона спектра (850 нм) и импульсного метода наблюдения. Таким образом, требуется разработка адаптированных для АИ ТИС быстродействующих алгоритмов для автоматического отслеживания координат объектов интереса как по углу места и азимуту, так и по глубине (дальности). Разработка и программная реализация данных алгоритмов позволит существенно повысить возможности автоматизированных систем слежения и автономных мобильных устройств в сложных условиях видения.

Макет АИ ТИС реализующий многозонный метод измерения дальности. Алгоритмы поиска особых точек учитывающих специфику изображений АИ ТИС, алгоритмы отслеживания объектов (трекинга) по видеопотоку АИ ТИС.

Предлагаемые методы и подходы: Для решения поставленных задач проекта будет разработана конструкция макета АИ ТИС реализующего многозонный метод определения дальности с формированием измерительных активных зон видения (АЗВ). Оригинальность многозонного метода заключается в том, что задержка стробирования фотоприемника в процессе работы системы будет изменять свое значение за время одного кадра множество раз интегрируя полученные значения экспонируемой на фотоприемном устройстве освещенности. По результату вычисления отношения двух кадров содержащих первую АЗВ и суммарную АЗВ будет получена линейная зависимость энергии от расстояния. Многозонный метод может успешно применяться на разных типах фотоприемников, таких как электронно-оптический преобразователь (ЭОП), ПЗС-матрица со строчным переносом, КМОП-матрица с глобальным затвором. Линейная зависимость энергии от расстояния может быть также получена при использовании модуляции амплитуды импульса стробирования фотоприемника. Преимуществом данного метода является больший (относительно многозонного метода) динамический диапазон измерения расстояний, который будет зависеть от длительности импульса стробирования фотоприемника. Недостатком метода модуляции амплитуды импульса стробирования фотоприемника является невозможность использования ПЗС и КМОП матриц в качестве фотоприемника. Будут исследованы методы поиска особых точек (такие как SIFT, AKAZE, BRISK, ORB и др.) и их стабильность на кадрах АИ ТИС. Методы межкадрового отслеживания найденных особых точек (такие как KCF, CSRT, GOTURN и др.). Дополнительно будут использованы подходы, используемые в теории и методах обработки изображений и распознавания образов; методологии разработки программного обеспечения; теории и методов цифровой обработки сигналов; методов статистической обработки информации; методов оптимизации параметров АИ ТИС.

Научной новизной будут обладать: 1. Впервые разработанные высокопроизводительные алгоритмы автоматического отслеживания координат объектов в поле зрения АИ ТИС как по углу места и азимуту, так и по глубине (дальности). 2. Результаты оценки точности автоматического отслеживания координат объектов по видеопотоку АИ ТИС.

К научному заделу по предлагаемому проекту относятся результаты исследований, полученные в ходе выполнения проекта РНФ № 21-79-10200 а именно: 1. Проведенное моделирование и экспериментальные исследования многозонного метода измерения дальности, оценка численных значений потенциальной и практической точности, а также динамического диапазона измерения расстояний методом с интеграцией локальных экспозиций фотоприемника. 2. Разработанные экспериментальные образцы формирователей импульсов для многозонного метода и метода с модуляцией сигнала стробирования фотоприемника. 3. Изготовлен лабораторный макет АИ ТИС на базе ЭОП для экспериментальной отработки разрабатываемых методов и алгоритмов построения карт глубин. 4. Разработаны программные инструменты для проведения экспериментов с АИ ТИС и обработки результатов, на которые получены 2 свидетельства о государственной регистрации программы для ЭВМ № 2023616631 и № 2023615399. 5. Получен патент на изобретение № RU 2811331 C1 Непосредственно по теме разработки алгоритмов автоматического отслеживания координат объектов и построения карт глубин авторами проекта опубликованы следующие работы: 1. I. D. Musihin and V. V. Kapustin, "Video System With Automatic Tracking of the Object of Interest," 2022 IEEE International Multi-Conference on Engineering, Computer and Information Sciences (SIBIRCON), Yekaterinburg, Russian Federation, 2022, pp. 1630-1635, doi: 10.1109/SIBIRCON56155.2022.10016959. 2. Kapustin VV, Zahlebin AS, Movchan AK, Kuryachiy MI, Krutikov MV. Experimental assessment of the distance measurement accuracy using the active-pulse television measuring system and a digital terrain model. Computer Optics 2022; 46(6): 948-954. DOI: 10.18287/2412-6179-CO-1114. 3. Капустин В.В. , Мовчан А.К. Многозонные методы формирования карт глубин с использованием активно-импульсных телевизионных измерительных систем // Вопросы радиоэлектроники. Серия: Техника телевидения. – 2023. – №. 2. – С. 44-53.

Основным преимуществом создаваемого продукта является возможность автоматического отслеживания координат объектов в поле зрения АИ ТИС как по углу места и азимуту, так и по глубине (дальности) в режиме реального времени. Учитывая возможности АИ ТИС это также позволит выполнять автоматическое отслеживание объектов в сложных метеоусловиях и в средах с пониженной прозрачностью (слежение за объектами под водой). К аналогам способным строить карты глубины можно отнести следующие системы: Компания Basler, Германия, выпустила на рынок времяпролетную камеру Basler blaze. Принцип работы промышленной 3D-камеры Basler базируется на импульсной времяпролетной технологии. Камера оснащена лазерными диодами, излучающими свет в ближнем ИК-диапазоне (940 нм), и генерирует 2D- и 3D-данные за один кадр, позволяя получать составные изображения в виде трехмерного облака точек на основе профиля яркости, значений глубины (дальности до объекта) и карты достоверности [https://www.baslerweb.com/ru/produkty/kamery/3d-kamery/basler-blaze//]. Фирма BrightWayVision (BWV), Израиль, разработала активно-импульсную интеллектуальную систему помощи водителю. В качестве источника подсвета в системе используется импульсный лазерный модуль с пиковой мощностью 500 Вт, работающий в ближней ИК области спектра (808 нм). В качестве фотоприемного устройства используется стробируемый Automotive Gated CMOS (AGCMOS) сенсор с минимальным временем экспозиции 30 нс. Принцип работы системы основан на автоматическом многократном сканировании пространства по дальности, определения расстояния до объектов сцены и выводе суммарного изображения на экран, установленный в автомобиле (https://www.brightwayvision.com/). Также на рынке представлены следующие производители активно-импульсных приборов: 1. «Призрак-М» от компании «ТАЛОС». Дальность распознавания ростовой фигуры человека составляет до 600 м, грузового автомобиля – до 900 м. Угол поля зрения 5,5х4,1 град. Дальность обнаружения снайперского прицела ПСО-1 – до 1200 м. Время непрерывной работы от встроенной аккумуляторной батареи – до 4 ч. Масса прибора с батареей – 1,7 кг. Габаритные размеры 225х145х70 мм. Стандарт видеосигнала – CCIR/PAL/USB. протокол внешнего управления – RS-485/USB. 2. «АСТРОН-АИ» от компании ОКБ «АСТРОН». Дальность распознавания ростовой фигуры человека составляет до 600 м, грузового автомобиля – до 900 м. Угол поля зрения 5,5х4,1 град. Масса прибора– 6,5 кг. Габаритные размеры 175х168х493 мм. Стандарт видеосигнала – CCIR/PAL/USB. протокол внешнего управления – RS-485/USB. Рабочее напряжение составляет ~100–240 В/10–30 В. Энергопотребление – 60 Вт (включая подогрев). Дальность зоны подсвета – от 0 до 2000 м; глубина зоны подсвета – мгновенная 10, 20, 50, 100, 200, 500 м и полная до 2500 м; относительная мощность подсвета (яркость) – 1, 1/2, 1/4, 1/8, 1/16. Диапазон рабочих температур составляет от – 40 до +60 °С. 3. Фирма «ТУРН» (Россия) разработала многоцелевой АИ-прибор NORD LYNX. Его дальность действия составляет 3–300 м, глубина просматриваемого пространства 30–100 м, угол поля зрения 20х15 град. АИ ТВ-прибор имеет напряжение питания 12 В, энергопотребление 150 Вт, массу 20 кг, габариты 350х300х150 мм. Диапазон рабочих температур составляет: электронно-оптического блока от -45 до +40 °С, а ТВ-монитора от +5 до +40 °С. 4. Фирма Obzerv (Канада) разработала АИ-прибор ARGC-2400 с дальностью обнаружения человека 8 км и его распознавания – 3 км. Угол поля зрения изменяется от 0,15х0,11 до 0,61х0,46 град., а увеличение – от 240 до 60 крат. Лазерный осветитель имеет среднюю мощность излучения > 4 Вт на длине волны 860 нм. Масса прибора составляет < 55 кг, габариты 560х520х370 мм при энергопотреблении < 350 Вт. Диапазон рабочих температур от -31 до +55 °С.