Применение и обработка тепловизионных данных с дронов -

Применение и обработка тепловизионных данных с дронов

Оглавление

На сегодняшний день данные, получаемые с тепловизионных сенсоров, являются одними из самых востребованных и подходят для решения многих прикладных задач. С этой целью компания DJI выпускает дроны Enterprise series, оснащенные самыми передовыми тепловизорами и отвечающие самым высоким требованиям специалистов. Среди выполняемых с их помощью задач можно отметить:
В данной статье мы разберем функциональные возможности и технологическую оснащенность систем, расскажем о новых продуктах компании DJI, продемонстрируем прикладное программное обеспечение для обработки снимков и получения полной и достоверной информации об объекте интереса, коснемся создания тепловых ортофотопланов и 3D-моделей.

Линейка DJI Enterprise series

Компания DJI выпускает линейку промышленных дронов для решения различных прикладных задач. Выделим три основных позиции:
Рассмотрим их главные качества и объясним простыми словами преимущества того или иного дрона, которые следует иметь в виду при выборе и покупке.

DJI Mavic 3 Thermal

DJI Mavic 3 Thermal — самая свежая модель, вышедшая буквально в сентябре 2022 года. Это лучшее решение с точки зрения компактности и портативности. Дрон отлично помещается вместе с кейсом в рюкзаке, поэтому если вам предстоит перелет, вы сможете взять аппарат с собой в салон самолета как ручную кладь. С ним легко путешествовать и выполнять ряд прикладных задач, что сильно упрощает жизнь в этом плане.
Второй важный фактор — получение данных с сантиметровой точностью. Компания DJI предоставляет возможность установки RTK-модуля в верхней части дрона и гарантирует, что данные, которые вы получите, будут обладать высокой точностью.
Применение и обработка тепловизионных данных с дронов -
Тепловизионный дрон DJI Mavic 3 Thermal с модулем RTK
Следующая функция, которая не реализована ни в Matrice 30T, ни Matrice 300 RTK, это следование по рельефу. Причем не просто относительно матрицы высот, которая загружается в Pilot, а по рельефу относительно датчиков, именно — бинокулярного зрения. Это определенный прорыв, потому что дроны, которые по факту дороже и больше, не умеют так летать.
Еще одна очень удобная функция — это 56-кратный гибридный зум. Она позволяет фокусироваться синхронно относительно сенсора зум-камеры и Thermal и избегать разномасштабности.

DJI Matrice 30T

Рассказывая о DJI Matrice 30T, хотелось бы обратить внимание на автономность его полета. Конкретно для данной модели была выпущена док-станция (Dock Station), позволяющая позволяет заряжать дрон буквально за 25 минут и контролировать все полеты без участия человека, через облачный сервис — например, FlightHub 2. Если у вас сформировано полетное задание, вы просто запускаете дрон, он самостоятельно выполняет все необходимые манипуляции, сам рассчитывает время, на которое ему хватает заряда батареи, возвращается обратно, совершает посадку, заряжается, взлетает и продолжает выполнять свою полетную миссию.
Применение и обработка тепловизионных данных с дронов -
Тепловизионный беспилотник DJI Matrice 30T
Не менее важным плюсом этого дрона является увеличенный пульт. Специально для 30-й версии был выпущен 7-дюймовый полноценный пульт управления, имеющий множество дополнительных кнопок, которые можно настраивать «под себя». Это своего рода пресеты, при нажатии которых дрон может определенным образом поворачивать подвес, производить переключение камер, зумирование и выполнять другие нужные пользователю функции.
Еще один момент, который хотелось бы отметить — возможность проведения Smart инспекции. Это больше связано с Dock Station, с большей автоматизацией и автономностью полета, без участия самого пилота.

DJI Matrice 300 RTK

Это основная позиция, рассматриваемая нами в данной статье, и с точки зрения тепловизионных данных ее следует раскрывать именно в контексте универсальности. DJI Matrice 300 RTK —универсальная платформа, на которую можно установить до трех полезных нагрузок. Кроме того, при необходимости под нее можно адаптировать стороннюю полезную нагрузку, настроить все функции, связать ее с дроном и полноценно производить полеты.
Соответственно, увеличено максимальное время полета, позволяющее не задумываться о том, хватит ли времени на выполнение всех задач — его более, чем достаточно.
Применение и обработка тепловизионных данных с дронов -
Беспилотный комплекс для тепловизионного обследования на основе летной платформы DJI Matrice 300 RTK + H20N
Максимальное расстояние передачи сигнала составляет 15 километров. На практике дрон столько не летает, максимальное расстояние, на которое он может отлететь на территории России — это 8 километров.

Сферы применения

Обследование составных конструкций сотовых вышек

Рассмотрим самые интересные и уникальные прикладные задачи, для решения которых можно использовать эти дроны. Конечно, на практике их может быть гораздо больше.
На изображении виден контур самой вышки, а на изотермах, как нагреваются элементы блока управления. Чтобы зафиксировать эти элементы, не нужно физически находиться рядом с данной точкой. Раньше человеку необходимо было туда залезть, выполнить там ручные промеры, зафиксировать элементы, где-то хранить эти данные, а сейчас это решается покупкой одного дрона.
Прибываете на место, производите распаковку, взлетаете на удобную высоту. Если нужно построить максимальную детализацию объекта, можно близко подлететь к самой конструкции. Фиксируете все элементы при помощи зума и на термальном сенсоре, одновременно можете получить снимок в видимом диапазоне, чтобы потом сопоставить все элементы контура.
Применение и обработка тепловизионных данных с дронов -

Тепловизионный контроль состояния блоков на подстанции

Периодический мониторинг подстанций является не менее важной задачей, чем обследование линий электропередач. Использование дрона значительно ускоряет и облегчает этот процесс. Совершив облет, можно спокойно проанализировать снимки и составить отчет.
Применение и обработка тепловизионных данных с дронов -

Тепловизионный мониторинг газопроводов

На изображении можно видеть одну из проблем, которую очень удобно выявлять с помощью этих датчиков, именно в полете — участки, в которых происходит теплопотеря. При этом контур самого газопровода визуально выглядит исправным, неповрежденным, но есть проблемные места, которые нужно выявить, чтобы вовремя устранить дефекты, влияющие на работоспособность всей системы.
Применение и обработка тепловизионных данных с дронов -

Определение источников тепловых испусканий в коммунальном хозяйстве

Этот снимок выполнен с расстояния 15-20 метров, и на нем можно видеть участки теплопотерь — оконные проемы и места, где могут быть проблемы с теплоизоляцией. Их можно определить с помощью термальных датчиков.
Применение и обработка тепловизионных данных с дронов -

Мониторинг солнечных панелей

С интенсивным развитием темы использования солнечных панелей возникла и задача их мониторинга, особенно актуальная для больших солнечных парков. Кремниевая поверхность панелей со временем деградирует, они могут выходить из строя, и дроны с тепловизионными датчиками помогают это отслеживать. При этом камера должна быть направлена перпендикулярно панели. Эта опция настраивается при составлении полетного задания. Работы проводятся днем, в период максимальной нагрузки на панели.
Применение и обработка тепловизионных данных с дронов -

Поиск коммуникаций

Эта задача актуальна, если нет генерального плана и неизвестно, где проходят теплосети. Можно их найти, используя тепловизионные данные, определить их контур и проблемные места с теплопотерями. Изображение выше зафиксировано на термокамеру Zenmuse H20Т. Здесь необходимо напомнить об RTK-позиционировании, что точки по термоортофотоплану можно получать с сантиметровой точностью.
Применение и обработка тепловизионных данных с дронов -
Конечно, здесь отражены далеко не все проблемы, которые можно решить при помощи дронов. Их можно использовать, например, при проведении поисково-спасательных мероприятий, у компании DJI этому посвящено отдельное направление. Сюда же можно отнести поиск животных, например, поиск редких видов.
Важно — тепловизоры предыдущих моделей DJI оснащены матрицами FLIR. С какого-то момента FLIR запретила использовать свои матрицы в тепловизорах DJI. DJI разрабатывает свои собственные тепловизоры и использует их во всех новых решениях, включая Matrice 30T и самый новый Mavic 3 Thermal.

Анализ данных

Это самая важная часть, разговор о которой нужно начать с программного продукта DJI Thermal Analisis Tool.
Применение и обработка тепловизионных данных с дронов -
Это бесплатное программное обеспечение для проведения анализа одиночного снимка. По одному снимку вы открываете определенные элементы, проводите анализ, после чего можете выгружать это в формате отчета и включать в свою статистику.
Первым плюсом можно назвать десять вариантов визуализации данных. Это гораздо больше, чем можно визуализировать непосредственно в процессе полета. Также DJI программа Thermal Analisis Tool очень проста в использовании, имеет низкий порог входа, в ней все интуитивно понятно.
Есть элементы измерения температуры в точке, прямоугольной области, в окружности, по какому-то определенному профилю. После того, как вы проведете определенные манипуляции, например, измерения по одиночному снимку, вам потребуется экспортировать свой отчет, и эта функция также присутствует. Будет краткая выписка параметров, при которых была произведена обработка, и все ваши промеры.
Применение и обработка тепловизионных данных с дронов -
Вначале производим импорт снимков. Затем выбираем любой снимок и один из десяти вариантов отображения, в зависимости от того, какую информацию хотим извлечь из этих снимков. В правой части экрана отражаются изменения параметров — расстояния, влажности, коэффициент отражения у типа объекта, который вы снимаете, и отраженной температуры. Можно определять температуру в конкретной точке, в прямоугольнике, в окружности, в профиле, по нему тоже будет определяться максимальная и минимальная точка. Можно изменить вариант отображения на экране, чтобы иконка выводилась справа, слева или по центру значений этой температуры. Также будет изменяться свечение при сдвигании ползунка шкалы градуировки. Это минимальные функции, но их более, чем достаточно для того, чтобы провести анализ, зафиксировать все элементы и переходить к дальнейшему анализу.
Применение и обработка тепловизионных данных с дронов -
На изображении вы видите снимок, выполненный с тепловизора Testo 875 Super Resolution, с функцией, чтобы разрешение снимка было достаточно высоким. Чем больше разрешение, тем лучше мы видим контуры и тем лучше сможем определить температуру в конкретной точке. По нашей изотерме мы видим проблемные участки, где есть теплопотери, зеленым цветом отражается участок, который нагревается больше всего. При этом разница между показаниями полевых измерений и показаниями в DJI Thermal Analisis Tool, полученными с дрона, не превышает 1,5-2°C. Это хороший показатель, то есть, мы можем ориентироваться на снимки, полученные с дрона, и использовать их для своих прикладных задач.

2D и 3D реконструкции

Применение и обработка тепловизионных данных с дронов -
На первом этапе нам надо получить термоортофотоплан. Для этого можно воспользоваться программой ThermoConverter, это максимально простая программа.
Применение и обработка тепловизионных данных с дронов -
Выделяем канал, относительно которого впоследствии будем индексировать свой ортофотоплан. Выбираем снимки, импортируем их таким образом, как будто это мультиспектральная камера. Они похожи тем, что каждый канал идет отдельно. Надо выбрать папку снимков и в этом окне выбрать многокамерную систему. При этом автоматически создается блок, в котором уже присутствуют все снимки, выполненные в полете. Переходим в настройки экспорта. Здесь можно выбрать три варианта отображения. Параметры абсолютно такие же, как в DJI Thermal Analisis Tool. Когда вы убедились, что вас все устраивает, выбираете директорию, в которую хотите все это выгрузить.
Далее фиксируем фокусное расстояние, чтобы не было большой ошибки по высоте. После его фиксации выполняем выравнивание снимков. Ограничиваем ROI, если это необходимо. Выделяем интересующий нас контур и запускаем процесс построения плотного облака точек, после чего переходим к построению цифровой модели местности, и после этого занимаемся уже ортотрансформированием снимков, построением ортофотоплана местности.
Теперь наша основная задача — проиндексировать этот ортофотоплан, так как нам нужно значение температуры в каждой точке. Переходим в параметр растрового калькулятора и выполняем расчет температуры по формуле: (LWIRх0,01) — 273,15
Настраиваем пользовательское отображение.
Применение и обработка тепловизионных данных с дронов -
На изображении видно, что присутствует именно сантиметровая точность.
Далее переходим к получению 3D-реконструкций.
Применение и обработка тепловизионных данных с дронов -
Процесс абсолютно такой же. Задачи индексирования 3D-модели в данном случае перед нами не стоит, основная задача — ее получить, посмотреть контуры, определить, где происходят теплопотери и отдельно зафиксировать эти моменты. Соответственно, осуществляем идентичный вариант обработки — проводим триангуляцию, строим плотное облако точек, на основе плотного облака точек строим полигональную модель, после ее получения строим текстуру на эту модель, чтобы весь контур был более презентабелен и нес в себе больше информации.
Применение и обработка тепловизионных данных с дронов -
На основе 3D-модели мы можем зафиксировать участки, на которых происходят теплопотери, где есть дефекты, которые необходимо устранить. Результирующая 3D-модель объекта имеет высокий уровень детализации. Даже при низком разрешении исходного снимка можно получить достаточно высокодетализированную тепловую 3D-модель, на которой можно фиксировать дефектные элементы.