Что такое мультиспектральный снимок
Что такое гиперспектральная съемка
Разберёмся, что такое цветопередача и на чем основана мультиспектральная съемка.
Чтобы понять, что такое гиперспектральная или мультиспектральная съемка стоит разобраться что такое цвет.
Интересно то, что любой цвет из представленного ниже спектра мы можем получить, смешав 3 основных цвета в разных пропорциях.
Красный + зелёный + синий.
Всё дело в особенностях человеческого цветного зрения, на сетчатке нашего глаза находятся светочувствительные клетки, которые называются
“колбочки”. Они воспринимают зелёный, красный и синий цвета соответственно (и некоторый диапазон вокруг этих цветов).
Из-за этого его очень легко обмануть, просто смешивая в нужных пропорциях синий и зелёный. Тогда мозг будет считать, что это голубой, хотя его там и не было. Так работают современные устройства, которые выдают нам цветные изображения.
Ученые уже давно изобрели способ, как создавать изображения, которые состоят не из 3, а из множества каналов. Изображение может быть одноканальным или многоканальным. Многоканальное изображение может быть воспроизведено посредством цветовой модели RGB, при этом неважно, состоит изображение из 1 или 1000 отдельных каналов. Это и называется гиперспектральной съемкой.
Она прежде всего используется в аэрофотосъемке и космической съемке земной поверхности.
Гиперспектральные снимки внешне не сильно отличаются от обычных снимков, но если мы возьмём обычный снимок, то любой пиксель с него можно разбить на компоненты. Каждый пиксель, это n-мерная модель, где n – это количество спектральных каналов.
Существуют съёмочные системы с различным количеством спектральных каналов.
При этом можно настроить прибор так, что эти компоненты плотно укладывались не только в видимый спектр (от красного до фиолетового), но и захватывали также и инфракрасную область, которую человеческий глаз не способен воспринять.
Гиперспектральная съёмка может быть выполнена как сканерными, так и кадровыми системами. При использовании сканерной системы, после одного прохода получается некий ряд из пикселей, причём каждый из пикселей разбит на свой спектр. В итоге у нас получается картинка, которую мы можем запомнить и перенести на карту памяти и перейти к следующему ряду. И так ряд за рядом у нас получается составить гиперспектральное изображение.
Зачем нужна мульти и гиперспектральная съемка:
Вполне логично, что любой предмет отражает свет немного по разному. При гиперспектральной съемке мы можем получить уникальное изображение каждого предмета.
Гиперспектральный мониторинг в сельском хозяйстве
Мультиспектральная съёмка c воздуха для сельского хозяйства: основы, задачи и решения
О новом виде аэрофотосъёмки, помогающем следить за состоянием растений, предотвращать проблемы на ранних стадиях и, как следствие, повышать урожайность, слышали многие работники и руководители аграрного сектора, следящие за развитием современных технологий. В этой статье мы расскажем о физическом смысле, применении и особенностях мультиспектральной съёмки на примере профессионального дрона DJI P4 Multispectral и коснёмся моментов, до этого недостаточно освещённых в статьях на русском языке.
Для чего на одном подвесе установлены 6 камер?
Вместо привычной небольшой камеры дрона Phantom 4 мы видим на трёхосевом подвесе беспилотника массивное устройство, имеющее шесть объективов. Каждая из камер, объединённых общим затвором, имеет матрицу, чувствительную в определённой области электромагнитного спектра, также называемой каналом.
Мультиспектральная камера P4 производит съёмку в следующих каналах (в скобках указана длина волны в нанометрах):
Нормализованный относительный индекс растительности (NDVI) и другие индексы
Нормализованный относительный индекс растительности (также в русском языке может назваться нормализованным относительным вегетационным индексом) вычисляется по результатам съёмки в красном и ближнем инфракрасном каналах, находится в диапазоне от 0 (отсутствие вегетации) до 1 (максимальная вегетация) и указывает относительный объём биомассы зелёных растений, в реальных условиях не может превышать 0,95. Значение индекса указывает на состояние здоровья растений и их развитие. Программное обеспечение, используемое для дрона P4 Multispectral, позволяет визуализировать NDVI на карте различными цветами, в том числе и в реальном времени. Специалист без труда найдёт проблемные участки поля на ортофотоплане и предоставит информацию своим коллегам.
Программное обеспечение DJI Terra (базовая лицензия на 1 год предоставляется при покупке дрона), работающее с дроном P4 Multispectral, также вычисляет и визуализирует следующие индексы:
Геопривязка и точность позиционирования
Поскольку главная цель мультиспектральной съёмки — заметить проблему на ранней стадии и не допустить её развития, критически важно знать точное расположение на поле участка, требующего повышенного внимания, для решения о дальнейших действиях. Для этого используется бортовой модуль Real Time Kinematic (RTK) и наземная станция D-RTK 2, использующая сигналы всех распространённых спутниковых систем и сохраняющая данные для работы в условиях помех и низкого сигнала. Система TimeSync синхронизирует работу систем позиционирования и камер, в результате обеспечивая точность привязки снимков на местности до 1 см. На практике это означает, что в процессе постобработки вы найдёте не только проблемные участки, но и отдельные растения.
Исследования на каждой стадии роста сельхозкультур
Работа в паре с сельскохозяйственным дроном DJI Agras MG-1P
Октокоптер DJI Agras MG-1P имеет бак объёмом 10 литров и регулируемые форсунки для распыления пестицидов, гербицидов и жидких удобрений с производительностью 2,8–4 га/ч. Эффективность, точность и быстроту авиахимработ можно повысить, если производить их только там, где это необходимо. Помощь, которую трудно переоценить, оказывает в этом деле анализ мультиспектральных снимков и вегетативных индексов. Чтобы координировать, планировать и отслеживать совместную работу двух и более дронов DJI, а также оценивать и архивировать её результаты, рекомендуется применение специализированного программного обеспечения DJI Flighthub.
Повышение урожайности и прибыли
Внедрение беспилотных технологий — большой шаг к появлению аграрных предприятий и ферм, на которых автоматизированные роботы возьмут на себя большую часть функционала людей. Несмотря на относительно высокую стоимость дрона для мультиспектральной съёмки DJI P4 Multispectral с наземной станцией D-RTK 2, вложения окупятся в первый же год применения благодаря росту количественных и качественных показателей урожая.
Аппарат создан на базе популярного квадрокоптера для съёмки, предназначенного в том числе и для любителей. Это означает, что P4 Multispectral, благодаря простоте управления и дружественному интерфейсу, доступен для освоения даже пользователем, не имеющим опыта эксплуатации мультикоптеров.
FLIR MSX — технология мультиспектральной съёмки
Содержание статьи
Что такое MSX?
MSX® – функция мультиспектральной съёмки добавляет детали визуального изображения со встроенной цифровой камеры на ИК-снимки тепловизора. Технология разработана компанией FLIR, используется во всех тепловизорах ФЛИР. MSX (мультиспектральное динамическое изображение) даёт возможность увидеть структурные элементы, цифры, и другие важные визуальные детали, которые обычно не различимы на традиционном ИК-снимке. В результате становится явно виден текст, так что вы можете прочитать бирку или индентификатор на ИК-изображении. Позволяет мгновенно получать чёткие комбинированные тепловые снимки, по которым легко определить местоположение проблемы: достаточно просто посмотреть на снимок или отчёт. Тепловизионное изображение получается чётким и понятным в отличие от изображений сделанных на устройствах других производителей, где детали изображения могут быть размыты. MSX не снижает интенсивность и прозрачность термограммы.
Для чего нужна технология MSX
Хорошо заметные человеческому глазу детали: номера, бирки, надписи и детали конструкции – могут потеряться на обычных тепловизионных снимках. Для того чтобы понять, где именно сделано то или иное измерение температуры, часто необходимы дополнительные цифровые фотографии. Тепловизионные камеры предыдущих поколений позволяли совмещать тепловизионные изображения с обычными фотографиями либо вставлять фрагменты одних снимков в другие. Однако такие камеры только частично решали эту проблему. К тому же на выполнение и анализ таких снимков обычно требовалось дополнительное время. Кроме того, тепловизионное изображение на таких снимках часто было размыто.
Уникальные особенности технологии
Технология MSX работает по совершенно другому принципу. Благодаря запатентованному алгоритму компании FLIR, камеры поддерживающие MSX получают высококонтрастное изображение со встроенной фотокамеры, а затем как бы вытравливают его основные элементы на тепловизионном снимке, полученном с инфракрасной камеры. Все эти действия выполняются камерой в реальном времени. В результате, сделанные камерой снимки и видеозаписи приобретают фактуру, глубину и чёткость, необходимые для обнаружения проблем без использования дополнительных фотографий.
Принцип работы технологии MSX к содержанию
Тепловизоры с технологией MSX® оснащены двумя камерами — тепловизором и обычной цифровой камерой. Каждый раз, когда вы проводите тепловизионное обследование, одновременно снимают две камеры, в результате чего получаются два снимка, тепловое изображение и видимое. Встроенное программное обеспечение анализирует изображение, извлекает видимые элементы изображения — контуры, слова, цифры и другие детали с высокой контрастностью краев, накладывает их на тепловизионное изображение. В итоге вы получаете максимально детализированные ик-снимки высочайшего качества.
Важно понимать, что MSX® — это не «слияние» двух изображений — программное обеспечение предназначено только для захвата видимых деталей, таких как линии и края, которые затем накладываются непосредственно на тепловое изображение. В итоге MSX® даёт изображениям, снятым на камеры с низким разрешением, более чёткие детали.
Это особенно полезно при последующем просмотре сохранённых изображений т.к. тепловое изображение без недостающих деталей может оказаться недостаточно информативным. MSX® избавляет от необходимости делать дополнительные изображения с освещением обычной камерой, тем самым ускоряя процесс поиска проблемных мест на снимке.
Многоспектральное динамическое изображение (MSX)
Функция работает благодаря уникальному встроенному процессору FLIR, предоставляющему результаты в режиме реального времени.
Термограмма с MSX на которой можно разглядеть цифры на блоке выключателей
Режим MSX® можно включать и отключать в настройках тепловизора, его можно применить во время постобработки отснятых термограмм в программном обеспечении FLIR Tools®. И тепловое изображение, и цифровое изображение сохраняются, поэтому все данные радиометрии (измерения температуры) остаются неизменными.
В чём преимущества MSX и для кого к содержанию
Запатентованная технология мультиспектральной съемки FLIR позволяет оперативнее и более детально обследовать электротехнические, механические системы и строительные сооружения.
Съёмки в мультиспектральном режиме позволяют эффективно, по-новому, использовать преимущество как визуального, так и теплового спектров. Эта технология используется в большинстве ИК-камер FLIR для промышленного и строительного рынка. Мультиспектральный динамический режим позволяет мгновенно получать чёткие комбинированные ИК-снимки, по которым легко определить местоположение проблемы: достаточно просто посмотреть на снимок или отчёт. Благодаря этому формату FLIR вы сохраните все изображения (MSX, ИК и визуальные) одним нажатием на кнопку.
Мультиспектральная съёмка позволяет лучше и быстрее идентифицировать цели без ухудшения радиометрических данных. Благодаря мультиспектральному режиму ИК-изображения выглядят чётче, ориентация цели выполняется оперативнее, обеспечивается систематизация отчётов и более быстрый поиск решений. Пользователи могут наблюдать результаты мультиспектральной съёмки непосредственно на сенсорном дисплее камеры в реальном времени. Независимо от способа представления – на бумажном носителе, в смартфоне или отчёте – превосходные ик-снимки MSX служат профессионалам сфер промышленности и строительства дополнительным аргументом, позволяющим получить заказ на ремонт и обеспечить экономию средств заказчика и собственной компании.
Технология MSX меняет представление о способах комбинирования, наложения и объединения кадров
Тепловизионные камеры предыдущих поколений позволяли совмещать тепловизионные изображения с обычными фотографиями либо вставлять фрагменты одних снимков в другие. Однако такие камеры только частично решали эту проблему. К тому же на выполнение и анализ таких снимков обычно требовалось дополнительное время. Кроме того, тепловизионное изображение на таких снимках часто было размыто или заслонено.
Технология MSX работает совершенно по другому принципу. Технология MSX придаёт фактуру деталям с цифровой камеры на тепловых видеозаписях и изображениях. Благодаря этому мультиспектральная съёмка позволяет получать более глубокие и детализованные снимки, по сравнению с традиционными методами, которые могут «разжижать» тепловое изображение.
СОДЕРЖАНИЕ
Приложения
Военное сопровождение целей
При обнаружении целей в ночное время тепловидение превосходит однополосное многоспектральное изображение. Цитирование. Двухдиапазонная технология MWIR и LWIR обеспечила лучшую визуализацию в ночное время, чем только MWIR. Цитирование Цитирование. Армия США сообщает, что ее двухдиапазонный LWIR / MWIR FPA продемонстрировал лучшую визуализацию тактических машин, чем только MWIR, после отслеживания их как днем, так и ночью.
Обнаружение наземных мин
Анализируя излучательную способность наземных поверхностей, многоспектральные изображения могут обнаруживать наличие подземных ракет. Поверхностные и подземные почвы обладают разными физическими и химическими свойствами, которые проявляются при спектральном анализе. Нарушенная почва имеет повышенную излучательную способность в диапазоне длин волн от 8,5 до 9,5 микрометров, при этом не наблюдается изменений в длинах волн более 10 микрометров. Двойной MWIR / LWIR FPA исследовательской лаборатории армии США использовал «красный» и «синий» детекторы для поиска областей с повышенной излучательной способностью. Красный детектор действует как фон, проверяя области ненарушенных участков почвы, поскольку он чувствителен к длине волны 10,4 микрометра. Детектор синего цвета чувствителен к длинам волн 9,3 микрометра. Если при сканировании интенсивность синего изображения изменяется, вероятно, нарушена эта область . Ученые сообщили, что объединение этих двух изображений увеличило возможности обнаружения.
Обнаружение баллистических ракет
Для перехвата межконтинентальной баллистической ракеты (МБР) на этапе ее разгона требуется визуализация твердого тела, а также струй ракеты. MWIR представляет собой сильный сигнал от сильно нагретых объектов, включая ракетные шлейфы, в то время как LWIR производит выбросы от материала корпуса ракеты. Исследовательская лаборатория армии США сообщила, что с их двухдиапазонной технологией MWIR / LWIR отслеживание ракет-носителей Atlas 5 Evolved, аналогичных по конструкции межконтинентальным баллистическим ракетам, захватило как корпус ракеты, так и оперение.
Космическая съемка
Прогноз погоды
Современные метеорологические спутники создают изображения в самых разных спектрах.
В случае спутников Landsat использовалось несколько различных обозначений диапазонов, причем целых 11 диапазонов ( Landsat 8 ) составляли мультиспектральное изображение. Спектральное изображение с более высоким радиометрическим разрешением (включая сотни или тысячи полос), более тонким спектральным разрешением (включая меньшие полосы) или более широким спектральным охватом можно назвать гиперспектральным или ультраспектральным.
Документы и произведения искусства
Мультиспектральная визуализация также использовалась для изучения изменений цвета и пятен на старых книгах и рукописях. Сравнение «спектрального отпечатка пальца» пятна с характеристиками известных химических веществ может позволить идентифицировать пятно. Этот метод использовался для изучения медицинских и алхимических текстов в поисках подсказок о деятельности первых химиков и возможных химических веществах, которые они, возможно, использовали в своих экспериментах. Подобно повару, проливающему муку или уксус на поваренную книгу, ранний химик мог оставить на страницах материальные доказательства ингредиентов, используемых для изготовления лекарств.
Спектральные полосы
Длины волн являются приблизительными; точные значения зависят от инструментов конкретного спутника:
Использование спектрального диапазона
Для разных целей могут использоваться разные комбинации спектральных диапазонов. Обычно они представлены красным, зеленым и синим каналами. Привязка полос к цветам зависит от цели изображения и личных предпочтений аналитиков. Тепловой инфракрасный свет часто не учитывается из-за плохого пространственного разрешения, за исключением специальных целей.
Используются многие другие комбинации. NIR часто отображается красным цветом, в результате чего участки, покрытые растительностью, становятся красными.
Классификация
Такая классификация представляет собой сложную задачу, которая включает в себя строгую проверку обучающих выборок в зависимости от используемого алгоритма классификации. Техники можно разделить в основном на два типа.
СОДЕРЖАНИЕ
Приложения
Военное сопровождение целей
При обнаружении целей в ночное время тепловидение превосходит однополосное многоспектральное изображение. Цитирование. Двухдиапазонная технология MWIR и LWIR обеспечила лучшую визуализацию в ночное время, чем только MWIR. Цитирование Цитирование. Армия США сообщает, что ее двухдиапазонный LWIR / MWIR FPA продемонстрировал лучшую визуализацию тактических машин, чем только MWIR, после отслеживания их как днем, так и ночью.
Обнаружение наземных мин
Анализируя излучательную способность наземных поверхностей, многоспектральные изображения могут обнаруживать наличие подземных ракет. Поверхностные и подземные почвы обладают разными физическими и химическими свойствами, которые проявляются при спектральном анализе. Нарушенная почва имеет повышенную излучательную способность в диапазоне длин волн от 8,5 до 9,5 микрометров, при этом не наблюдается изменений в длинах волн более 10 микрометров. Двойной MWIR / LWIR FPA исследовательской лаборатории армии США использовал «красный» и «синий» детекторы для поиска областей с повышенной излучательной способностью. Красный детектор действует как фон, проверяя области ненарушенных участков почвы, поскольку он чувствителен к длине волны 10,4 микрометра. Детектор синего цвета чувствителен к длинам волн 9,3 микрометра. Если при сканировании интенсивность синего изображения изменяется, вероятно, нарушена эта область . Ученые сообщили, что объединение этих двух изображений увеличило возможности обнаружения.
Обнаружение баллистических ракет
Для перехвата межконтинентальной баллистической ракеты (МБР) на этапе ее разгона требуется визуализация твердого тела, а также струй ракеты. MWIR представляет собой сильный сигнал от сильно нагретых объектов, включая ракетные шлейфы, в то время как LWIR производит выбросы от материала корпуса ракеты. Исследовательская лаборатория армии США сообщила, что с их двухдиапазонной технологией MWIR / LWIR отслеживание ракет-носителей Atlas 5 Evolved, аналогичных по конструкции межконтинентальным баллистическим ракетам, захватило как корпус ракеты, так и оперение.
Космическая съемка
Прогноз погоды
Современные метеорологические спутники создают изображения в самых разных спектрах.
В случае спутников Landsat использовалось несколько различных обозначений диапазонов, причем целых 11 диапазонов ( Landsat 8 ) составляли мультиспектральное изображение. Спектральное изображение с более высоким радиометрическим разрешением (включая сотни или тысячи полос), более тонким спектральным разрешением (включая меньшие полосы) или более широким спектральным охватом можно назвать гиперспектральным или ультраспектральным.
Документы и произведения искусства
Мультиспектральная визуализация также использовалась для изучения изменений цвета и пятен на старых книгах и рукописях. Сравнение «спектрального отпечатка пальца» пятна с характеристиками известных химических веществ может позволить идентифицировать пятно. Этот метод использовался для изучения медицинских и алхимических текстов в поисках подсказок о деятельности первых химиков и возможных химических веществах, которые они, возможно, использовали в своих экспериментах. Подобно повару, проливающему муку или уксус на поваренную книгу, ранний химик мог оставить на страницах материальные доказательства ингредиентов, используемых для изготовления лекарств.
Спектральные полосы
Длины волн являются приблизительными; точные значения зависят от инструментов конкретного спутника:
Использование спектрального диапазона
Для разных целей могут использоваться разные комбинации спектральных диапазонов. Обычно они представлены красным, зеленым и синим каналами. Привязка полос к цветам зависит от цели изображения и личных предпочтений аналитиков. Тепловой инфракрасный свет часто не учитывается из-за плохого пространственного разрешения, за исключением специальных целей.
Используются многие другие комбинации. NIR часто отображается красным цветом, в результате чего участки, покрытые растительностью, становятся красными.
Классификация
Такая классификация представляет собой сложную задачу, которая включает в себя строгую проверку обучающих выборок в зависимости от используемого алгоритма классификации. Техники можно разделить в основном на два типа.