Что такое машинное зрение
Что такое компьютерное зрение и где его применяют
Что такое компьютерное зрение?
Об эксперте: Роман Коновалов, президент группы компаний «СиДиСи».
Компьютерное зрение (Computer Vision, CV) — это область искусственного интеллекта, связанная с анализом изображений и видео. Она включает в себя набор методов, которые наделяют компьютер способностью «видеть» и извлекать информацию из увиденного.
Системы состоят из фото- или видеокамеры и специализированного программного обеспечения, которое идентифицирует и классифицирует объекты. Они способны анализировать образы (фотографии, картинки, видео, штрих-коды), а также лица и эмоции.
Чтобы научить компьютер «видеть», используются технологии машинного обучения. Собирается множество данных, которые позволяют выделить признаки и комбинации признаков для дальнейшей идентификации похожих объектов.
По данным исследования TAdviser, с 2018 по 2023 год объем отечественного рынка решений в этой сфере увеличится в пять раз до 38 млрд рублей. Наибольшую долю в нем занимают решения в области видеонаблюдения и безопасности — 32%, промышленности — 17%, медицины — 14%, торговли — 10%.
Для чего бизнесу компьютерное зрение?
В чем проблема?
Для дальнейшего распространения систем компьютерного зрения в бизнес-среде разработчики решают проблему быстродействия и стабильности систем.
Сейчас камеры передают данные на сервер, где с помощью специального ПО происходит распознавание. Системе нужен постоянный доступ к высокоскоростному интернету. Передача данных на сервер замедляет процесс. Проблемы с Сетью вообще останавливают его.
Поэтому появляются автономные решения. Например, резидент «Сколково», компания «ИРЦЭ», совместно с ГК «СиДиСи» разработали «ядро», способное распознавать образы прямо в мобильном устройстве без обмена информацией с серверами. При этом точность распознавания доведена до 98%. На основе этого «движка» может быть создано решение для разных отраслей и целей.
Главные тренды последних лет в компьютерном зрении
На конференции OpenTalks AI, посвященной искусственному интеллекту, эксперты обозначили главные тренды в CV:
Что такое моделирование 3D сцен?
Еще в 2009 году Дэвид Маккиннон из Технологического университета в Квинсленде (Австралия) разработал программу 3DSee, которая генерирует 3D-модели на основе 5-15 фотографий. Важное условие: все фотографии должны пересекаться как минимум на 80-90%. На разработку у Маккиннона ушло восемь лет. Следующий шаг — автоматическая генерация 3D-моделей в высоком разрешении, как в сцене с пулями из «Матрицы».
Создание 3D-сцен востребовано в строительстве, дизайне интерьера, военном деле, анимации. В Голливуде уже используют эту технологию, чтобы с точностью воспроизвести освещение, расположение актеров и декораций — для экономии средств на технически сложных съемках. Производители обучают на таких 3D-моделях роботов, которым нужно передвигаться в пространстве по определенному маршруту и преодолевать препятствия. 3D-сканеры подходят для аутентификации личности, виртуальной примерки одежды и многих других вещей. Уже сейчас с помощью смартфона можно отснять человека с разных ракурсов и получить 3D-аватар.
Виктор Лемпицкий, глава Samsung AI Center, профессор Skoltech, в своем докладе на OpenTalks AI отметил, что именно моделирование 3D-сцен было в центре внимания специалистов по CV в 2020 году. Пока что нейросетям сложно в деталях воспроизводить некоторые текстуры — такие, как листва деревьев или прическа — и создавать полноценные модели в 360°. Но в ближайшем будущем они заменят 3D-дизайнеров и аниматоров: смогут сами создавать рендеры зданий и интерьеров, анимированные презентации и VR-симуляции объектов. К примеру, технология NeRF от Google уже генерирует реалистичные объемные изображения, которые используют для создания AR и VR-среды.
Поиск плагиата при помощи компьютерного зрения
С помощью алгоритма Eora Mage можно за пять секунд найти похожий логотип. Это удобно, если вы только выбираете изображение и не хотите: чтобы кто-то из конкурентов подал на вас в суд.
Технологию использует в своей работе патентное бюро «Интэлс», которое регистрирует логотипы и товарные знаки. На этапе регистрации специалистам нужно убедиться, что такой товарный знак еще не регистрировали, и у клиента не будет юридических проблем. Раньше патентовед почти месяц вручную перебирал всю базу и готовил отчет, куда включал до 100 похожих изображений. Теперь на это уходят секунды, а точность алгоритма — от 80%.
Компьютерное зрение в ретейле: умные весы и оплата улыбкой
Поставщики товаров в крупные торговые сети начали снабжать мерчендайзеров планшетами со специальным ПО для распознавания фотографий. Вместо того чтобы проверять наличие товаров, его расстановку и актуальность ценников вручную, торговый представитель просто фотографирует полку. Система сравнивает ее с планограммой и выдает рекомендации: какого товара не хватает, что стоит не на своем месте, где перепутаны ценники или не указана текущая акция. Анализируя полки конкурентов, система мониторит долю полки в динамике.
Например, корпорация Mars реализовала пилотный проект внедрения такой системы в своем подразделении в Казахстане. По итогам пилота принято решение о масштабировании проекта еще в десяти странах присутствия компании.
Запущены пилотные проекты в России, когда системы распознавания и видеоаналитики используются для анализа посещаемости торговых точек, перемещения покупателей, среднего времени пребывания в очереди. Это позволяет оптимизировать рабочий график персонала и сделать пребывание в магазине более комфортным, а обслуживание — быстрым.
В апреле этого года X5 Retail Group объявила о разработке «умных весов», которые с помощью технологии компьютерного зрения идентифицируют товар при взвешивании на кассе. Ритейлер планирует установить 500 таких весов в 100 магазинах сети «Пятерочка». Инновация должна ускорить обслуживание покупателей на кассах.
Платить за покупку улыбкой, выявлять недовольных обслуживанием клиентов, таргетировать рекламу в торговом зале исходя из возраста и пола человека, примерять вещи в виртуальной примерочной — такие проекты уже есть. Пока единичные, но в перспективе пяти-десяти лет они станут повсеместными.
Например, платежная система Alipay начала тестировать систему оплаты на основе компьютерного зрения в 2017 году, реализовав пилотный проект в одном из китайских ресторанов KFC. И теперь в Китае оплата «улыбкой» не является чем-то сверхъестественным, а в борьбу за этот рынок вступила платежная система WeChat Pay. Оплатить покупки, просто улыбнувшись в камеру у кассы, можно в супермаркетах CP Lotus в Пекине и сотнях других магазинов по всей стране.
Международная сеть WalMart тестировала систему, которая при обнаружении покупателя с несчастным лицом оповещала об этом сотрудников магазина. Два года назад эксперимент с распознаванием эмоций покупателей провели в «ДоДо-Пицца». Это позволило компании оценить качество работы сотрудников, мотивировать их «собирать улыбки».
Компьютерное зрение в промышленности: надень каску!
Кроме систем контроля доступа технологии распознавания используются для обеспечения безопасности работников. Например, системы видеоаналитики следят за ношением средств индивидуальной защиты на опасных производствах: если на человеке нет каски, маски, перчаток, яркого жилета, он получает уведомление. Сигнал отправляется и его руководству.
На пультах центрального управления, где важно соблюдать высокий уровень концентрации и не отвлекаться, системы распознавания лиц следят за состоянием специалистов. Если у человека снижается внимание или он засыпает, пользуется телефоном или отходит от своего поста, он и вся команда получают предупреждение.
CV-технологии начинают применяться для контроля качества производимых изделий: видят дефекты, помогая на ранней стадии отсеять брак, проверяют размеры, определяют верные расстояния, считывают маркировку компонентов при сборке на конвейере. Экономия достигается за счет минимизации ошибок и брака.
Компьютерное зрение в финансах: получить кредит лицом
Развивается технология подтверждения лицом операций в мобильном приложении. Системами распознавания скоро будут оборудованы и банкоматы.
Компьютерное зрение в медицине: окровавленные губки
Компьютерное зрение становится виртуальным помощником врача. Технологии анализируют медицинские изображения — рентгеновские снимки, МРТ и УЗИ, помогая повысить точность диагностики заболеваний. Например, проект Microsoft InnerEye помогает быстро и точно найти опухоли на снимках МРТ. Компания из Калифорнии Gauss Surgical разработала систему, позволяющую принимать решения о необходимости переливания крови: она анализируют ее потерю по наполняемости хирургических губок во время операции или во время родов. Разработка также ведет учет губок для того, чтобы врач случайно не забыл их внутри (такое происходит в одной из 5,5 тыс. операций, по данным компании).
Без компьютерного зрения не смогут «работать» и роботы-хирурги, которые скоро выйдут во многие операционные. Эпидемия коронавируса уже стала толчком для развития телемедицины. Здесь системы распознавания помогут провести первичную диагностику некоторых заболеваний по фотографии.
Нейросетевые алгоритмы также помогают улучшить качество снимков рентгена и КТ, убрав лишние шумы и искажения. Это позволяет пациентам меньше времени находиться в аппарате и снизить дозу облучения до 25% от обычной. В будущем компьютеры на базе ИИ смогут полностью заменить КТ и рентген-аппараты, чтобы сразу получать высококачественные снимки с минимальной дозой облучения. Для так называемого НДКТ-скрининга достаточно и 10% данных от КТ. Такие технологии применяют в Philips и компании «Третье Мнение» при разработке ИИ-решений для медицины.
Компьютерное зрение в смартфонах
В современных моделях смартфонов используют технологии, которые помогают обрабатывать изображение еще в процессе съемки. Среди них — LiDAR в iPhone, суперзум в Huawei или Pixel в Google. Специальные алгоритмы делают несколько снимков, сопоставляют их и выводят идеальное по цвету и качеству изображение. При этом они рассчитывают световые потоки, строят объемные модели и производят другие вычисления на базе компьютерного зрения. С помощью камеры смартфона можно даже создать 3D-модель пространства, предмета или человека.
Однако это не единственное, на что способно CV. В Google создали приложение для смартфона Project Guideline, позволяющее слепым заниматься бегом. Оно работает на Android и iOS, озвучивает подсказки, текст и изображения, а также поддерживает голосовой ввод. Так приложение помогает бегуну понять, что за объекты его окружают и как ему строить свой маршрут. Оно даже распознает эмоции на лицах людей, которые встречаются на пути.
Основы машинного зрения
Люди часто не вполне точно представляют, на что способно и чего не может сделать машинное зрение в составе производственной линии и в процессе изготовления продукции. Знание того, как действует эта технология, поможет вам определить, насколько полезной она окажется в решении проблем узких мест в конкретном технологическом и производственном процессе. Так что же представляет собой машинное зрение и как оно работает?
Если говорить в общем, машинное зрение — это применение одной или нескольких видеокамер в промышленной среде для автоматического анализа и проверки объектов производства на соответствие тем или иным требованиям. Полученные таким способом данные могут быть впоследствии использованы для управления производственным или технологическим процессом или в системе управления деятельностью предприятия. Одна из типичных областей применения систем машинного зрения — в составе конвейера. Здесь автоматически, после выполнения какой-либо операции над деталью, включается камера для захвата и обработки изображения интересующего объекта. Камера может быть запрограммирована для проверки положения чего-либо, в частности установленной детали, а также цвета, размера или формы объекта, а кроме того, сможет определить наличие или отсутствие самого объекта в зоне обзора. Система машинного зрения также может просматривать и расшифровывать стандартный или двумерный матричный штрихкод и считывать напечатанные специальные символы.
После проверки изделия обычно генерируется сигнал, позволяющий принять решение о дальнейших действиях. При отслеживании результатов проверки через систему деталь может быть забракована и сброшена в контейнер для изоляции брака, или направлена на отводящий конвейер, или передана для выполнения дополнительных сборочных операций. В любом случае, системы машинного зрения могут предоставить гораздо больше информации об объекте, чем простые датчики его отсутствия/присутствия.
Типичные области применения машинного зрения включают:
Многие изготовители серийной продукции используют автоматическое машинное зрение вместо сотрудников службы контроля качества (отдела технического контроля), потому что оно предпочтительнее для решения монотонных повторяющихся задач. Эти системы работают быстрее, объективнее и, главное — непрерывно, без снижения производительности. Системы машинного зрения могут проверять сотни или даже тысячи деталей в минуту и обеспечивают более последовательные и надежные результаты проверки, чем при работе человека.
Сокращая количество дефектов, увеличивая объем выпуска качественной продукции и облегчая соблюдение правил контроля через отслеживание деталей с помощью машинного зрения, производители конечной продукции могут сэкономить расходы и повысить свою рентабельность, увеличив прибыль.
Аналоговые датчики в системах машинного зрения
Одним из основных датчиков в системах промышленной автоматизации является фотоэлемент с дискретным откликом. Причина, по которой мы называем его «дискретным» (иногда его именуют «цифровым», что не совсем корректно), заключается в том, что он имеет только два состояния: «включено» или «выключено» (рис. 1).
Рис. 1. Дискретный фотоэлектрический датчик, работающий на отражение, сообщает, измерено ли заданное значение (характеристика), идентифицирующее объект
Основная идея фотоэлемента, работающего на отражение, состоит в том, что он испускает луч света и определяет, отражается ли этот свет от какого-либо объекта. Если объект отсутствует, свет обратно в приемник фотоэлемента, естественно, не отражается. К приемнику подведено электрическое напряжение — как правило, это обычно стандартные для индустрии средств промышленной автоматизации 24 В. Если объект присутствует, то выход приемника активируется (включается), и сигнал может быть использован в системе управления, чтобы произошло то или иное заданное событие (отклик). Если объект вышел из зоны контроля датчика, приемник снова деактивируется (его выход выключается).
Фотоэлемент, работающий на отражение, может быть как с дискретным откликом, так и с аналоговым. Данный элемент не только имеет два состояния — «выключено» и «включено», но и дает на выходе число, показывающее, сколько света возвращается в приемник после отражения. Фотоэлемент (рис. 2) может содержать до 256 градаций (условных значений или единиц). При этом значение 0 означает отсутствие отражения света, то есть наличие темного или черного, а 255 — большое отражение света или наличие белого. Фотодатчик, расположенный с левой стороны (рис. 2), показывает значение 76 единиц или темно-серый оттенок. Это примерно 30% от максимального значения 255. Если перед датчиком поместить более светлый объект, то датчик даст нам большее число. Если это будет 217, что составляет около 85% от полного диапазона в 255 единиц, это указывает на гораздо более светлый оттенок по отношению к предыдущему темно-серому.
Рис. 2. Аналоговый фотоэлектрический датчик, работающий на отражение, может обеспечить необходимую шкалу измерений уровня отражения света от объекта
А теперь представим, что в виде квадратного или прямоугольного массива (матрицы) могут быть расположены и направлены на объект тысячи крошечных аналоговых фотоэлементов. Это (основываясь на отражательной способности того участка, куда был направлен такой датчик) создаст изображение объекта в черно-белом режиме.
Отдельные точки восприятия на этих изображениях называются «пиксели». Конечно, с практической точки зрения тысячи отдельных (в конструктивном исполнении) крошечных фотоэлектрических датчиков не используются для создания изображения. Вместо этого объектив фокусирует изображение на твердотельную матрицу со светочувствительными элементами. В такой матрице предусмотрены либо устройства с зарядовой связью — ПЗС (charge coupled device, CCD), либо комплементарная матрица на основе кремниевых металл-оксид-полупроводниковых — КМОП (metal-oxide-semiconductor, CMOS) светочувствительных твердотельных устройств. Отдельные датчики в матрице — это и есть пиксели.
Серия изображений, представленных на рис. 3, демонстрирует лишь небольшой фрагмент картинки, снятой камерой. Эта область считается «областью интереса» для конкретной инспекции.
Рис. 3. Датчики машинного зрения оборудования создают изображения, используя массивы (матрицы) пикселей
Машинное зрение может использовать и цветочувствительные ячейки-пиксели. Кроме того, в таких системах часто имеются матрицы из пикселей гораздо большего размера. К захваченным изображениям для определения размеров, расположения кромок, перемещения и взаимного расположения компонентов относительно друг друга применяются специальные программные инструменты. На рис. 4 показано изображение, полученное от матрицы технологии ПЗС.
Рис. 4. Изображение было получено с помощью устройства с зарядовой связью размером 640×480. Оно используется при осмотре стеклянных шприцев с пластиковым колпачком, а целью применения является определение того, достаточно ли плотно надет колпачок
Четыре основных компонента систем машинного зрения
Основными четырьмя составляющими системы зрения являются объектив и система освещения (подсветки объекта), датчик изображения или камера, процессор и способ передачи результатов, будь то с помощью физических входов/выходов (I/O) или с помощью других средств коммуникации на основе, как правило, стандартных протоколов и общепринятых интерфейсов.
Объектив захватывает изображение и передает его сенсору в виде световой проекции. Чтобы оптимизировать систему зрения, видеокамера должна иметь соответствующий объектив. Хотя существует много типов объективов, в приложениях машинного зрения для простоты управления обычно используются объективы с фиксированным фокусным расстоянием.
В процессе выбора важно учитывать три определяющих фактора:
Для получения изображения, достаточного для его последующей обработки и достижения нужного качества, существует много разных способов передачи к целевому объекту необходимого уровня освещения. Направление, из которого исходит свет, его яркость, цвет или длина волны по сравнению с цветом объекта — все это важные элементы, которые следует учитывать при проектировании системы машинного зрения для конкретной среды применения. В то время как освещение является важной частью получения хорошего изображения, есть и другие моменты, оказывающие влияние на интенсивность отраженного света от объекта.
Так, объектив имеет регулируемый параметр, называемый апертурой, или диафрагмой, а если говорить точнее — это отверстие диафрагмы объектива, которое открывается или закрывается, чтобы позволить большему или меньшему количеству света проникать в объектив. В сочетании с временем экспозиции это определяет количество света на матрице пикселей, прежде чем будет проведен захват изображения объекта. Время срабатывания затвора, или экспозиция (иногда это называют «выдержка»), определяет, как долго изображение накладывается на массив пикселей. В машинном зрении затвор управляется электроникой, а время экспозиции составляет обычно миллисекунды.
После захвата изображения, как уже было сказано, в дело вступают программные инструменты. Некоторые из них применяются до анализа (предварительной обработки), другие используются для определения заданных свойств исследуемого объекта. На этапе предварительной обработки к изображению можно применить эффекты для повышения резкости краев, увеличения контрастности или заполнения пробелов (бликов). Это сделано для улучшения возможностей других программных инструментов, которые вступают в действие позже.
Цель машинного зрения
Ниже приведен перечень некоторых распространенных инструментов, которые можно применять для получения информации о целевом объекте:
Конечной целью сбора данных в системах оценки качества зачастую является их использование для сравнения с целевыми значениями и определения результата «пройден тест или не пройден» или «можно ли пропускать целевой объект дальше». Например, при проверке кода или штрихкода прочитанное значение сравнивается с сохраненным целевым значением, а для измерений полученные данные сравниваются с надлежащим значением и допусками. Для проверки буквенно-цифрового кода текстовое значение OCR сравнивается с правильным или целевым значением. Что касается проверки дефектов, измеренный размер дефекта можно сравнить с максимально допустимыми стандартами качества.
Связь систем машинного зрения с общей системой управления
После того как система машинного зрения извлекла информацию, эти сведения с помощью процессора и программных средств могут быть переданы в систему управления посредством целого ряда стандартных промышленных протоколов связи. Обычно системы машинного зрения поддерживают EtherNet/IP, Profinet и Modbus TCP. Также распространены и последовательные протоколы на основе RS-232 и RS-485. Часто в систему для запуска того или иного ответа или простого отчета о результатах встроен цифровой ввод/вывод. Также доступны стандарты связи, специально ориентированные на системы машинного зрения.
Понимание физики и возможностей систем машинного зрения может помочь определить, подходит данное приложение для систем на базе видеокамер или нет. В целом, то, что видит человеческий глаз, — это то, что может видеть и камера (иногда в большем или меньшем приближении), а вот расшифровка и передача информации могут быть уже более сложными процессами. Кроме того, использование надежного поставщика, хорошо осведомленного в системах, освещении и технологиях, может сэкономить много времени и денег и быть полезным не только на текущий момент, но и в долгосрочной перспективе.
Машинное зрение. Что это и как им пользоваться? Обработка изображений оптического источника
Машинное зрение — это научное направление в области искусственного интеллекта, в частности робототехники, и связанные с ним технологии получения изображений объектов реального мира, их обработки и использования полученных данных для решения разного рода прикладных задач без участия (полного или частичного) человека.
Исторические прорывы в машинном зрении
Компоненты системы машинного зрения
Машинное зрение сосредотачивается на применении, в основном промышленном, например, автономные роботы и системы визуальной проверки и измерений. Это значит, что технологии датчиков изображения и теории управления связаны с обработкой видеоданных для управления роботом и обработка полученных данных в реальном времени осуществляется программно или аппаратно.
Обработка изображений и анализ изображений в основном сосредоточены на работе с 2D изображениями, т.е. как преобразовать одно изображение в другое. Например, попиксельные операции увеличения контрастности, операции по выделению краёв, устранению шумов или геометрические преобразования, такие как вращение изображения. Данные операции предполагают, что обработка/анализ изображения действуют независимо от содержания самих изображений.
Компьютерное зрение сосредотачивается на обработке трехмерных сцен, спроектированных на одно или несколько изображений. Например, восстановлением структуры или другой информации о 3D сцене по одному или нескольким изображениям. Компьютерное зрение часто зависит от более или менее сложных допущений относительно того, что представлено на изображениях.
Также существует область названная визуализация, которая первоначально была связана с процессом создания изображений, но иногда имела дело с обработкой и анализом. Например, рентгенография работает с анализом видеоданных медицинского применения.
Наконец, распознавание образов является областью, которая использует различные методы для получения информации из видеоданных, в основном, основанные на статистическом подходе. Значительная часть этой области посвящена практическому применению этих методов.
Таким образом, можно сделать вывод, что понятие «машинное зрение» на сегодняшний день включает в себя: компьютерное зрение, распознавание зрительных образов, анализ и обработка изображений и т.д.
Задачи машинного зрения
Распознавание
Классическая задача в компьютерном зрении, обработке изображений и машинном зрении это определение содержат ли видеоданные некоторый характерный объект, особенность или активность.
Эта задача может быть достоверно и легко решена человеком, но до сих пор не решена удовлетворительно в компьютерном зрении в общем случае: случайные объекты в случайных ситуациях.
Один или несколько предварительно заданных или изученных объектов или классов объектов могут быть распознаны (обычно вместе с их двухмерным положением на изображении или трехмерным положением в сцене).
Идентификация
Распознается индивидуальный экземпляр объекта принадлежащего к какому-либо классу.
Примеры: идентификация определённого человеческого лица или отпечатка пальцев или автомобиля.
Обнаружение
Видеоданные проверяются на наличие определенного условия.
Обнаружение, основанное на относительно простых и быстрых вычислениях иногда используется для нахождения небольших участков в анализируемом изображении, которые затем анализируются с помощью приемов, более требовательных к ресурсам, для получения правильной интерпретации.
Распознавание текста
Поиск изображений по содержанию: нахождение всех изображений в большом наборе изображений, которые имеют определенное различными путями содержание.
Оценка положения: определение положения или ориентации определенного объекта относительно камеры.
Оптическое распознавание знаков: распознавание символов на изображениях печатного или рукописного текста (обычно для перевода в текстовый формат, наиболее удобный для редактирования или индексации. Например, ASCII).
Восстановление 3D формы по 2D изображениям осуществляется с помощью стереореконструкции карты глубины, реконструкции поля нормалей и карты глубины по закраске полутонового изображения, реконструкции карты глубины по текстуре и определения формы по перемещению
Пример восстановления 3D формы по 2D изображеню
Оценка движения
Несколько задач, связанных с оценкой движения, в которых последовательность изображений (видеоданные) обрабатываются для нахождения оценки скорости каждой точки изображения или 3D сцены. Примерами таких задач являются: определение трехмерного движения камеры, слежение, то есть следование за перемещениями объекта (например, машин или людей)
Восстановление сцены
Даны два или больше изображения сцены, или видеоданные. Восстановление сцены имеет задачей воссоздать трехмерную модель сцены. В простейшем случае, моделью может быть набор точек трехмерного пространства. Более сложные методы воспроизводят полную трехмерную модель.
Восстановление изображений
Задача восстановления изображений это удаление шума (шум датчика, размытость движущегося объекта и т.д.).
Наиболее простым подходом к решению этой задачи являются различные типы фильтров, таких как фильтры нижних или средних частот.
Более высокий уровень удаления шумов достигается в ходе первоначального анализа видеоданных на наличие различных структур, таких как линии или границы, а затем управления процессом фильтрации на основе этих данных.
Восстановление изображений
Анализ оптического потока (нахождения перемещения пикселей между двумя изображениями).
Несколько задач, связанных с оценкой движения, в которых последовательность изображений (видеоданные) обрабатываются для нахождения оценки скорости каждой точки изображения или 3D сцены.
Примерами таких задач являются: определение трехмерного движения камеры, слежение, т.е. следование за перемещениями объекта (например, машин или людей).
Методы обработки изображений
Счетчик пикселей
Подсчитывает количество светлых или темных пикселей.
С помощью счетчика пикселей пользователь может выделить на экране прямоугольную область в интересующем месте, например там, где он ожидает увидеть лица проходящих людей. Камера в ответ немедленно даст сведения о количестве пикселей, представленных сторонами прямоугольника.
Счетчик пикселей дает возможность быстро проверить, соответствует ли смонтированная камера нормативным требованиям или требованиям заказчика относительно пиксельного разрешения, например, для лиц людей, входящих в двери, которые контролируются камерой, или в целях распознавания номерных знаков.
Бинаризация
Преобразует изображение в серых тонах в бинарное (белые и черные пиксели).
Значения каждого пикселя условно кодируются, как «0» и «1». Значение «0» условно называют задним планом или фоном а «1» — передним планом.
Часто при хранении цифровых бинарных изображений применяется битовая карта, где используют один бит информации для представления одного пикселя.
Также, особенно на ранних этапах развития техники, двумя возможными цветами были чёрный и белый, что не является обязательным.
Сегментация
Используется для поиска и (или) подсчета деталей.
Цель сегментации заключается в упрощении и/или изменении представления изображения, чтобы его было проще и легче анализировать.
Сегментация изображений обычно используется для того, чтобы выделить объекты и границы (линии, кривые, и т. д.) на изображениях. Более точно, сегментация изображений — это процесс присвоения таких меток каждому пикселю изображения, что пиксели с одинаковыми метками имеют общие визуальные характеристики.
Результатом сегментации изображения является множество сегментов, которые вместе покрывают всё изображение, или множество контуров, выделенных из изображения. Все пиксели в сегменте похожи по некоторой характеристике или вычисленному свойству, например, по цвету, яркости или текстуре. Соседние сегменты значительно отличаются по этой характеристике.
Чтение штрих-кодов
Штрих-код — графическая информация, наносимая на поверхность, маркировку или упаковку изделий, представляющая возможность считывания её техническими средствами — последовательность чёрных и белых полос либо других геометрических фигур.
В машинном зрении штрих-коды используют для декодирования 1D и 2D кодов, разработанных для считывания или сканирования машинами.
Оптическое распознавание символов
Оптическое распознавание символов: автоматизированное чтение текста, например, серийных номеров.
Распознавание используется для конвертации книг и документов в электронный вид, для автоматизации систем учёта в бизнесе или для публикации текста на веб-странице.
Оптическое распознавание текста позволяет редактировать текст, осуществлять поиск слов или фраз, хранить его в более компактной форме, демонстрировать или распечатывать материал, не теряя качества, анализировать информацию, а также применять к тексту электронный перевод, форматирование или преобразование в речь.
Моя программа, написанная на LabView по работе с изображениями
Использовано компьютерное зрение для неразрушающего контроля качества сверхпроводящих материалов.
Введение. Решение задач обеспечения комплексной безопасности (как антитеррористической и механической безопасности объектов, так и технологической безопасности инженерных систем), в настоящее время, требует системной организации контроля, текущего состояния объектов. Одними из наиболее перспективных способов контроля текущего состояния объектов являются оптические и оптико-электронные методы, основанные на технологиях обработки видеоизображений оптического источника. К ним относятся: программы по работе с изображениями; новейшие способы обработки изображений; оборудования для получения, анализа и обработки изображений, т.е. комплекс средств и методов относящихся к области компьютерного и машинного зрения. Компьютерное зрение — это общий набор методов, позволяющих компьютерам видеть и распознавать трех- или двухмерные объекты, как инженерного направления, так и нет. Для работы с компьютерным зрение требуются цифровые или аналоговые устройства ввода-вывода, а также вычислительные сети и IP анализаторы локаций, предназначенные для контроля производственного процесса и подготовки информации для принятия оперативных решений в кратчайшие сроки.
Постановка проблемы. На сегодняшний день, главной задачей для проектируемых комплексов машинного зрения остаётся обнаружение, распознавание, идентификация и квалификация объектов потенциального риска, находящихся в случайном месте в зоне оперативной ответственности комплекса. Существующие на данный момент программные продукты, направленные на решение перечисленных задач обладают рядом существенных недостатков, а именно: значительная сложность, связанная с высокой детализацией оптических образов; высокая потребляемая мощность и достаточно узкий спектр возможностей. Расширение задач обнаружения объектов потенциального риска, до области поиска случайных объектов в случайных ситуациях, находящихся в случайном месте, имеющимися программными продуктами не возможно, даже с задействованием суперкомпьютера.
Цель. Разработка универсальной программы обработки изображений оптического источника, с возможностью потокового анализа данных, то есть программа должна быть лёгкой и быстрой для того, чтобы её можно было записать на малогабаритное ЭВМ устройство.
Для упрощения решения задач данного типа, мною была разработана математическая модель и написана программа для ЭВМ устройства по анализу изображения при помощи простейших преобразований исходных изображений.
Программа работает с преобразованиями типа бинаризации, яркости, контраста изображения и т.д. Принцип действия программы продемонстрирован на примере анализа сверхпроводящих материалов.
При создании композиционных сверхпроводников на основе Nb3Sn варьируется объемное соотношение бронзы и ниобия, размер и количество волокон в нем, равномерность их распределения по сечению бронзовой матрицы, наличие диффузионных барьеров и стабилизирующих материалов. При заданной объемной доле ниобия в проводнике увеличение количества волокон приводит, соответственно, к уменьшению их диаметра. Это ведет к заметному возрастанию поверхности взаимодействия Nb / Cu-Sn, что в значительной степени ускоряет процесс нарастания сверхпроводящей фазы. Такое увеличение количества сверхпроводящей фазы при повышении числа волокон в проводнике обеспечивает возрастание критических характеристик сверхпроводника. В связи с этим необходимо наличие инструмента для контроля объемной доли сверхпроводящей фазы в конечном продукте (композиционном сверхпроводнике).
Блок-диаграмма программы
Описание этапов исследования.
1 этап. Пробоподготовка: резка композиционного сверхпроводника на электроэрозионном станке; запрессовка образца в пластмассовую матрицу; полировка образца до зеркального состояния; травление образца для выделения волокон ниобия на бронзовой матрице. Получены образцы запрессованных композиционных сверхпроводниковых образцов;
2 этап. Получение изображений: получение металлографических изображений на сканирующем электронном микроскопе.
3 этап. Обработка изображений: создание инструмента для определения объемной доли сверхпроводящей фазы на металлографическом изображении; набор статистически значимых данных на конкретном типе образцов. Созданы математические модели различных инструментов по обработке изображений; создана программная разработка для оценки объемной доли сверхпроводящий фазы; программа была облегчена путём соединения нескольких математических функций в одну; было получено среднее значение объемной доли волокон ниобия в бронзовой матрице 24.7±0,1 %. Низкий процент отклонения свидетельствует о высокой повторяемости структуры композиционного провода.
Электронномикроскопическое изображения композиционных сверхпроводников
Методы обработки изображений в программе.
Формулы работы программы
Формула бинаризации (метод Оцу):
Формула эрозии: 
Формула дилатации: 
Схема дилатации и эрозии 
Формулы сегментации порогами цвета:
Определение модуля градиента яркости для каждого пикселя изображения: 
Вычисление порога: 