Машинное зрение по своей сути предполагает анализ визуальной информации для дальнейшего принятия решения, какое действие совершить по отношению к объекту, который находится в фокусе. Простейший пример использования технологии: проверка состояния изделия на конвейере или перед отправкой посылки почтой. Также нередко машинное зрение используется для оценки качества печатных плат, моментально сравнивая каждый новый продукт с эталонной платой перед автоматическим переносом на следующий этап сборки. Эти технологии представляют собой бесценный ресурс для оценки качества и снижения уровня брака там, где человеческий глаз и мозг просто не в состоянии дать объективную оценку из-за необходимости просматривать одинаковые предметы сотни или тысячи раз в день.

Вычислительная потребность «машинного зрения»

По мере роста разрешения оптических систем потенциал машинного зрения также увеличивается, так как вместе с разрешением множится и количество деталей для оценки. Все более и более мелкие объекты могут быть обработаны по шаблонному принципу, что ведет к увеличению нагрузки на процессор, который должен проанализировать значительный массив данных и быстро принять решение о следующем шаге (соответствует/не соответствует, задержать, вернуть в начало и т. д.). Например, при сортировке овощей простые решения о соответствии и размере оказываются уже неподходящими, потому что стандарты разных стран отличаются, а качество продукции варьируется в зависимости от сезона. Чтобы минимизировать количество брака для производителя и одновременно обеспечить нужное качество для потребителя необходимы более детальные алгоритмы и категории — а это практически невыполнимая задача для человеческих глаз и мозга.

Скажем, существует датская фирма Qtechnology, которая поставляет «умные камеры» для сортировки овощей. Они способны без участия человека обрабатывать до 25 тонн продукции в час. Такие объемы достигаются за счет анализа свыше 250 000 отдельных продуктов на базе более чем 500 000 изображений. И поскольку каждая картинка занимает примерно 6,2 Мб, получается, что в итоге требуется анализ свыше 2,5 терабайт графических данных в час — колоссальный объем информации! Только для передачи такого массива потребуется более 6 часов при использовании гигабитного подключения Ethernet.

Чтобы решить эту задачу с использованием более простых алгоритмов, требуется разбить ее на стадии и установить несколько камер, увеличить зоны освещения, выделить больше места на фабриках и так далее. В качестве альтернативы можно применить более производительные вычислительные системы: с централизованной мощностью и более скоростным соединением или распределенной обработкой информации «умными камерами», которые будут фиксировать данные в реальном времени на каждом этапе, поставляя в финальный механизм принятия решений только готовые параметры.

В стандартных системах визуального контроля качество и безопасность продуктов чаще всего определяются по внешним физическим признакам, таким как текстура и цвет. Гиперспектральная съемка дает пищевой промышленности возможность оценивать продукты по дополнительным химическим и биологическим параметрам, позволяющим определить уровень сахара, жира, жидкости и количество бактерий в каждом продукте.
При гиперспектральной визуализации трехмерные наборы пространственной и спектральной информации получаются из каждого пикселя. Дополнительные спектральные характеристики дают более подробное описание параметров, позволяя осуществлять их классификацию. Трехмерные наборы включают в себя интенсивность (отраженный или пропускаемый свет) каждого пикселя, которая высчитывается при измерении длины всех видимых волн света, в результате каждый набор данных несет в себе массу информации. Этот объем информации отражает экспоненциальный рост в вычислительной задаче для проведения качественного и количественного анализа состояния продукта в реальном времени.

Применение гетерогенных вычислений

Для удовлетворения запросов, а также решения будущих задач, необходимы высокопроизводительные и масштабируемые вычислительные системы.

Упомянутая Qtechnology использует гибридные процессоры APU компании AMD в платформах «умных камер». Эти процессоры сочетают в себе GPU (графический процессор) и CPU (центральный процессор) на одном кристалле. В результате система имеет возможность отправлять на обработку массивы графических данных непосредственно на GPU без какой-либо задержки на передачу между компонентами. А CPU получает возможность обрабатывать без задержек другие задачи, повышая производительность всей системы в реальном времени и обеспечивая необходимую мощность для современных требований систем с машинным зрением.
Объединение разных вычислительных модулей на одном кристалле или в одной системе позволяет передать каждому элементу соответствующую ему нагрузку — и это основа гетерогенных вычислений. Консорциум Heterogeneous System Architecture (HSA) Foundation был основан в 2012 году, чтобы сформулировать открытые отраслевые спецификации для процессоров и систем, которые используют все доступные вычислительные элементы для повышения конечной эффективности. Компания AMD продвигает концепцию гетерогенных вычислений, суть которой заключается в совместном использовании всех вычислительных ресурсов системы: как центральных, так и графических процессоров.

В частности, GPU представляет собой модуль параллельных вычислений, который может легко применять одни и те же инструкции для больших наборов данных (в нашем случае — пикселей) одновременно; и это именно то, что необходимо компаниям для работы установок с машинным зрением. К тому же производительность системы может быть увеличена за счет объединения возможностей APU с внешней дискретной видеокартой. Такой подход позволяет компаниям при необходимости добавлять вычислительные ресурсы GPU для поддержки еще более сложных задач машинного зрения.

Обширная поддержка экосистемой архитектуры x86 позволяет компаниям использовать библиотеки для обработки изображений с открытым кодом или подключать решения от сторонних компаний, такие как OpenCV, Mathworks Matlab и Halcon. Инструменты отладки, анализаторы задержек и профилировщики (perf, ftrace) сегодня так же широко доступны. Машинное зрение представляет собой самый свежий пример использования вычислительной мощности полупроводников для сокращения затрат, ускорения производства, повышения качества и получения ряда других полезных преимуществ, используемых во многих приложениях и отраслях. Таким образом, благодаря инновациям и успешным идеям инженеров по встраиваемым решениям возникает положительный эффект в целом для экономики, культуры и каждого из нас в частности.

Здесь используется замечательный пример обнаружения веб-камерой лица человека и определения его положения в пространстве. Человек буквально может посмотреть на изображение с другой стороны. Давайте разберемся, каким образом это происходит.

Для начала нам надо понять, как машина различает объекты и фон. К примеру, для нахождения веб-камерой каких-то геометрических фигур надо, что бы камера отличала следующие атрибуты объекта:

1. Форму объекта (круг, квадрат, треугольник…);
2. Цвет определяемого объекта;
3. Размер объекта и положение его относительно других объектов.

Для нахождения формы объекта используется эффект размытия контуров заданной формы. Это делается для того, чтобы устройство точно могло определить, где закончился контур нашего объекта и начался фон. Более подробно, со всевозможными объяснениями и примерами, можно узнать из лекции Александра Бакулина о робототехнике:

Что связано с цветом объекта, думаю, всем понятно, и особо сложных вопросов возникать не должно. Все просто: устройству надо определить по цвету объекта его положение, а также отсечь фон и другие объекты. Глубина цвета, как и возможные погрешности, зависит от качества записи устройства, освещения, вашего алгоритма определения и ряда менее значимых нюансов.

Говоря о положении определяемого объекта в зоне видимости, мы переходим к главному принципу работы, который демонстрируется на видео выше. Устройство находит объект, фиксирует его положение в реальном времени и, следуя алгоритму, выполняет нужные нам действия. Одной из ключевых позиций является размер нашего объекта. Мы приближаем объект, изменяя его координаты по осям, и видим изображение уже под другим углом. В случае с человеческим лицом, а не простой геометрической фигурой, есть ряд нюансов:

Форма лица у всех людей разная, хотя есть определенные типы этой формы.

Цвет кожи человека, личные особенности, такие как прическа, украшения, и тому подобное.

Лицо человека, хоть и симметрично, имеет различия, если смотреть под разными углами.

Поэтому, в отличие от простых фигур, для определения лица требуется использовать немного другой подход.

Оптимальный вариант – это xml файлы, содержащие необходимые нам сведения по всем пунктам, которые были описаны выше. Это множество изображений лиц разных размеров и форм, сделанных заранее под разными углами. В сети уже есть готовые xml файлы, которые можно использовать в работе.

Работать с такой технологией легко и просто. Открывается множество интересных решений для работы с изображением, которые можно использовать как в повседневной жизни, так и в больших проектах.

Машинное зрение. Что это и как им пользоваться? Обработка изображений оптического источника

Машинное зрение - это научное направление в области искусственного интеллекта, в частности робототехники, и связанные с ним технологии получения изображений объектов реального мира, их обработки и использования полученных данных для решения разного рода прикладных задач без участия (полного или частичного) человека.

Исторические прорывы в машинном зрении

Компоненты системы машинного зрения

• Одна или несколько цифровых или аналоговых камер (черно-белые или цветные) с подходящей оптикой для получения изображений
• Программное обеспечение для изготовления изображений для обработки. Для аналоговых камер это оцифровщик изображений
• Процессор (современный ПК c многоядерным процессором или встроенный процессор, например - ЦСП)
• Программное обеспечение машинного зрения, которое предоставляет инструменты для разработки отдельных приложений программного обеспечения.
• Оборудование ввода-вывода или каналы связи для доклада о полученных результатах
• Умная камера: одно устройство, которое включает в себя все вышеперечисленные пункты.
• Очень специализированные источники света (светодиоды, люминесцентные и галогенные лампы и т. д.)
• Специфичные приложения программного обеспечения для обработки изображений и обнаружения соответствующих свойств.
• Датчик для синхронизации частей обнаружения (часто оптический или магнитный датчик) для захвата и обработки изображений.
• Приводы определенной формы используемые для сортировки или отбрасывания бракованных деталей.

Машинное зрение сосредотачивается на применении, в основном промышленном, например, автономные роботы и системы визуальной проверки и измерений. Это значит, что технологии датчиков изображения и теории управления связаны с обработкой видеоданных для управления роботом и обработка полученных данных в реальном времени осуществляется программно или аппаратно.

Обработка изображений и анализ изображений в основном сосредоточены на работе с 2D изображениями, т.е. как преобразовать одно изображение в другое. Например, попиксельные операции увеличения контрастности, операции по выделению краёв, устранению шумов или геометрические преобразования, такие как вращение изображения. Данные операции предполагают, что обработка/анализ изображения действуют независимо от содержания самих изображений.

Компьютерное зрение сосредотачивается на обработке трехмерных сцен, спроектированных на одно или несколько изображений. Например, восстановлением структуры или другой информации о 3D сцене по одному или нескольким изображениям. Компьютерное зрение часто зависит от более или менее сложных допущений относительно того, что представлено на изображениях.

Также существует область названная визуализация, которая первоначально была связана с процессом создания изображений, но иногда имела дело с обработкой и анализом. Например, рентгенография работает с анализом видеоданных медицинского применения.

Наконец, распознавание образов является областью, которая использует различные методы для получения информации из видеоданных, в основном, основанные на статистическом подходе. Значительная часть этой области посвящена практическому применению этих методов.

Таким образом, можно сделать вывод, что понятие «машинное зрение» на сегодняшний день включает в себя: компьютерное зрение, распознавание зрительных образов, анализ и обработка изображений и т.д.

Задачи машинного зрения

• Распознавание
• Идентификация
• Обнаружение
• Распознавание текста
• Восстановление 3D формы по 2D изображениям
• Оценка движения
• Восстановление сцены
• Восстановление изображений
• Выделение на изображениях структур определенного вида, сегментация изображений
• Анализ оптического потока

Распознавание

Классическая задача в компьютерном зрении, обработке изображений и машинном зрении это определение содержат ли видеоданные некоторый характерный объект, особенность или активность.

Эта задача может быть достоверно и легко решена человеком, но до сих пор не решена удовлетворительно в компьютерном зрении в общем случае: случайные объекты в случайных ситуациях.

Один или несколько предварительно заданных или изученных объектов или классов объектов могут быть распознаны (обычно вместе с их двухмерным положением на изображении или трехмерным положением в сцене).

Идентификация

Распознается индивидуальный экземпляр объекта принадлежащего к какому-либо классу.
Примеры: идентификация определённого человеческого лица или отпечатка пальцев или автомобиля.

Обнаружение

Видеоданные проверяются на наличие определенного условия.

Обнаружение, основанное на относительно простых и быстрых вычислениях иногда используется для нахождения небольших участков в анализируемом изображении, которые затем анализируются с помощью приемов, более требовательных к ресурсам, для получения правильной интерпретации.

Распознавание текста

Поиск изображений по содержанию: нахождение всех изображений в большом наборе изображений, которые имеют определенное различными путями содержание.

Оценка положения: определение положения или ориентации определенного объекта относительно камеры.

Оптическое распознавание знаков: распознавание символов на изображениях печатного или рукописного текста (обычно для перевода в текстовый формат, наиболее удобный для редактирования или индексации. Например, ASCII).

Восстановление 3D формы по 2D изображениям осуществляется с помощью стереореконструкции карты глубины, реконструкции поля нормалей и карты глубины по закраске полутонового изображения, реконструкции карты глубины по текстуре и определения формы по перемещению

Пример восстановления 3D формы по 2D изображеню

Оценка движения

Несколько задач, связанных с оценкой движения, в которых последовательность изображений (видеоданные) обрабатываются для нахождения оценки скорости каждой точки изображения или 3D сцены. Примерами таких задач являются: определение трехмерного движения камеры, слежение, то есть следование за перемещениями объекта (например, машин или людей)

Восстановление сцены

Даны два или больше изображения сцены, или видеоданные. Восстановление сцены имеет задачей воссоздать трехмерную модель сцены. В простейшем случае, моделью может быть набор точек трехмерного пространства. Более сложные методы воспроизводят полную трехмерную модель.

Восстановление изображений

Задача восстановления изображений это удаление шума (шум датчика, размытость движущегося объекта и т.д.).

Наиболее простым подходом к решению этой задачи являются различные типы фильтров, таких как фильтры нижних или средних частот.

Более высокий уровень удаления шумов достигается в ходе первоначального анализа видеоданных на наличие различных структур, таких как линии или границы, а затем управления процессом фильтрации на основе этих данных.

Восстановление изображений

Анализ оптического потока (нахождения перемещения пикселей между двумя изображениями).
Несколько задач, связанных с оценкой движения, в которых последовательность изображений (видеоданные) обрабатываются для нахождения оценки скорости каждой точки изображения или 3D сцены.

Примерами таких задач являются: определение трехмерного движения камеры, слежение, т.е. следование за перемещениями объекта (например, машин или людей).

Методы обработки изображений

Счетчик пикселей

Подсчитывает количество светлых или темных пикселей.
С помощью счетчика пикселей пользователь может выделить на экране прямоугольную область в интересующем месте, например там, где он ожидает увидеть лица проходящих людей. Камера в ответ немедленно даст сведения о количестве пикселей, представленных сторонами прямоугольника.

Счетчик пикселей дает возможность быстро проверить, соответствует ли смонтированная камера нормативным требованиям или требованиям заказчика относительно пиксельного разрешения, например, для лиц людей, входящих в двери, которые контролируются камерой, или в целях распознавания номерных знаков.

Бинаризация

Преобразует изображение в серых тонах в бинарное (белые и черные пиксели).
Значения каждого пикселя условно кодируются, как «0» и «1». Значение «0» условно называют задним планом или фоном а «1» - передним планом.

Часто при хранении цифровых бинарных изображений применяется битовая карта, где используют один бит информации для представления одного пикселя.

Также, особенно на ранних этапах развития техники, двумя возможными цветами были чёрный и белый, что не является обязательным.

Сегментация

Используется для поиска и (или) подсчета деталей.

Цель сегментации заключается в упрощении и/или изменении представления изображения, чтобы его было проще и легче анализировать.

Сегментация изображений обычно используется для того, чтобы выделить объекты и границы (линии, кривые, и т. д.) на изображениях. Более точно, сегментация изображений - это процесс присвоения таких меток каждому пикселю изображения, что пиксели с одинаковыми метками имеют общие визуальные характеристики.

Результатом сегментации изображения является множество сегментов, которые вместе покрывают всё изображение, или множество контуров, выделенных из изображения. Все пиксели в сегменте похожи по некоторой характеристике или вычисленному свойству, например, по цвету, яркости или текстуре. Соседние сегменты значительно отличаются по этой характеристике.

Чтение штрих-кодов

Штрих-код - графическая информация, наносимая на поверхность, маркировку или упаковку изделий, представляющая возможность считывания её техническими средствами - последовательность чёрных и белых полос либо других геометрических фигур.
В машинном зрении штрих-коды используют для декодирования 1D и 2D кодов, разработанных для считывания или сканирования машинами.

Оптическое распознавание символов

Оптическое распознавание символов: автоматизированное чтение текста, например, серийных номеров.

Распознавание используется для конвертации книг и документов в электронный вид, для автоматизации систем учёта в бизнесе или для публикации текста на веб-странице.

Оптическое распознавание текста позволяет редактировать текст, осуществлять поиск слов или фраз, хранить его в более компактной форме, демонстрировать или распечатывать материал, не теряя качества, анализировать информацию, а также применять к тексту электронный перевод, форматирование или преобразование в речь.

Моя программа, написанная на LabView по работе с изображениями

Использовано компьютерное зрение для неразрушающего контроля качества сверхпроводящих материалов.

Введение. Решение задач обеспечения комплексной безопасности (как антитеррористической и механической безопасности объектов, так и технологической безопасности инженерных систем), в настоящее время, требует системной организации контроля, текущего состояния объектов. Одними из наиболее перспективных способов контроля текущего состояния объектов являются оптические и оптико-электронные методы, основанные на технологиях обработки видеоизображений оптического источника. К ним относятся: программы по работе с изображениями; новейшие способы обработки изображений; оборудования для получения, анализа и обработки изображений, т.е. комплекс средств и методов относящихся к области компьютерного и машинного зрения. Компьютерное зрение - это общий набор методов, позволяющих компьютерам видеть и распознавать трех- или двухмерные объекты, как инженерного направления, так и нет. Для работы с компьютерным зрение требуются цифровые или аналоговые устройства ввода-вывода, а также вычислительные сети и IP анализаторы локаций, предназначенные для контроля производственного процесса и подготовки информации для принятия оперативных решений в кратчайшие сроки.

Постановка проблемы. На сегодняшний день, главной задачей для проектируемых комплексов машинного зрения остаётся обнаружение, распознавание, идентификация и квалификация объектов потенциального риска, находящихся в случайном месте в зоне оперативной ответственности комплекса. Существующие на данный момент программные продукты, направленные на решение перечисленных задач обладают рядом существенных недостатков, а именно: значительная сложность, связанная с высокой детализацией оптических образов; высокая потребляемая мощность и достаточно узкий спектр возможностей. Расширение задач обнаружения объектов потенциального риска, до области поиска случайных объектов в случайных ситуациях, находящихся в случайном месте, имеющимися программными продуктами не возможно, даже с задействованием суперкомпьютера.

Цель. Разработка универсальной программы обработки изображений оптического источника, с возможностью потокового анализа данных, то есть программа должна быть лёгкой и быстрой для того, чтобы её можно было записать на малогабаритное ЭВМ устройство.

Задачи:

• разработка математической модели программы;
• написание программы;
• опробирование программы в условиях лабораторного эксперимента, с полной подготовкой и проведением эксперимента;
• исследование возможности применения программы в смежных областях деятельности.

Актуальность программы определяется:

• высокой стоимостью профессиональных программ обработки визуальной информации.

Анализ актуальности разработки программы.

• отсутствием на рынке программного обеспечения программ обработки изображений с выводом подробного анализа инженерных составляющих объектов;
• постоянно растущими требованиями к качеству и скорости получения визуальной информации, резко повышающими востребованность программ обработки изображений;
• существующей потребность в программах высокой производительности, надежных и простых с точки зрения пользователя;
• существует потребность программ высокой производительности и простого управления, чего добиться в наше время крайне сложно. Для примера я взял Adobe Photoshop. Данный графический редактор обладает гармоничным сочетанием функциональности и простоты использования для рядового пользователя, но в данной программе невозможно работать со сложными инструментами по обработке изображения (например, анализ изображения путём построения математической зависимости (функции) или же интегральной обработкой изображений);
• высокой стоимостью профессиональных программ обработки визуальной информации. Если программное обеспечение качественно, то цена на него крайне высока, вплоть до отдельных функции того или иного набора программ. На графике ниже представлена зависимость цены/качества простых аналогов программы.

Для упрощения решения задач данного типа, мною была разработана математическая модель и написана программа для ЭВМ устройства по анализу изображения при помощи простейших преобразований исходных изображений.

Программа работает с преобразованиями типа бинаризации, яркости, контраста изображения и т.д. Принцип действия программы продемонстрирован на примере анализа сверхпроводящих материалов.

При создании композиционных сверхпроводников на основе Nb3Sn варьируется объемное соотношение бронзы и ниобия, размер и количество волокон в нем, равномерность их распределения по сечению бронзовой матрицы, наличие диффузионных барьеров и стабилизирующих материалов. При заданной объемной доле ниобия в проводнике увеличение количества волокон приводит, соответственно, к уменьшению их диаметра. Это ведет к заметному возрастанию поверхности взаимодействия Nb / Cu-Sn, что в значительной степени ускоряет процесс нарастания сверхпроводящей фазы. Такое увеличение количества сверхпроводящей фазы при повышении числа волокон в проводнике обеспечивает возрастание критических характеристик сверхпроводника. В связи с этим необходимо наличие инструмента для контроля объемной доли сверхпроводящей фазы в конечном продукте (композиционном сверхпроводнике).

При создании программы учитывалась важность проведения исследований материалов, из которых создаётся сверхпроводящие кабели, так как при неправильном соотношении ниобия к бронзе возможен взрыв проводов, а, следовательно, людские жертвы, денежные затраты и потеря времени. Данная программа позволяет определить качество проводов на основе химическо физического анализа объекта.

Блок-диаграмма программы


Описание этапов исследования.

1 этап. Пробоподготовка: резка композиционного сверхпроводника на электроэрозионном станке; запрессовка образца в пластмассовую матрицу; полировка образца до зеркального состояния; травление образца для выделения волокон ниобия на бронзовой матрице. Получены образцы запрессованных композиционных сверхпроводниковых образцов;

2 этап. Получение изображений: получение металлографических изображений на сканирующем электронном микроскопе.

3 этап. Обработка изображений: создание инструмента для определения объемной доли сверхпроводящей фазы на металлографическом изображении; набор статистически значимых данных на конкретном типе образцов. Созданы математические модели различных инструментов по обработке изображений; создана программная разработка для оценки объемной доли сверхпроводящий фазы; программа была облегчена путём соединения нескольких математических функций в одну; было получено среднее значение объемной доли волокон ниобия в бронзовой матрице 24.7±0,1 %. Низкий процент отклонения свидетельствует о высокой повторяемости структуры композиционного провода.

Электронномикроскопическое изображения композиционных сверхпроводников

Методы обработки изображений в программе.

• Идентификация - распознается индивидуальный экземпляр объекта, принадлежащего к какому-либо классу.
• Бинаризация – процесс перевода цветного (или в градациях серого) изображения в двухцветное черно-белое.
• Сегментация - это процесс разделения цифрового изображения на несколько сегментов (множество пикселей, также называемых суперпикселями).
• Эрозия – сложный процесс, при выполнении которого структурный элемент проходит по всем пикселам изображения. Если в некоторой позиции каждый единичный пиксел структурного элемента совпадет с единичным пикселом бинарного изображения, то выполняется логическое сложение центрального пиксела структурного элемента с соответствующим пикселом выходного изображения.
• Дилатация - свертка изображения или выделенной области изображения с некоторым ядром. Ядро может иметь произвольную форму и размер. При этом в ядре выделяется единственная ведущая позиция, которая совмещается с текущим пикселем при вычислении свертки.

Формулы работы программы

Формула бинаризации (метод Оцу):

Формула эрозии:

Формула дилатации:

Схема дилатации и эрозии

Формулы сегментации порогами цвета:

Определение модуля градиента яркости для каждого пикселя изображения:

Вычисление порога:

Использованное оборудование

Интерфейс программы

В мире очень много вещей, за которыми человеческий глаз просто не успевает следить. Например, в конвейерной технологии ошибки происходят именно из-за человеческого фактора. Человек просто не в состоянии трезво оценивать предметы после нескольких часов работы. Для этого отлично приспособлены роботы. С помощью машинного зрения они могут сделать детальную проверку продукта, сравнить с образцом и моментально принять решение о дальнейшей обработке изделия.

Как работает машинное зрение?

Машинное зрение - это способность компьютера «видеть». Система машинного зрения использует одну или несколько видеокамер, устройство аналого-цифрового преобразования (АЦП) и цифровой обработки сигналов (ЦОС). Полученные данные поступают в компьютер или робота-контроллера. По степени сложности машинное зрение похоже на распознавание голоса.

Двумя важными характеристиками в любой такой системе являются чувствительность и разрешение. Чувствительность - это способность машины видеть в тусклом свете или различать слабые импульсы в спектре невидимых длин волн.Разрешение - это степень, с которой система различает объекты. Чувствительность и разрешение являются взаимозависимыми параметрами. При увеличении чувствительности, разрешение, как правило, уменьшается, и наоборот, хотя все остальные факторы обычно остаются при этом неизменными.

Человеческие глаза могут различать электромагнитные волны с длиной волны, находящейся в диапазоне от 390 до 770 нанометров. У видеокамер этот диапазон значительно шире, чем это.Например, есть системы машинного зрения, которые могут видеть в инфракрасной, ультрафиолетовой и рентгеновской областях длин волн.

Машинное зрение используется в различных промышленных и медицинских областях:

Компонентный анализ

Идентификация подписи

Оптическое распознавание символов

Распознавание почерка

Распознавание объектов

Распознавание образов

Контроль материалов

Контроль валюты

Медицинский анализ изображения

Машинное зрение - это применение компьютерного зрения для промышленности и производства. В то время как компьютерное зрение - это общий набор методов, позволяющих компьютерам видеть, областью интереса машинного зрения, как инженерного направления, являются цифровые устройства ввода-вывода и компьютерные сети, предназначенные для контроля производственного оборудования, таких как роботы-манипуляторы или аппараты для извлечения бракованной продукции. Машинное зрение является подразделом инженерии, связанное с вычислительной техникой, оптикой, машиностроением и промышленной автоматизацией. Одним из наиболее распространенных приложений машинного зрения - инспекции промышленных товаров, таких как полупроводниковые чипы, автомобили, продукты питания и лекарственные препараты. Люди, работавшие на сборочных линиях, осматривали части продукции, делая выводы о качестве исполнения. Системы машинного зрения для этих целей используют цифровые и интеллектуальные камеры, а также программное обеспечение обрабатывающее изображение для выполнения аналогичных проверок.

Системы машинного зрения запрограммированы для выполнения узкоспециализированных задач, таких как подсчет объектов на конвейере, чтение серийных номеров или поиск поверхностных дефектов. Польза системы визуальной инспекции на основе машинного зрения заключается в высокой скорости работы с увеличением оборота, возможности 24-часовой работы и точности повторяемых измерений. Так же преимущество машин перед людьми заключается в отсутствии утомляемости, болезней или невнимательности. Тем не менее, люди обладают тонким восприятием в течение короткого периода и большей гибкостью в классификации и адаптации к поиску новых дефектов.

Компьютеры не могут «видеть» таким же образом, как это делает человек. Фотокамеры не эквивалентны системе зрения человека, и в то время как люди могут опираться на догадки и предположения, системы машинного зрения должны «видеть» путём изучения отдельных пикселей изображения, обрабатывая их и пытаясь сделать выводы с помощью базы знаний и набора функций таких, как устройство распознавания образов. Хотя некоторые алгоритмы машинного зрения были разработаны, чтобы имитировать зрительное восприятие человека, большое количество уникальных методов были разработаны для обработки изображений и определения соответствующих свойств изображения.

Применение машинного зрения

Применение машинного зрения разнообразно, оно охватывает различные области деятельности, включая, но не ограничиваясь следующими:

Крупное промышленное производство

Ускоренное производство уникальных продуктов

Системы безопасности в промышленных условиях

Контроль предварительно изготовленных объектов (например, контроль качества, исследование допущенных ошибок)

Системы визуального контроля и управления (учет, считывание штрих-кодов)

Контроль автоматизированных транспортных средств

Контроль качества и инспекция продуктов питания

В автомобильной промышленности системы машинного зрения используются в качестве руководства для промышленных роботов, а также для проверки поверхности окрашенного автомобиля, сварных швов, блоков цилиндров и многих других компонентов на наличие дефектов.

Казалось бы, все компьютеры одинаковые и могут решать любые задачи. Но это не совсем так. Еще в прошлом веке в компьютерной индустрии стало активно развиваться направление промышленных компьютеров, отличающихся от «офисных» собратьев более компактным и прочным механическим конструктивом, широкими возможностями расширения (платы ввода/вывода сигналов) и длительным сроком жизни систем и компонентов, их составляющих. С течением времени произошла более глубокая специализация, выделились линейки промышленных компьютеров для конкретных прикладных областей - так, для эффективного решения проблем машинного зрения появились компьютеры с дополнительными функциями, значительно облегчающими задачи инженерам-разработчикам и повышающими эксплуатационные характеристики системы (рис. 1).

Рис. 1. Классификация компьютеров

Вот лишь неполный список требований для работы в приложениях машинного зрения и видеонаблюдения, которым должно соответствовать оборудование:

• соответствующие международным стандартам высокопроизводительные интерфейсы для подключения камер GigE/PoE и USB3, слот расширения для установки фреймграббера CameraLink или CoaXpress;
• широкий выбор процессоров достаточной мощности с графическими сопроцессорами и высоко­производительными наборами микросхем (chipset), способными обрабатывать большие потоки данных;
• цифровые, легко программируемые линии для подключения датчиков и синхронизации камер и осветителей;
• установка нескольких, в том числе быстросъемных, накопителей, организация RAID-массивов для высокоскоростной записи видеопотоков и хранения больших объемов данных;
• промышленные интерфейсы для подключения внешних устройств: RS-232/485, CAN;
• прочный компактный механический конструктив с минимумом подвижных компонентов, для обеспечения надежной работы и длительного срока службы в сложных условиях эксплуатации.

Очевидно, что в большинстве промышленных, а тем более в офисных компьютерах многие из этих функций избыточны, но в системах машинного зрения они являются определяющими.

Одним из представителей данного направления в компьютерной индустрии стала компания Neousys Technologies (Тайвань), продукция которой с самого начала была предназначена для работы с камерами машинного зрения и видеонаблюдения. Для того чтобы более подробно ознакомиться с особенностями вычислительных платформ для различных приложений, определим основные области применения современных цифровых видеокамер. Итак, можно выделить несколько групп приложений:

• промышленные системы машинного зрения;
• системы распознавания;
• интеллектуальные системы управления движением (ITS);
• мобильные системы на транспорте.

Теперь рассмотрим требования к вычислительной системе в каждом случае.

Промышленные системы машинного зрения

Промышленные системы машинного зрения, пожалуй, самый разно­образный по количеству и типу задач класс систем. Тем не менее, можно выделить важные особенности:

• возможность подключения нескольких камер;
• высокая скорость регистрации, до нескольких сот кадров в секунду;
• богатый функционал управления настройками камер и подсветки;
• широкие возможности синхронизации с датчиками;
• значительные объемы накопителей для архивации данных.

Поскольку в большинстве случаев камера расположена рядом с компьютером, хорошим выбором для ее подключения будет USB3-интерфейс. Он обеспечит и питание камеры, и возможность захвата изображений с высокой скоростью и разрешением (FullHD - более 150 кадр/с).

Рис. 2. Компьютер из линейки РОС-200

С задачами начального уровня вполне справятся компьютеры на базе современного четырехъядерного процессора Atom E3845, оснащенного, помимо всего прочего, достаточно мощным графическим сопроцессором и аппаратным кодеком. В линейке Neousys это ставшая бестселлером серия POC-200 (рис. 2). В распоряжении разработчика два GigE/PoE-интерфейса и три высоко­скоростных USB3. В компактный корпус может быть установлен (а при необходимости легко заменен) SATA HDD/SDD-накопитель стандартного 2,5” формата. Для подключения внешних устройств предусмотрена пара универсальных портов RS-232/485 в дополнение к двум стандартным RS-232. И наконец, несколько быстрых, легко программируемых цифровых линий для подключения кнопок управления, датчиков и выдачи сигналов, например на отбраковку или сигнальную колонну. Все это упаковано в компактном корпусе в четверть листа A4, выдерживающем нагрузки до 5 Grms/500 Гц с рабочим диапазоном температур от –25 °С (по заказу от –45 °С).

Рис. 3. Компьютер Nuvo 5000

Особенность всех компьютеров Neousys - наличие солидного радиатора как составной части корпуса, что стало следствием безвентиляторной (fanless) конструкции машины. Процессор в буквальном смысле приклеен к мощному радиатору. Этот подход хоть и влечет за собой некоторое увеличение массы и габаритов изделия, но является результатом серьезной инженерной проработки для достижения долговечности и механической прочности за счет отсутствия вращающихся компонентов, которые становятся одной из наиболее вероятных причин отказа техники. Нельзя не отметить, что разработчики компьютеров Neousys, помимо чисто инженерных задач, сумели создать изделие с привлекательным промышленным дизайном.

Рис. 4. Компьютеры из серии Nuvo-6000

Neousys Technologies научилась обходиться без вентиляторов не только в системах с младшими процессорами Intel Atom и Celeron, но и с вычислителями верхнего эшелона - i5/i7 шестого поколения Skylake. Сегодня флагман компании, серия компьютеров Nuvo 5000, удостоенный награды специализированного издания Vision Systems Innovators Awards 2016, способен решать самые сложные задачи машинного зрения. Оснащенный мощными процессорами компьютер Nuvo-5000 (рис. 3) сохраняет и развивает выдающиеся способности младших линеек. В увеличившемся, но, тем не менее, оставшимся компактным корпусе можно разместить уже два 2,5” накопителя и организовать их в массив RAID 0/1, оснастив один из накопителей разъемом для горячей замены. Количество портов для подключения камер легко увеличивается до 10. Запатентованная технология MezIO предлагает гибкой механизм расширения возможностей ввода/вывода сигналов управления, индикации и промышленных коммуникационных интерфейсов.

Рис. 5. Отсек расширения для установки двух или шести слотов расширения (серия Nuvo-6000)

В ряде случаев, помимо собственно машинного зрения, компьютеры должны решать задачи классической промышленной автоматики. Ключевым моментом тут становится наличие слотов расширения PCI/PCIe. Для таких приложений лучший вариант - компьютеры серии Nuvo-6000 (рис. 4). Оставаясь по-прежнему надежным компактным безвентиляторным компьютером, машина дополнена отсеком с двумя или шестью слотами расширения (рис. 5). В отсеке установлен вентилятор и система управления для создания комфортных условий работы встраиваемых плат ввода/вывода.

Системы распознавания

Рис. 6. Компьютер Nuvo-5095

Для ответа на вызовы нынешнего дня создаются все более совершенные системы безопасности, в которых ключевым элементом становятся алгоритмы распознавания. Помимо систем безопасности, эти технологии находят применение в коммерческих проектах, например для изучения демографического состава покупателей в торговле, сортировки отходов и других применениях. Современные камеры машинного зрения позволяют получать изображения все большего разрешения и лучшего качества. Разрешение FullHD (2 Мп) распространено в массовом сегменте, 4K (12 Мп) пробует себя в наиболее сложных задачах. Нужно отметить, что объем обрабатываемых данных растет в геометрической прогрессии. Для самых требовательных к вычислительным способностям приложений предлагается адаптированная для установки графических ускорителей nVidia версия компьютера Nuvo-5095 (рис. 6). Но тут уже без вентилятора для nVidia GeForce GTX 950 или GTX 1050, установленного в кассету расширения компьютера, не обойтись. При этом центральный процессор по-прежнему довольствуется пассивным радиатором. В комплексе система с уникальным графическим CUDA-сопроцессором сохранила работоспособность в диапазоне температуры окружающего воздуха от –25 до +60 °С (процессоры i7-6700TE, i5-6500TE, 35ВтTDP).

Интеллектуальные системы управления трафиком ITS

Интеллектуальные системы управления трафиком, в частности устанавливаемые на нагруженном перекрестке, - пожалуй, самые взыскательные к количеству подключаемых камер. Необходимо в одном месте получать и обрабатывать изображения, переданные с нескольких точек обзора. Задачу инсталляторам упрощает промышленный компьютер с б?льшим, чем обычно, количеством портов для подключения камер. Обычно в подобных системах используются камеры с интерфейсом Ethernet/PoE. В линейке Neousys представлена отвечающая таким требованиям модель Nuvo-3616, которая оснащена 16 (!) портами IEEE 802.3at PoE+, четырьмя накопителями с возможностью быстрой замены и организации массивов RAID 0/1/5/10 емкостью до 8 Тбайт.

Мобильные системы на транспорте

Рис. 7. Компьютеры, предназначенные для работы в транспортных средствах: Nuvo-5100VTC и Nuvo-2500 (на ближнем плане)

Современные транспортные средства, особенно коммерческого назначения, будь то грузовик, трактор, комбайн или локомотив, сегодня массово оснащаются компьютеризированными комплексами, призванными повысить безопасность и эффективность их работы. Помимо уже описанных функций, компьютерные платформы, предназначенные для работы на транспорте, должны отвечать еще более жестким требованиям и иметь дополнительные интерфейсы. Специально для таких применений создана версия компьютера Neousys 5100VTC (рис. 7). Она успешно прошла международную сертификацию для применения на железнодорожном транспорте EN 50155. В дополнение к стандартным функциям компьютеров серии Nuvo-5000, она оснащена интерфейсом для контроля цепи зажигания и CAN, что упрощает ее установку в современный автомобиль. Специальная версия Ethernet-разъемов M12 повышает надежность присоединения кабелей от камер в условиях тряски. Дополнительные слоты miniPCI предназначены для установки модулей системы географической локации GPS/GLONASS и сотовой связи 3G/4G с удобным внешним гнездом для SIM-карты.

Для автомобильных систем с более скромными требованиями к вычислительным способностям платформы отлично подойдет компактная версия компьютера с контролем зажигания и CAN-интерфейсом - Nuvo-2500 на базе достаточно мощного четырехъядерного процессора Atom 3845.

В заключение можно отметить, что выбор правильной платформы, содержащей все необходимые компоненты для приложения машинного зрения, в значительной степени определяет ее эксплуатационные характеристики и надежность выполнения алгоритмов обработки изображений. И если для создания математической начинки вполне подойдут офисные компьютеры, то при внедрении систем в эксплуатацию необходимо самым тщательным образом подойти к выбору вычислительной платформы, чтобы инвестиции в разработку программного обеспечения не оказались напрасными.