Обзор и анализ систем распознавания номерных знаков

Предлагаем статью на тему: "обзор и анализ систем распознавания номерных знаков" с комментарием от профессионального юриста.

ОБЗОР И АНАЛИЗ СИСТЕМ РАСПОЗНАВАНИЯ НОМЕРНЫХ ЗНАКОВ

1 УДК Д. Г. Черкашинин ОБЗОР И АНАЛИЗ СИСТЕМ РАСПОЗНАВАНИЯ НОМЕРНЫХ ЗНАКОВ Из-за роста числа транспортных средств возникает потребность обеспечения безопасности автовладельцев. Для этого разработаны системы «считывания» номерных знаков, с помощью которых определяется зарегистрированный данный вид транспорта. Они успешно применяются практически во всех сферах, так или иначе связанных с автомобилем. Работа выполнена под руководством д-ра техн. наук, профессора ФГБОУ ВПО «ТГТУ» А. В. Богословского. 48

3 1. Технические характеристики систем Технические характеристики Номер» Инспектор» Интеллект» «Штрих-М» Вероятность распознавания: в дневное время более 95% 95% 90% 90% в ночное время 90% 95% 90% 90% Максимально допустимая скорость движения ТС в зоне контроля 150 км/ч до 180 км/ч до 150 км/ч до 150 км/ч Освещение в области номерного знака Угол наклона камеры: по вертикали до 30 до 40 до 30 до 30 по горизонтали до 30 до 30 до 30 до 30 Допустимый крен номерной пластины ±10 до 15 ±10 ±10 Теперь рассмотрим основные этапы систем распознавания автомобильных номеров. С разработанной технологией анализ видеоизображения проходит несколько этапов. На первом этапе происходит удаление в видеопотоке шумов, рисунков или иной графики с фона номерной пластины, устранение эффектов потери фокуса и неравномерного распределения яркости от источников света, которое обеспечивает высокую точность распознавания. На втором этапе выделяется область, потенциально содержащая номер, она осуществляется по результатам анализа видеоизображения на основе формы и масштабных характеристиках номерного знака. 50

Нет тематического видео для этой статьи.
Видео (кликните для воспроизведения).

5 Список литературы 1. Авто-Инспектор. Система распознавания автомобильных номеров [Электронный ресурс]. URL : auto/features. 2. Авто-Номер. Система распознавания государственных регистрационных знаков транспортных средств [Электронный ресурс]. URL : Кафедра «Радиотехника» ФГБОУ ВПО «ТГТУ»

Некоторые аспекты автоматического распознавания автомобильных номеров

Статья опубликована в журнале «Алгоритм Безопасности» №3 2010г.

При полном или частичном использовании материалов статьи ссылка на ЗАО «Нордавинд» обязательна.

В настоящее время в мире на дорогах находится более полумиллиарда автомобилей. Все эти транспортные средства имеют уникальный идентификационный номер в качестве основного опознавательного знака. Идентификационный номер транспортного средства фактически является регистрационным номером, дающим законное право на участие в дорожном движении.

Изображение - Обзор и анализ систем распознавания номерных знаков proxy?url=http%3A%2F%2Fnordavind.ru%2Fimages%2Fabout%2Farticles%2FLPR%2F01-road

Проблема идентификации автомобиля по регистрационному номерному знаку является важным аспектом контроля и обеспечения безопасности дорожного движения. Продукты, способные решать данную задачу, востребованы в самых различных сферах. Примером могут служить автотранспортные предприятия, автомобильные стоянки, гаражные кооперативы, коттеджные поселки, заправочные станции, пункты контроля въезда на территорию объекта и т.п.

Когда мы говорим о Системе автоматического распознавания номеров (License Plate Recognition, LPR), мы подразумеваем программный или аппаратно-программный комплекс, который реализует алгоритмы автоматического распознавания номерных знаков для регистрации событий, связанных с перемещением автомобилей, т.е. для автоматизации ввода данных и их последующей обработки. Строго говоря, LPR-система – это устройство, которое регистрирует проезд транспортного средства, считывает его регистрационный номер и выводит его в ASCII-систему обработки данных.

В настоящее время существует достаточно много LPR-систем с разным уровнем качества распознавания, быстродействия и спектром предоставляемых дополнительных функций. Продукты, обладающие высоким быстродействием и точностью распознавания, как правило, очень дороги. Их высокая стоимость не позволяет осуществить массовое внедрение. Рассмотрим общие принципы, положенные в основу распознавания автомобильных номеров, чтобы понять причины высокой стоимости таких систем.

Алгоритмы и технологии распознавания номерных знаков

Бесспорно, основой любой LPR-системы являются используемые алгоритмы распознавания. Квалификация разработчиков в области современной высшей математики, обработки изображений, программировании и технологиях оптимизации программ, а также наличие существенного опыты работы – все эти факторы определяют характеристики LPR-системы, такие как:

  • Вероятность распознавания;
  • Скорость обработки;
  • Способность распознавать различные типы номерных знаков;
  • Способность работать с изображениями различного качества

Распознавание государственных регистрационных знаков является нетривиальной задачей из области технического зрения и искусственного интеллекта. Используемые алгоритмы локализации номерного знака и его распознавания, как правило, являются коммерческой тайной и, естественно, не публикуются. Лишь немногие компании называют их типы и публикуют последовательность действий.

Нет тематического видео для этой статьи.
Видео (кликните для воспроизведения).

Рассмотрим работу LPR-системы на примере «ТелеВизард-АВТО», разработанной ЗАО «Нордавинд». Ниже последовательно приведены ключевые этапы распознавания автомобильного номера:

  1. Приведение исходного изображения к виду, который не зависит от условий регистрации изображения (степень освещенности, неравномерность распределения яркости от источников света, размытость, зашумленность и т.п.);
  2. Выделение на полученном изображении областей-кандидатов, потенциально содержащих пластину с номером;
  3. Проведение детального анализа областей-кандидатов на основе формального представления масштабных характеристик номерной пластины и сокращение пространства для дальнейшего поиска;
  4. Приведение к стандартному размеру графического изображения номерной пластины с коррекцией качества изображения;
  5. Предварительное определение типа номерной пластины (в привязке к действующим стандартам);
  6. Извлечение отдельных символов и их распознавание (анализ символов по ключевым характеристикам, независимым от масштаба, используемого шрифта, геометрических искажений и разрывов);
  7. Уточнение результатов распознавания на основе информации о типе номера и по результатам из предыдущих кадров.

Результатом работы алгоритма является информация о проезде транспортного средства, содержащая строку с распознанным номером, стоп-кадр с наилучшим изображением транспортного средства, информацией о времени проезда автомобиля и т.п.

Из представленной последовательности шагов видно, что исходные данные для распознавания номера не ограничиваются только визуальным изображением. В мире существует большое количество видов номерных знаков, различающихся:

  • Используемыми шрифтами (знаки с символами различного размера, латинские, кириллические и прочие шрифты);
  • Цветом фона и символов (черные символы на светлом фоне или белые символы на темном фоне);
  • Количеством строк в номере (однострочные, двух- и трехстрочные);
  • Наличием или отсутствием кода обозначения региона или специальной отметки и т.п.
Читайте так же:  Оформление доверенности на получение товара

Изображение - Обзор и анализ систем распознавания номерных знаков proxy?url=http%3A%2F%2Fnordavind.ru%2Fimages%2Fabout%2Farticles%2FLPR%2F02-plates

Учет этих различий в номерных знаках дает существенную «фору» тем разработчикам LPR-систем, которые используют эту дополнительную информацию в логике своих алгоритмов распознавания. Информация о структуре знака и его синтаксисе позволяет существенно повысить вероятность правильного распознавания, одновременно снижая требования к качеству алгоритмов извлечения и распознавания отдельных символов.

Технология оптического распознавания символов

Точность технологии оптического распознавания символов (Optical Character Recognition, OCR) вносит существенный вклад в качество работы LPR-системы в целом. Чтобы осознать сложность решаемой на этом этапе задачи, рассмотрим следующий простой пример. Допустим, в разрабатываемой LPR-системе требуется обеспечить вероятность правильного распознавания номерного знака на статическом изображении 95%. Определим, какова должна быть вероятность распознавания отдельного символа номера.

Пусть непосредственному распознаванию символов предшествуют три алгоритма:

  • Алгоритм, локализующий на изображении номерной знак. Вероятность PFindLP=98,5%;
  • Алгоритм предварительной обработки, нормализующий контраст и яркость, который корректирует изображение. Вероятность PPreprocessing=99,7%;
  • Алгоритм выделения символов, который отвечает за нахождение и выделение отдельных символов на знаке, и передачу их алгоритму распознавания символов. Вероятность PExtractSymbols=99,0%.

Полная вероятность правильного распознавания, в которой для достижения цели задействовано n алгоритмов, определяется формулой:

Изображение - Обзор и анализ систем распознавания номерных знаков proxy?url=http%3A%2F%2Fnordavind.ru%2Fimages%2Fabout%2Farticles%2FLPR%2F03-formula

Или, для наших условий:

Изображение - Обзор и анализ систем распознавания номерных знаков proxy?url=http%3A%2F%2Fnordavind.ru%2Fimages%2Fabout%2Farticles%2FLPR%2F04-formula

Отсюда нетрудно найти, что полная вероятность распознавания символов должна составлять не менее:

Изображение - Обзор и анализ систем распознавания номерных знаков proxy?url=http%3A%2F%2Fnordavind.ru%2Fimages%2Fabout%2Farticles%2FLPR%2F05-formula

Например, на основных российских государственных регистрационных знаках нового образца (с трехзначным кодом региона) 9 символов. Если общая точность оптического распознавания номерного знака должна быть не менее 97,7%, то точность распознавания отдельного символа должна быть не менее:

Изображение - Обзор и анализ систем распознавания номерных знаков proxy?url=http%3A%2F%2Fnordavind.ru%2Fimages%2Fabout%2Farticles%2FLPR%2F06-formula

Т.е. допускается, что из 1000 символов, поданных на вход OCR-модуля, только 3 может быть не распознано или распознано неверно!

Сегодня известно достаточно много OCR-методов. В качестве примера рассмотрим структурный метод распознавания скелетных образов, используемый в одном из решений ЗАО «Нордавинд». В структурных методах объект описывается как граф, узлами которого являются элементы входного объекта, а дугами – пространственные отношения между ними. Методы, реализующие подобный подход, обычно работают с векторными изображениями. Структурными элементами являются составляющие символ линии.

В первую очередь распознаваемый символ подвергается процедуре получения скелета, для чего может использоваться любой из общеизвестных алгоритмов, описанных в тематической литературе. Далее для каждой особой точки полученного скелетного представления символа вычисляется множество топологических признаков, основными из которых являются:

  • Нормированные координаты особой точки (вершина графа);
  • Длина ребра до следующей вершины в процентах от длины всего графа;
  • Нормированное направление из данной точки на следующую особую точку;
  • Нормированное направление входа в точку, выхода из точки;
  • Кривизна дуги, точнее «левая» и «правая» кривизна дуги, соединяющей особую точку со следующей вершиной (кривизна вычисляется как отношение максимального расстояния от точек дуги до прямой, соединяющей вершины, к длине отрезка, соединяющего те же вершины).

Изображение - Обзор и анализ систем распознавания номерных знаков proxy?url=http%3A%2F%2Fnordavind.ru%2Fimages%2Fabout%2Farticles%2FLPR%2F07-topology

На рисунке условно показаны некоторые из топологических признаков. Граф имеет пять особых точек – a0, a1, a2, a3, a4. При обходе графа по маршруту a0 → a1 → a2. в вершине a1 условно показаны следующие признаки: вектор R1 – направление входа в точку, вектор R2 – направление выхода из точки, вектор R3 – глобальное направление на следующую особую точку. Двунаправленный вектор h показывает величину «левого» отклонения дуги (a1,a2) от прямой; «правое» отклонение равно нулю.

Для некоторых кодов число особых точек и, соответственно, число топологических признаков слишком мало. Так, для кода, соответствующего символу «0», топологических признаков вообще нет, т.к. нет ни одной особой точки. Поэтому могут вычисляться и использоваться следующие дополнительные признаки:

  • Размеры и положение компонент и «дыр»;
  • «Черная» и «белая» ширина верхней половины символа;
  • Модифицированные прямые прогибы.

Прогибы вычисляются как расстояния от точек скелетного представления до выпуклой оболочки построенного представления. Дополнительно запоминается положение точек максимального прогиба. Для некоторых топологических кодов число топологических признаков может быть достаточно велико, что может потребовать слишком большого набора эталонов для обучения, поэтому в ряде случаев в распознавании используется только часть признаков.

Символ определяется после сравнения его описания с кодами из базы данных, при этом выбирается самый близкий топологический код.

Если символ после прохода цикла распознавания остался нераспознанным, делается попытка улучшения изображения с помощью следующих операций:

  • Склеивание концов линий по направлениям;
  • Склеивание точек скелета, находящихся на минимальном расстоянии одна от другой;
  • Отбрасывание самой короткой линии.

Изображение - Обзор и анализ систем распознавания номерных знаков proxy?url=http%3A%2F%2Fnordavind.ru%2Fimages%2Fabout%2Farticles%2FLPR%2F08-closing

Попытка улучшения изображения символа. а) исходное изображение символа; б) символ со склеенными линиями.

Рассмотренный метод не является оптимальным. К его недостаткам следует отнести высокую чувствительность к дефектам изображения, нарушающим составляющие элементы. Также векторизация может добавить дополнительные дефекты. Кроме того, для этих методов (в отличие от шаблонных и признаковых методов) до сих пор не созданы эффективные автоматизированные процедуры обучения, поэтому структурные описания чаще всего приходиться создавать вручную.

В реальных LPR-системах зачастую используются комплексные OCR-алгоритмы, которые представляют собой синтез нескольких методов. Из представленного описания видно, что эффективная работа OCR-алгоритма существенным образом зависит от качества изображения, подаваемого на вход.

Что подразумевается под хорошим качеством изображения?

Технология получения изображения определяет среднее качество изображения, над которым алгоритму распознавания придется работать. Очевидно, чем выше качество изображения, тем в лучших условиях работает алгоритм распознавания номеров, и тем большая точность может быть достигнута LPR-системой.

Читайте так же:  Допустимые сроки выплаты алиментов

Чтобы получить хорошие результаты от алгоритма распознавания номеров, обработанные изображения должны содержать в себе номерные знаки:

  • С приемлемо хорошим пространственным разрешением;
  • С приемлемо высокой четкостью;
  • С приемлемо высоким контрастом;
  • В приемлемо хороших условиях освещения;
  • В приемлемо хорошей позиции и под правильным углом.

Конечно, «приемлемо» достаточно условное определение, хотя оно имеет вполне точное значение. Вот некоторые типичные проблемные изображения:

Изображение - Обзор и анализ систем распознавания номерных знаков proxy?url=https%3A%2F%2Fpandia.ru%2Fuser%2Fcontent%2Fuser%2F209969%2Fphoto%2Ftb%2F149807500713v118

РАСПОЗНАВАНИЕ АВТОМОБИЛЬНЫХ НОМЕРОВ

Технология распознавания автомобильных номеров давно перестала быть экзотикой и постепенно становится частью нашей будничной жизни, так же, как когда-то это произошло с автомобилем. Постоянно растущее число транспортных средств требует от разработчиков эффективных решений для обеспечения безопасности и комфорта автовладельцев. Одним из результатов интенсивных исследований в этой области стали современные интеллектуальные системы для «считывания» номерных знаков, которые могут успешно применяться практически во всех сферах, так или иначе связанных с автотранспортом.

Актуальной задачей, решаемой с помощью систем считывания государственных регистрационных знаков, является мониторинг дорожно-транспортной обстановки. Интеграция систем распознавания с комплексами видеофиксации нарушений ПДД обеспечивает надежный контроль над транспортными магистралями: идентификация нарушителей по номеру позволяет автоматически подготавливать квитанции для оплаты штрафов, а также выявлять в потоке автомобили, представляющие интерес для правоохранительных органов (например, находящиеся в розыске).

Обзор систем распознавания автомобильных номеров

Система «Авто-Номер» [2] предназначена для получения данных с камер видеонаблюдения, распознавания регистрационных знаков транспортных средств и, при необходимости, передачи информации во внешние системы. Она может быть использована как отдельное приложение или интегрирована с другими установленными комплексами безопасности.

«Авто-Номер» построена на базе SDK «Авто-Контроль» и имеет две разновидности. Потоковая версия системы обеспечивает распознавание номерных знаков при скорости движения автомобилей в зоне контроля до 150 км/ч. Такой вариант «Авто-Номера» предназначен для использования совместно с комплексами мониторинга дорожно-транспортной обстановки.

Для паркинговой версии системы максимальная скорость движения транспортных средств составляет 20 км/ч. Паркинговый «Авто-Номер» удобно использовать для фиксации номерных знаков проезжающих автомобилей на стоянках, парковках и контрольно-пропускных пунктах предприятий.

Основные возможности системы:

ü Распознавание регистрационных знаков не только на «живых» данных с видеокамеры, но и видеофайлах различного формата (режим эмуляции).

ü Получение видеопотока с любых плат видеозахвата, для работы с которыми используются WDM-драйверы.

ü Многоканальный режим функционирования.

ü Сохранение стоп-кадров и видеозаписей проезда автомобилей по детектору движения.

ü Сохранение и передача во внешние системы данных о распознанном регистрационном знаке, дате и времени проезда, направлении движения.

ü Трансляция получаемых видеопотоков по локальной сети.

Изображение - Обзор и анализ систем распознавания номерных знаков proxy?url=https%3A%2F%2Fpandia.ru%2Ftext%2F78%2F392%2Fimages%2Fimage001_122

Рисунок 1 – Система «Авто-Номер»

Система “Авто-Инспектор” [1] – программно-аппаратный комплекс, обеспечивающий распознавание номеров движущихся автомобилей, надежно работающий в широком диапазоне внешних условий, легко интегрируемый с охранным оборудованием, исполнительными устройствами и внешними базами данных. Эффективен для решения задач регистрации, идентификации и обеспечения безопасности автомобилей, контроля транспортных потоков.

В системе «Авто-Инспектор» реализованы функциональные возможности необходимые для эффективного решения задач на различных объектах: от обеспечения сохранности автомобилей в пределах автостоянки до контроля за передвижением транспорта в масштабах предприятия, отдельной магистрали, целого города. Высокие технические характеристики системы гарантируют надежную работу в широком диапазоне внешних условий.

Изображение - Обзор и анализ систем распознавания номерных знаков proxy?url=https%3A%2F%2Fpandia.ru%2Ftext%2F78%2F392%2Fimages%2Fimage002_69

Рисунок 2 – Система «Авто-инспектор»

Существующие на данный момент системы распознавания номеров обладают широким перечнем возможностей. Но кроме преимуществ у них есть также и недостатки. В одной из описанных систем накладываются ограничения на характеристики изображения (размер и яркость). Основным недостатком всех подобных систем является их дороговизна. Было принято решение разработать свою систему распознавания государственных регистрационных знаков транспортных средств с устранением последнего недостатка.

Описание алгоритма распознавания номерных знаков

Процесс распознавания номерного знака состоит из нескольких этапов:

1 выделение номерной пластины в кадре;

2 наложение сетки на выделенную область;

3 распознавание текста.

На первом этапе работы алгоритма происходит выделение номерной пластины в кадре. Для этого используется особенность номерного знака, которая заключается в резких скачках яркости от белого к черному. Строится график зависимости яркости от координаты изображения – Х. Номерная пластина будет находиться в области, где на графике наблюдаются резкие выбросы.

Для построения графика яркости производится построчное сканирование изображения. По полученным результатам строится функция зависимости яркости изображения от координаты (1).

Библиотеки для автоматического распознавания номеров авто и их практическое использование

Изображение - Обзор и анализ систем распознавания номерных знаков proxy?url=https%3A%2F%2Fdw1.s81c.com%2Fdeveloperworks%2Fi%2Fv18%2Farticle%2Fdw-author

В настоящее время существует тенденция сокращения расходов автотранспортных предприятий и предприятий, сфера деятельности которых связана с охраной и безопасностью. Достигается это в том числе и путем внедрения современных информационных систем. Одной из таких систем является система автоматического распознавания номеров авто (ANPR).

Помимо платных программ, предназначенных для распознавания автомобильных номеров, существуют бесплатные программы и библиотеки, которые не уступают платным аналогам в плане функционала. В данной работе мы рассмотрим существующие библиотеки для анализа изображений и их работу на конкретном примере.

Обзор существующих библиотек для распознавания номеров авто

Поиск в сети показал, что существуют несколько свободных проектов библиотек для распознавания номеров авто реализованных для разных языков программирования.

Существует так же еще несколько проектов в сети в той или иной степени законченности. Многие из них так или иначе используют библиотеку компьютерного зрения opencv и библиотеку tesseract OCR. Хотя некоторые библиотеки используют свой алгоритм распознавания символов – например, JavaANPR. Как правило, эти алгоритмы основаны на нейронных сетях, либо на анализе контуров символов. Стоит отметить, что алгоритмы, основанные на нейронных сетях бывают чувствительны к выбору шрифта. Самым эффективным решением, очевидно, было бы использование в своем проекте библиотеки opencv для локализации номера и библиотеки Tesseract OCR для распознавания номера. Этот подход позволит наиболее гибко использовать весь потенциал этих библиотек. Opencv написана на C и хорошо оптимизирована для использования в системах реального времени. Tesseract OCR в настоящее время является лучшей открытой библиотекой для распознавания символов, обладает хорошей скоростью работы и хорошо документирована.

Читайте так же:  Лицензирование фармацевтической деятельности

В качестве среды разработки выберем библиотеку Qt и среду разработки Qt Creator для OS Windows 7. А в качестве компилятора выберем компилятор mingw, который идет в комплекте с бесплатной средой разработки Qt Creator. Версия библиотеки opencv, используемая в данной статье – 2.4.2. Версия библиотеки Tesseract OCR – 3.02.

Установка необходимых библиотек и настройка проекта

Для начала установим последнюю версию среды разработки Qt со всеми библиотеками. В комплекте уже идут скомпилированные библиотеки для компилятора mingw. Используемая в данном проекте версия библиотек Qt – 4.8.2.

Библиотеку opencv можно скачать с официального сайта – http://opencv.org/downloads.html . Распаковываем библиотеку в папку на диске, например, C:opencv24.

Библиотеку Tesseract OCR 3.02 можно скачать из svn репозитория в виде исходного кода, выполнив команду svn checkout http://tesseract-ocr.googlecode.com/svn/trunk/ tesseract-ocr-read-only . Для этого сначала необходимо установить SVN клиент. Получив исходники, компилируем их, как это показано здесь http://www.sk-spell.sk.cx/compiling-leptonica-and-tesseract-ocr-with-mingwmsys . Стоит отметить очень важный момент, а именно – версию библиотеки 3.02 удалось собрать лишь динамически. Статическая сборка отказалась работать.

После установки библиотек создаем проект Qt. В файле pro прописываем пути до заголовочных файлов и библиотек. К примеру, у меня это выглядит так:

Реализация алгоритма локализации автомобильного номера и его распознавания

Существует несколько подходов к локализации автомобильного номера. Один из них это анализ гистограммы картинки и выявление контрастных областей. Однако, в случае если автомобиль покрашен яркой краской или в условиях плохого освещения этот алгоритм не работает. Поэтому мы используем более ресурсоемкий, но при этом более надежный алгоритм поиска ограничивающего номер прямоугольника. Для этого возьмем пример, который поставляется с opencv findSquares и изменим его для наших нужд. Алгоритм ищет прямоугольники на картинке, затем отсекает ненужные. Критерием отсеивания будет соотношение сторон авто номера, а так же его наполненность черными пикселями после процедуры бинаризации. Как показывает практика, хорошо работает уже первый критерий, поэтому оставим только его. Процедура бинаризации переводит изображение из серого в черно-белое. Делается это в связи с тем, что многие алгоритмы компьютерного зрения адаптированы для работы с черно-белым изображением.

Загрузим тестовую картинку:

Далее запустим процедуру поиску прямоугольных областей:

После того, как мы найдем подходящий нам по критериям регион, нам необходимо передать его для анализа в библиотеку Tesseract OCR. На этом этапе мы столкнемся с проблемой шумов на картинке. Tesseract OCR очень чувствительна к шумам. А на полученном регионе обязательно будут присутствовать пятна. Для того, что бы избавится от них нам необходимо бинаризовать изображение номера и применить операции эрозии и дилатации. Операции эрозии и дилатации — это морфологические операции. Эрозия делает объекты более тонкими, а дилатация, напротив утолщает их. При этом в изображении убираются шумы и остаются лишь значимые детали. В нашем случае этими деталями будут символы автомобильного номера. Более подробно ознакомится с морфологическими операциями можно здесь: Математическая_морфология. Остановимся на это более подробно. Вот код, который делает вышеописанное:

txt – входное изображение номера авто.

Однако, даже после этих операций останутся пятна. Поэтому для надежного распознавания символов на картинке применим оператор Кэнни для поиска внешних контуров букв, найдем все буквы, вырежем их из изображения и передадим в Tesseract. Оператор Кэнни предназначен для поиска контуров изображения. Контуром объекта на изображении может быть область, где градиент яркости изменяется наиболее сильно. В нашем случае мы будет искать лишь внешние контуры символов. Более подробно об операторе Кэнни можно узнать здесь Оператор_Кэнни . В opencv для поиска контуров служит функция cvCanny.

Инициализация библиотеки Tesseract и ее настройка (важным моментом здесь является использование параметра PSM_SINGLE_CHAR , который указывает библиотеке, что мы будем распознавать по одному символу):

Далее – цикл по контурам и выбор букв из них

Этап распознавания символов и формирования строки:

Использование данных библиотек в системах реального времени

Для использование данных библиотек в системе видео наблюдения, необходимо добавить код для получения кадра видео из видео потока. Выглядит это так:

Получив кадр, мы распознаем его описанным выше алгоритмом.

Как показывают эксперименты, скорость обработки картинок связкой Opencv + Tesseract OCR достаточно высока. Это позволяет использовать данные библиотеки в системах распознавания номеров авто в режиме реального времени. Данный код абсолютно кроссплатформенный. Для построения интерфейса бала использована кроссплатформенная библиотека Qt и свободный компилятор mingw.

ОБЗОР И АНАЛИЗ СИСТЕМ РАСПОЗНАВАНИЯ НОМЕРНЫХ ЗНАКОВ

Ваш город: Москва

Системы безопасности, видеонаблюдение ОПС, GSM сигнализация, СКУД

Заказать обратный звонок

АВТОРИЗАЦИЯ НА САЙТЕ

  1. Статьи 
  2. Безопасность транспорта и парковок (статьи)
  3. Распознавание автомобильных номеров: зарубежный опыт.

Распознавание автомобильных номеров: зарубежный опыт.

Изображение - Обзор и анализ систем распознавания номерных знаков proxy?url=https%3A%2F%2Fwww.aktivsb.ru%2Fimages%2Fnew_images%2Fraspoznavanie_avto_num_1

О видеоаналитических системах, предназначенных для распознавания автомобильных номеров, сказано и написано очень много. Колоссальное общественное внимание в России было привлечено к недавно введенной практике применения системы распознавания автомобильных номеров и выставлению на основе данных этой системы штрафов за то или иное нарушение Правил дорожного движения. Рынок защиты автомобильных номеров от распознавания отреагировал, как всегда, чутко и оперативно, предложив потребителю большой ассортимент чудодейственных средств. Как обычно бывает при внедрении новых систем и практик, вопросов относительно юридической легитимности, технической достоверности и способах борьбы с этой системой больше, чем ответов.

Изображение - Обзор и анализ систем распознавания номерных знаков proxy?url=https%3A%2F%2Fwww.aktivsb.ru%2Fimages%2Fnew_images%2Fraspoznavanie_avto_num_2

Источник: Журнал ТЗ № 3 2011

Читайте так же:  Уведомление работнику о необходимости явиться за трудовой книжкой

До недавнего времени все фотопленки и изображения номерных знаков интерпретировались человеком. Однако, множество технологий, которые были разработаны во время холодной войны, теперь нашли свое применение в фотопромышленности. Компании и консультанты, которые перечислены ниже, в настоящее время активно предоставляют продукты для автоматизации этой функции.

По словам Lee J. Nelson, одного из ведущих консультантов в области распознавания регистрационных номеров, распознавание/идентификация регистрационных номеров (LPI/R) является одной из форм ITS технологии, которая не только распознает и считает количество транспортных средств, но и отличает каждое как уникальное. Для некоторых приложений, таких как устройства электронной платы за проезд, LPI/R-система записывает символы с номерных знаков владельцев транспортных средств, для которых могут быть составлены соответствующие квитанции. В других, таких как коммерческие операции или контроль доступа, номерной знак транспортного средства проверяется по базе данных для определения приемлемого условия прохождения транспортного средства на охраняемую территорию.

LPI/R может быть использована в вопросах нарушения скорости движения или просто дать водителям напоминание, показывая номерной знак со скоростью транспортного средства в виде некоторого сообщения. Это может способствовать прохождению тестирования записи буквенно-цифровой последовательности номерного знака во время автоматического анализа выхлопных стоков, или помочь идентифицировать и штрафовать нарушителей. LPI/R также может контролировать время, которое требуется транспортному средству для перемещения из одного пункта в другой, информировать центры управления движения сообщениями о мере оживленности на улицах и магистралях.

В международных пунктах пересечения границы, номерной знак – единственный универсальный идентификатор автомобиля, который может быть проверен по базе данных “горячих” автомобилей для поиска угнанных автомобилей и номерных знаков или лиц, зарегистрированных как беглецы, преступники, подозреваемые или контрабандисты.

Типичная LPI/R система состоит из подсистемы получения видеоизображения, центрального процессора для обработки изображений и управления аппаратной или программной реализации распознавания символов, а также хранения или передачи подсистемы электронной записи номера для содержания и данные, такие как дата, время и место.

Сердцем любой LPI/R системы является ее механизм распознавания и встроенный алгоритм. Важно понимать, что система решает, как код распознается. Пользователь, OEM, или интегратор принимает этот алгоритм вместе с системой. Общее представление о том, как система распознавания интерпретирует содержание образа, имеет центральное значение для подтверждения того, что общее “решение” может быть получено с помощью данного приложения.

Корреляция или шаблон в подходе к распознаванию символов является прямым методом и может быть надежным, если итоговая цель и приложение остаются неизменными. Как следует из названия, когда каждый символ распознается в отдельности, предпринимаются попытки сопоставить его с набором предопределенных стандартов. Любое условие – освещение, угол обзора, затемнение, размер плитки, шрифт – все, что вызывает отличие от стандарта, вероятно, приводят к сомнительному или ошибочному результату.

Структурный анализ использует дерево решений для оценки геометрических особенностей контура каждого изображения. Этот метод может быть несколько устойчив к изменениям в размерах, наклоне и перспективных искажениях. В качестве простого примера, рассмотрим символы B, D, 6 и 9. Отличия, которые могут быть использованы, чтобы характеризовать их, представляют число петель в каждом символе (одна или две) и вертикальное положение петли (верхнее, центральное и нижнее). Две петли приводят к символу B, одна петля приводит к следующей ветви дерева. Петли в верхней части указывают на 9; если петля является центральной – это D, и петли в нижней части изображения – 6. Символы без петель (E, M, N, тире и т.д.) требуют дополнительных затрат.

Нейронные сети обучаются на примере вместо того, чтобы быть запрограммированными в обычном смысле. Изучая повторяющиеся модели, сеть строит статистические модели, которые адаптируются к особенностям отдельных символов. Таким образом, нейронные сети, как правило, устойчивы к шуму, и производительность обычно не нарушается при изменении условий эксплуатации. Однако, для каждой модификации (например, новый шрифт), которая представлена в нейронной сети, могут потребоваться значительные затраты на переобучение.

Для оценки возможностей системы можно потребовать, чтобы данный алгоритм распознавания работал со стандартным набором символов при почти идеальных условиях испытаний. Это разумно, чтобы определить все факторы, которые могут влиять на выполнение алгоритма. Они включают в себя:

  • Скорость транспортного средства.
  • Объем потока транспортных средств.
  • Окружающее освещение (день, ночь, солнце, тень).
  • Погода.
  • Тип транспортного средства (легковой автомобиль, грузовик, тягач-прицеп и т.д.).
  • Монтаж печатных форм (только тыл или фасад и тыл).
  • Другие номера.
  • Государственные номера.
  • Номера на расстоянии.
  • Наклон номеров, поворот.
  • Интервал между транспортными средствами.
  • Наличие прицепа, декоративной рамки, или других факторов заслоняющих номер.

Покупатели должны понимать разницу между абсолютной идентификацией каждого символа и приложениями, регистрирующими нарушения правил дорожного движения. Степень компьютерной обработки, точность распознавания и внутренний контроль точности больше импортируется в предыдущий сценарий.

В настоящее время LPI/R системы базируются на управление запасами. Многие уже используются для наблюдения транспортных средств, мониторинга и происхождения, назначения съемки. В тех ситуациях, когда одна ошибка символа является менее значительной, чем в исполнении приложений. Проще для системы распознать весь номер – был ли он интерпретировано точно – чем для правильного определения каждого символа, снова и снова, при любых условиях эксплуатации. Очевидно, что система, предназначенная для автоматического выявления и штрафования нарушителя, должна быть достаточно точной, чтобы предотвратить законопослушных водителей от получения незаслуженного штрафа.

Определение точности системы AVI является сложным процессом и зависит от применения, условий эксплуатации и предположений, сделанных в ходе тестирования. При оценке системы важно, чтобы были использованы все эти критерии.

Читайте так же:  Какие бывают виды банкротства

Производительность системы трудно поддается количественной оценке. Заманчиво ожидать систему распознавания, которая должна быть совершенной, и взять на себя сто процентов точности в интерпретации содержания номерного знака. Однако, некоторые номера не могут быть прочитаны ни системой распознавания, ни глазом человека из-за грязи, плохого освещения, повреждения или затемнения. Поэтому не следует ждать от автоматизированной системы большой точности из-за ограничений.

Одним из способов измерения процента успешного распознавания системой номерных знаков является проверка человеком, смотрящим видеоизображение на мониторе. Если человек должен догадаться о том, какой там номерной знак, то, вероятно, что и система распознавания сделает также. Автоматизированная система имеет большую степень точности из-за того, что в ней не участвует человеческий фактор, а все решения принимаются исходя из алгоритма.

Система распознавания может определить только буквенно-цифровое содержание номерного знака. Успехи каждого шага, следовательно, должны быть вычислены по общей формуле:

Изображение - Обзор и анализ систем распознавания номерных знаков proxy?url=http%3A%2F%2Fwww.mallenom.ru%2Fimages%2Farticle008_1

Если интерпретация любого символа оценивается индивидуально, уравнение принимает вид:

Изображение - Обзор и анализ систем распознавания номерных знаков proxy?url=http%3A%2F%2Fwww.mallenom.ru%2Fimages%2Farticle008_2

Но в целом, точность системы не может быть экстраполирована непосредственно из отдельных символов. Например, предположим, система автоматически распознает и определяет десять тысяч номерных знаков с семи символов на каждом номере. В общей сложности – это семьдесят тысяч символов. Если система считывает первые шесть символов правильно на каждом номере, но пропускает последний символ на каждом номере, общая точность составит (60000 ÷ 70000) * 100, или 85,7 процента. Однако, используя уравнение 2, истинная точность системы в этом случае равна нулю.

Изображение - Обзор и анализ систем распознавания номерных знаков proxy?url=http%3A%2F%2Fwww.mallenom.ru%2Fimages%2Farticle008_3

Технические характеристики должны быть указаны тщательно, чтобы быть значимыми. Просто заявление, как “восемьдесят пять-девяносто процентов точных распознаваний” может таить в себе важные особенности, из-за чего распознавание будет давать ошибку. Чтобы избежать всевозможного рода ошибок, увеличивая тем самым процент точности, нужно учитывать множество факторов: освещенность, шумы и т.д. Обычно для разработчиков четко выделены время и деньги для подобного рода тестирований.

Разработчик должен точно определить, при каких условиях система будет давать правильный результат. Система может правильно определить девяносто пять процентов номера за определенное время в контролируемых условиях, но только на пятьдесят процентов времени в менее идеальных условиях. Разработчик также должен определить те состояния, в которых система дает неверный результат: провал может означать пропуск номера (не распознавание) или ошибка в интерпретации (идентификации) одного или более символов.

То, почему не удалось идентифицировать какой-то номер, зависит от приложения. Например, в контроле безопасного доступа, любой сбой системы был бы неприемлем, потому что можно распознать все что угодной (ложное срабатывание) или отказать в допуске к уполномоченному лицу. Регулируя порог, можно получать различные ошибки. Только на практике можно сказать, какой порог дает какого типа ошибку.

На примере контроля доступа, постобработка может компенсировать несовершенство интерпретации. После распознавания номера последовательность символов сравнивается с известными номерами в базе данных. Ошибка в один символ может быть незначительной.

Изображение - Обзор и анализ систем распознавания номерных знаков proxy?url=http%3A%2F%2Fwww.mallenom.ru%2Fimages%2Farticle008_4

Номер ABV 123

Изображение - Обзор и анализ систем распознавания номерных знаков proxy?url=http%3A%2F%2Fwww.mallenom.ru%2Fimages%2Farticle008_5

Сущность в базе данныхABV 123

Изображение - Обзор и анализ систем распознавания номерных знаков proxy?url=http%3A%2F%2Fwww.mallenom.ru%2Fimages%2Farticle008_6

Номер прочитан как ABW 123

Для конечной базы данных заполняется номер ABV 123, проектировщики должны учитывать вероятность столкновения истинного номера ABW 123 и значения признанного несанкционированным транспортным средством.

Компьютерные программы распознавания автомобильных номеров появились в 1980-х годах. В 1993 году LPI/R технологии сделали успешный переход от исследования к выходу на коммерческий рынок. Существует спрос и предложение, и все большое число разработчиков предоставляют готовые продукты покупателям.

LPI/R обладает большой значимостью среди правоохранительных органов коммерческого и частого сектора, Потенциальных пользователей будет смущать богатство AVI (автоматической идентификации транспортного средства), AVL (автоматическое определение местоположения транспортного средства), ETTM (электронный сбор платы за проезд и управление дорожным движением), и видеооборудование для установления нарушения (VES). Кроме того, новые проблемы, несомненно, будут найдены во все возрастающем разнообразии номеров, более мелкие буквы и цифры, декоративные шрифты.

Учитывая эти условия, производители используют творческий подход в решении проблемы:

Изображение - Обзор и анализ систем распознавания номерных знаков proxy?url=http%3A%2F%2Fwww.mallenom.ru%2Fimages%2Farticle008_7

Для номеров, где контраст переднего плана / фона делает даже трудной визуальную идентификацию, применяются 2 камеры, используя видимые и инфракрасные области электромагнитного спектра. Фильтрация соответствующих длин волн значительно улучшает читаемость символов для номеров.

Изображение - Обзор и анализ систем распознавания номерных знаков proxy?url=http%3A%2F%2Fwww.mallenom.ru%2Fimages%2Farticle008_8

Федеральные государственные номера не читаются обычными CCIR. Компьютерное распознавание Systems, Inc объединяется ультравысокой четкостью захвата изображения “фронт-энд”. В 1300 * 1030-пикселей, буквы и цифры могут быть получены с высокой четкостью.

Изображение - Обзор и анализ систем распознавания номерных знаков proxy?url=http%3A%2F%2Fwww.mallenom.ru%2Fimages%2Farticle008_9

Метод AutoVu Technologies не только читает алфавитно-цифровые номера, она анализирует весь номер и проверяет его по базе данных в поисках подходящих. Это может быть очень важным для того, чтобы определить штат – например, Штат Теннесси, который не всегда указан на номере.

Транспортные организации и правоохранительные органы, несомненно, получают выгоду от этой технологии, это может быть выявление каких-то правонарушений или получении информации о загруженности определенного транспортного узла, дороги. Это очень перспективное направление, и реализация этой технологии на международном рынке кажется очень привлекательным решением.

Изображение - Обзор и анализ систем распознавания номерных знаков 23423422330
Автор статьи: Виталий Потрясов

Позвольте представиться. Меня зовут Виталий. Я уже более 12 лет занимаюсь правоведением и юридическими наукам. Я считаю, что в настоящее время являюсь профессионалом в своей области и хочу помочь всем посетителям сайта решать разнообразные задачи. Все материалы для сайта собраны и тщательно переработаны для того чтобы донести в удобном виде всю нужную информацию. Однако чтобы применить все, описанное на сайте всегда необходима консультация с профессионалами.

Обо мнеОбратная связь
Оцените статью:
Оценка 5 проголосовавших: 6

ОСТАВЬТЕ ОТВЕТ

Please enter your comment!
Please enter your name here