Введение
Актуальность проблемы
Исследование Земли с использованием космических и авиационных систем наблюдения служит мощным инструментом в различных областях хозяйственной и научной деятельности. Возрастающие возможности бортовых оптических и радиолокационных сенсоров и увеличивающаяся пропускная способность каналов беспроводной связи приводят к постоянному росту объемов данных изображений, поступающих в наземные центры обработки. В этих условиях все более актуальной становится автоматизация, по крайней мере, части тех операций анализа и интерпретации аэрокосмических снимков, которые по сей день выполняются квалифицированными экспертами-дешифровщиками.
Одной из наиболее важных из подлежащих автоматизации операций представляется сопоставление (отождествление идентичных элементов) двух снимков, полученных с разных ракурсов, в разное время, возможно, разными типами сенсоров (инфракрасных, видимого диапазона, радиолокационных и других), поскольку эта операция зачастую предшествует выполнению других операций анализа аэрокосмических снимков. Такое сопоставление необходимо для записи снимков в единой системе координат (т.е. для их совмещения) с целью либо синтеза карт больших размеров на основе локальных снимков, либо дополнения информации, содержащейся в одном снимке, данными из других снимков того же фрагмента земной поверхности, либо выявления произошедших изменении. В практических задачах сопоставление зачастую требуется выполнять с высокой точностью.
В отличие от большинства классических задач автоматического анализа изображений в промышленной робототехнике, медицине, криминалистике, охранных системах и т.п. аэрокосмические видеоданные характеризуются значительно большей априорной неопределенностью. Эта неопределенность связана с сезонными и суточными изменениями наблюдаемых ландшафтов, специфическими отличиями изображений, сформированных различными
5
типами видеодатчиков, и огромным многообразием подлежащих автоматическому анализу и интерпретации сюжетов. При этом идентичность содержания одной и той же сцены, присутствующей на разных изображениях, сохраняется независимо от условий съемки.
Группой методов, позволяющих использовать содержательную идентичность изображений и преодолевать указанную априорную неопределенность при сопоставлении изображений, являются структурные методы анализа. Однако существовавшие на момент начала данной работы структурные методы не позволяли достичь требуемой в практических приложениях точности и робастности сопоставления. Устранение этих недостатков могло быть осуществлено с помощью проведения анализа изображений на различных уровнях (пиксельном, контурном и структурном), то есть с помощью иерархического подхода. Таким образом, перспективным для решения задачи сопоставления аэрокосмических изображений являлось дальнейшее развитие иерархических структурных методов.
Цель работы
Высокоточное сопоставление аэрокосмических изображений, полученных с разных ракурсов, подверженных сезонно-суточным изменениям или содержащих различия, вызванные использованием сенсоров различных типов; разработка методов извлечения из изображений информации, инвариантной к возможным изменениям условий съемки.
Основные задачи:
создание иерархического структурного представления изображений, в котором учитываются общие допущения о свойствах видимого мира; вывод критерия оптимальности описания изображения в рамках предложенного представления и разработка методов построения структурного описания изображений путем оптимизации выработанного критерия;
разработка методов сопоставления изображений через соотнесение их иерархических структурных описаний;
б
разработка методов повышения точности сопоставления и расширение возможных типов взаимных пространственных преобразований изображений путем коррекции результатов структурного сопоставления.
На защиту выносятся:
1) Теоретико-информационный подход и методы построения иерархических структурных описаний изображений, позволяющие максимизировать количество извлекаемой из изображений информации, инвариантной к изменению условий съемки.
2) Метод сопоставления аэрокосмических изображений, полученных с разных ракурсов, в разное время суток и года, с помощью сенсоров различных типов. Сопоставление выполняется иерархически на основе адаптивно корректируемых структурных описаний за время, полиномиально зависящее от количества структурных элементов.
3) Метод локальной корреляции как способ достижения более высокой точности совмещения изображений и расширения класса их допустимых взаимных пространственных преобразований в задачах структурного сопоставления и совмещения изображений.
4) Аналитические выражения оптимального фильтра пространственного спектра для операции фазовой корреляции, устанавливающие необходимость учета гармоник пространственного спектра с весом, обратно пропорциональным их номеру, поскольку фазы гармоник смещаются при геометрических искажениях изображения тем быстрее, чем выше номер гармоники.
5) Многоэтапный способ итеративной оптимизации информационной целевой функции в задачах построения структурных описаний изображений, включающий этап получения приближенного решения с использованием упрощенных моделей, этап получения решения в расширенном пространстве моделей и этап уточнения решения.
Научная новизна работы
• Предложен способ иерархической декомпозиции задачи структурного сопоставления, использующий результаты сегментации изображений и позволяющий уменьшить вычислительную сложность задачи сопоставления.
• Разработан метод адаптивной коррекции структурных описаний в процессе их сопоставления.
• Разработан механизм распространения информации о положении опорных точек в методе локальной корреляции.
• Выведены аналитические выражения для фильтрации пространственного спектра изображений, увеличивающей отношение сигнал/шум на кросскорреляционном поле в присутствии взаимных геометрических искажений изображений.
• Разработано иерархическое структурное представление изображений, различные уровни которого объединены общей информационной целевой функцией.
• Получены формулы, определяющие качество структурного описания, а также выражения, определяющие степень сходства структурных элементов.
Научная и практическая значимость
Автоматические методы и алгоритмы иерархического структурного сопоставления аэрокосмических изображений, позволяющие достигать высокой точности совмещения и осуществлять робастное сопоставление пар изображений, снятых с разных ракурсов, в разное время суток и года и с помощью сенсоров различного типа, могут найти широкое применение в фотограмметрии, дистанционном сборе данных. В первую очередь это относится к таким практическим задачам, как геокодирование и экономический и экологический мониторинг поверхности Земли.
Реализация результатов работы
Результаты диссертационной работы были использованы в НИР 12200-060-03 «Разработка и создание методов, алгоритмов и программ автоматического текстурного и структурного анализа изображений в задачах измерения, контроля и сопоставления изображений», проводимой по заказу Министерства науки, а также при постановке и проведении ОКР «Сатрап», выполняемой по заказу М.О. РФ. Результаты диссертационной работы были также использованы в ОКР «Сфера», проводимой в ЗАО НИИВЦ «Карат».
Акты внедрения приложены к диссертации.
Личный вклад автора
построение иерархического структурного представления изображений на
основе теоретико-информационного подхода;
модернизация метода построения структурного описания изображений на
основе теоретико-информационного подхода;
усовершенствование метода структурного сопоставления: расширение
класса допустимых взаимных пространственных преобразований
изображений с группы подобия до аффинной группы, разработка
механизма адаптивной коррекции структурных описаний изображений в
ходе их сопоставления;
вывод аналитических выражений для оптимального фильтра
пространственных спектров изображений, использующегося при решении
задачи локальной корреляции;
воплощение разработанных методов в форме компьютерных программ;
проведение экспериментальной проверки разработанных методов на
большой выборке реальных аэрокосмических снимков.
Апробация работы
Основные результаты работы докладывались на следующих научных форумах:
• конференции "Battlespace digitization and network-centric warfare П" в рамках международного симпозиума "AeroSence-2002" (Orlando, 2002);
• конференции "Image and signal processing for remote sensing IX" в рамках международного симпозиума "Remote Sensing - 2003" (Barcelona, 2003);
• VII-ой международной конференции "11еразрушающие методы контроля и компьютерное моделирование в науке и технике" NDTCS-2003 (Санкт-Петербург, 2003);
• конференции "Automatic target recognition XIV" в рамках международного симпозиума "Defense and Security-2004" (Orlando, 2004);
• VIII-ой международной конференции "Неразрушающие методы контроля и компьютерное моделирование в науке и технике", NDTCS-2004 (Санкт-Петербург, 2004);
• VIII-ой общероссийской научной конференции "Современная логика: проблемы теории, истории и применения в науке" (С.-Петербург, 2004);
• конференции "Automatic target recognition XV" в рамках международного симпозиума "Defense and Security - 2005" (Orlando, 2005).
Публикации
По материалам диссертации опубликовано 10 научных работ:
1. Lutsiv V.R., Malyshev I.A., Pepelka V., Potapov A.S. Target independent algorithms for description and structural matching of aerospace photographs // Proc. SPIE, 2002, Vol. 4741, pp. 351-362.
2. Lutsiv V., Malyshev I., Potapov A. Hierarchical structural matching algorithms for registration of aerospace images // Proc. SPIE, 2003, Vol. 5238, pp. 164-175.
3. Potapov A.S., Lutsiv V.R. Information-theoretic approach to image description and interpretation // Proceedings of SPIE, 2003, Vol. 5400, pp. 277-283.
4. Потапов А.С, Малышев И.А., Луцив В.Р. Совмещение аэрокосмических изображений с субпиксельной точностью методом локальной корреляции // Оптический журнал, 2004, т. 71, № 5, с. 31-36.
ю
5. Потапов А.С. Влияние взаимных геометрических искажений изображений на возможность их пространственного совмещения методом локальной корреляции // Оптический журнал, 2004, т. 71, № 8, с. 74-80.
6. Potapov A.S. Image matching with the use of the minimum description length approach // Proc. SPIE, 2004, Vol. 5426, pp. 164-175.
7. Potapov A.S., Gamayunova O.S. Information criterion for constructing the hierarchical structural representations of images // Proc. SPIE, 2005, Vol. 5807, pp. 443-454.
8. Lutsiv V., Potapov A., Novikova Т., Lapina N. Hierarchical 3D structural matching in the aerospace photographs and indoor scenes // Proc. SPIE, 2005, Vol. 5807, pp. 455-466.
9. Potapov A.S., Luciv V.R., Malyshev LA. Sub-pixel precise image analysis in the industrial environment// Proceedings of SPIE, 2004, Vol. 5831, pp. 199-203.
Ю.Потапов А.С. Принцип минимальной длины описания и сравнение гипотез // Современная логика: проблемы теории, истории и применения в науке. Материалы VIII Общероссийской научной конференции, Санкт-Петербург, 2004, с. 409-412.
Полный список научных трудов:
1. Губанов А.Г., Потапов А.С, Трушкина А.С. Развитие базы данных скоплений галактик // Всероссийская астрономическая конференция. Тезисы докладов, С.-Пб., 2001, с.54-55.
2. Губанов А.Г., Копылов А.И., Потапов А.С. Поиск группировок внегалактических радиоисточников // ПАЖ, 2003, т.29, № 4, с. 1-13.
3. Потапов А.С. Принцип минимальной длины описания и сравнение гипотез // Современная логика: проблемы теории, истории и применения в науке. Материалы VIII Общероссийской научной конференции 24-26 июня 2004 г, с. 409-412.
4. Potapov A.S. Image matching with the use of the minimum description length approach // Proc. SPIE, 2004, Vol. 5426, pp. 164-175.
5. Potapov A.S., Luciv V.R. Information-theoretic approach to image description and interpretation // Proceedings of SPIE, 2003, Vol. 5400, pp. 277-283.
6. Lutsiv V., Malyshev I., Potapov A. Hierarchical structural matching algorithms for registration of aerospace images // Proc. SPIE, 2003, Vol. 5238, pp. 164-175.
7. Lutsiv V.R., Malyshev I.A., Pepelka V., Potapov A.S. Target independent algorithms for description and structural matching of aerospace photographs // Proc. SPIE, 2002, Vol. 4741, pp. 351-362.
8. Потапов А.С, Малышев И.А., Луцив В.Р. Совмещение аэрокосмических изображений с субпиксельной точностью методом локальной корреляции // Оптический журнал, 2004, т. 71, №5, с. 31-36.
11
9. Потапов А.С. Влияние взаимных геометрических искажений изображений на возможность их пространственного совмещения методом локальной корреляции // Оптический журнал, 2004, т. 71, № 8, с. 74-80.
10. A.S. Potapov, V.R. Luciv, I.A. Malyshev. Sub-pixel precise image analysis in the industrial environment // Proceedings of SPIE, 2004, Vol. 5831, pp. 199-203.
11. J.N. Bahvalov, A.S. Potapov. A statistical model of interpolation and its application to texture segmentation // Proceedings of SPIE, 2004, Vol. 5831, p. 191-198.
12. Potapov A.S., Gamayunova O.S. Information criterion for constructing the hierarchical structural representations of images // Proc. SPIE, 2005, Vol. 5807, pp. 443-454.
13. Lutsiv V., Potapov A., Novikova Т., Lapina N. Hierarchical 3D structural matching in the aerospace photographs and indoor scenes // Proc. SPIE, 2005, Vol. 5807, pp. 455-466.
14. Potapov A.S., Luciv V.R. Information-theoretic approach to image description and interpretation // Proc. SPAS, 2003, Vol. 7, pp. F8-F11.
15. Potapov A.S., Luciv V.R., Malyshev LA. Sub-pixel precise image analysis in the industrial environment // Proc. SPAS, 2004, Vol. 8, pp. E17-E20.
16. Bahvalov J.N., Potapov A.S. A statistical model of interpolation and its application to texture segmentation // Proc. SPAS, 2004, Vol. 8, pp E26-E30.
П.Малышев И.А., Луцив В.Р., Лапина II.II., Андреев B.C., Новикова Т.А., Потапов А.С. Разработка и создание методов, алгоритмов и программ автоматического текстурного и структурного анализа изображений в задачах измерения, контроля и сопоставления изображений. Отчет по НИР 12200-060-03 по заданию Министерства науки, 2004, 22 стр.
Структура и объем диссертации
Диссертация состоит из введения, четырех глав, заключения и списка цитируемой литературы. Она содержит 158 страниц машинописного текста, 38 рисунков и 2 таблицы. Список цитируемой литературы содержит 129 наименований. Нумерация формул самостоятельная в каждой главе, нумерация рисунков и таблиц сквозная по всей диссертации.
Во введении обосновывается актуальность темы и сформулированы цель, научная новизна и практическая значимость работы. Представлены основные результаты и положения, выносимые на защиту, а также кратко изложено содержание разделов диссертации.
Первая глава диссертации носит обзорный характер. В ней рассмотрена проблема представления изображений в задачах их автоматического анализа. Описаны основные классы представлений в зависимости от уровня абстракции: низкоуровневые, или пиксельные, представления, промежуточные символьные представления, включающие уровень контуров, непроизводных структурных элементов и составных структурных элементов, и представления, основанные на знаниях. Представления каждого из классов используются как в задачах
12
сопоставления изображений, так и в других задачах их интерпретации. На основании проведенного анализа литературных источников сделан вывод, что наиболее перспективными представлениями изображений являются иерархические структурные представления.
Во второй главе описан разработанный в процессе выполнения работы подход к интерпретации изображений на основе теории информации и принципа минимальной длины описания (МДО). Интерпретация изображений рассмотрена как поиск наиболее информативной модели из некоторого семейства, задающегося выбранным представлением изображений. В начале главы рассмотрены общие методы построения моделей: регрессии, распознавания, группирования и сегментации, — которые в дальнейшем используются при разработке методов интерпретации изображений. Далее производится построение иерархического структурного представления изображений, инвариантного к условиям съемки, на основе предположений о свойствах видимого мира, сформулированных Д. Марром. Для этого словесно сформулированные предположения трактуются как ограничения, накладываемые на модели группирования и сегментации. Далее разрабатываются методы и алгоритмы формирования структурных описаний изображений в рамках построенного представления, включающего уровень контуров, уровень структурных элементов и уровень их групп.
В третьей главе решена проблема структурного сопоставления аэрокосмических изображений, различающихся из-за смены ракурса, смены типа сенсора, сезонно-суточных изменений. В проблеме сопоставления выделены три аспекта: 1) тип характерных признаков, выделяемых на изображениях и являющихся основой для сопоставления; 2) класс взаимного пространственного преобразования изображений (пространство поиска); 3) целевая функция, определяющая оптимальность сопоставления, и алгоритм оптимизации. Далее рассмотрен каждый из этих аспектов. В качестве характерных признаков выбраны структурные элементы, методы построения которых приведены во второй главе. В качестве модели взаимного
13
пространственного преобразования выбрана аффинная модель, линейно аппроксимирующая проективное преобразование, характерное для аэрокосмических изображений. Подробнее разобран вопрос построения целевой функции и алгоритма оптимизации. В качестве целевой функции разработана эвристическая аппроксимация количества взаимной информации, содержащейся в структурных описаниях в зависимости от гипотезы сопоставления. Далее описан разработанный в ходе выполнения работы метод поиска лучшего сопоставления, представляющий собой обход дерева вариантов сопоставления с отсечением неперспективных гипотез. Отсечение ветвей позволяет осуществлять обход дерева и находить субоптимальную гипотезу сопоставления за время, полиномиально зависящее от количества структурных элементов. В заключение главы приведены результаты экспериментальной проверки метода на реальных аэрокосмических снимках.
Четвертая глава посвящена разработке метода локальной корреляции, предназначенного для улучшения результатов робастного структурного сопоставления изображений и уточнения линейной (аффинной) аппроксимации взаимного пространственного преобразования и дополнения его проективной компонентой и полем локальных смещений. Данный метод итеративно измеряет смещения между фрагментами двух изображений на основе фазовой корреляции. Точки с измеренными положениями на каждой итерации используются для расчета параметров пространственного преобразования и предсказания положения точек, для которых еще не было определено соответствие на двух изображениях. В конце главы приведены результаты тестирования метода совмещения на реальных парах изображений и рассмотрен вопрос точности метода.
В заключении сформулированы основные результаты, достигнутые в диссертационной работе, и сформулированы вытекающие из них выводы.
14
Глава 1. Обзор современного состояния проблем интерпретации в автоматическом анализе изображений
1.1. Введение
В последнее время в области машинного зрения отмечается [1, 2] определенный кризис, связанный с тем, что из-за несовершенства теоретических подходов и применения большого числа эвристических и слабо проверенных методов до сих пор не удалось построить системы технического зрения, близкие по своим возможностям к зрительному аппарату животных и человека [3, стр. 12]. Помимо общего снижения интереса к проблемам автоматического анализа изображений существует определенная тенденция к изменению самих целей в данной области исследований [4].
Если ранее конечной целью можно было считать построение систем машинного зрения общего назначения, задачей которых является реконструкция произвольной сцены по ее изображениям, то сейчас такой реконструкционный подход подвергается критике за непрактичность и утверждается, что сама эта конечная цель некорректна, и ее необходимо заменить [5]. В качестве альтернативы предлагается рассматривать лишь вопросы построения систем машинного зрения, предназначенных для решения конкретных практических задач.
Тем не менее, рядом авторов [4] реконструкционный подход отстаивается не только как жизнеспособный, но и принципиально необходимый в рамках науки об изображениях - иконики. Ограничение же исследований узкими прикладными задачами рассматривается как игнорирование проблемы, а не ее решение. Однако для преодоления кризиса реконструкционного подхода, являющегося сейчас доминирующим в машинном зрении, требуется разработка теоретически обоснованных методов анализа изображений.
В рамках реконструкционной парадигмы основное внимание фокусируется на проблеме построения описаний видимого мира, включая геометрические и физические свойства видимых поверхностей, а главной
15
задачей машинной или биологической системы восприятия (в частности, системы зрения) считается построение модели реального мира и использование этой модели для взаимодействия с миром [1,4].
Описание некоторого объекта, например изображения, всегда производится в рамках некоторого представления. Под представлением понимается формальная система, содержащая алгоритмы для получения в явном виде описаний объектов заданного класса [6, стр. 36]. Наряду с термином «описание объекта» мы будем использовать термин «модель объекта». Тогда зрение может рассматриваться как процесс преобразования информации, то есть как процесс преобразования описаний изображений из некоторого исходного представления в конечное представление [6, стр. 46]. Подобный процесс построения описаний изображений также называется интерпретацией изображений [7]. Исходное представление определяется способом получения изображений и обычно является фиксированным. Таким образом, центральной задачей машинного зрения является определение адекватных конечных представлений изображений и исследование алгоритмов их интерпретации.
Хотя в данной работе решается конкретная практическая задача — сопоставление аэрокосмических изображений, мы будем придерживаться реконструкционной парадигмы. Это связано с тем, что для сопоставления изображений, полученных при различных условиях съемки (с различных ракурсов, в разное время суток и года, при использовании различных сенсоров), принципиальным является построение представления изображений, инвариантного условиям съемки, то есть реконструирующего информацию о сцене. В свою очередь, адекватность некоторого представления может оцениваться по тому, насколько робастны методы сопоставления, построенные на его основе.
Существуют различные способы классификации методов анализа изображений, например, по решаемой задаче (стереозрение, выявление изменений, сегментация и т.д.) или по некоторым базовым идеям (спектральные методы, методы инвариантов, моделирование нейронных сетей
16
и т.д.) [8, §5.2]. В действительности любой алгоритм анализа изображений, в том числе и их сопоставления, всегда опирается на некоторое представление, поэтому наиболее выразительной, видимо, является классификация именно по типу привлекаемых представлений. Такая классификация также соответствует сформулированной выше проблеме машинного зрения, поэтому рассмотрим существующие методы анализа и интерпретации изображений с точки зрения используемых в них представлений.
При таком делении обычно различают три уровня абстракции [9]: нижний (или пиксельный) уровень, средний (или промежуточный символьный) уровень и верхний (или семантический) уровень. Каждый из этих уровней включает большое разнообразие различных представлений и может быть дальше уточнен. Такое деление также не вполне строгое: некоторые представления могут быть отнесены к разным уровням. В частности, здесь пиксельный уровень отделен от математических представлений. С него и будет начато рассмотрение.
1.2. Представления изображений в виде необработанных данных
В задачах автоматического анализа изображений в качестве исходного представления, из которого осуществляется отображение в некоторое конечное представление, обычно выступает представление изображения в виде массива «сырых» данных - набора результатов физических измерений, выполненных для некоторой сцены. Под сценой обычно понимается набор физических объектов или некоторый фрагмент реального мира [10, стр. 11]. Чаще всего в качестве физической величины выступает интенсивность электромагнитного излучения в заданном направлении (из некоторого спектрального диапазона, например, видимого, ИК, радио или рентгеновского). Однако измеряемая характеристика может быть и совершенно другой: например, цифровая карта высот, гидроакустические данные или распределение плотности некоторых элементарных частиц в зависимости от направления также могут рассматриваться в качестве изображений.
17 |
