\Ш ВВЕДЕНИЕ
Актуальность диссертационной работы определяется важностью решения проблем повышения количественных и качественных характеристик микроскопической диагностики.
В современной медицине основными методами установки окончательного диагноза для большого круга патологий, в таких областях как гематология, андрология, цитогенетика, гистология и других остаются цитоморфологические ^ методы. Эти методы подразумевают анализ под микроскопом препаратов кле-
точных структур крови, костного мозга, спермы, урины и т.д., а также эпителиальных и тканевых структур (в дальнейшем микрообъектов). Диагноз ставит врач на основе анализа отдельных микрообъектов препарата или их совокупности.
До сегодняшнего дня микроскопическая диагностика заболеваний на ос-\Щ нове анализа клеточных и тканевых структур (микрообъектов)1 на медико-
биологических препаратах в гематологии, андрологии, цитогенетике, андроло-гии и многих других областях проводится врачами вручную под микроскопом и в буквальном смысле «на глаз».
Этот процесс (в основном заключающийся в дифференцированном счете микрообъектов) очень трудоемок и утомителен, а возможности получения количественной информации ограничены. Оценки микрообъектов даются в основном субъективные и приблизительные (качественные), такие как «больше — '$( меньше», «темнее - светлее» и т.д. Отсюда - низкая точность диагностики и
низкая повторяемость результатов анализа. Все это вызывает необходимость в разработке новых компьютерных технологических средств (математических методов, методик, алгоритмов, программных средств) автоматизации про-
1 Под микрообъектами понимаются любые объекты, размеры которых могут быть определены с помощью оптического микроскопа, т.е. 200нм - 1мм. В данной работе рассматриваются медико-биологические микрообъекты, которые включают клетки крови, сперматозоиды, эпителиальные клеточные, тканевые и железистые структуры.
6
цессов обработки, анализа, распознавания, классификации изображений микрообъектов и диагностики заболеваний.
Относительно недавно начали появляться компьютерные системы анализа изображений микрообъектов (компьютерные анализаторы), позволяющие в известной степени автоматизировать этот трудоемкий процесс анализа, а главное, дать возможность специалисту-микродиагносту получить большой объем принципиально новой количественной информации, которая в процессе постановки диагноза уменьшит влияние субъективного человеческого фактора, и тем самым повысит надежность и повторяемость результатов анализа.
Компьютерные анализаторы изображений микрообъектов - это аппаратно-программные комплексы, которые позволяют вводить изображения микро-объектов в компьютер с медицинских препаратов, установленных на микроскопе с черно-белой либо цветной видеокамерой. Специализированные программные средства комплексов ориентированы на автоматизацию процессов ввода, поиска, обработки, морфометрического анализа, распознавания, классификации и дифференцированного счета изображений исследуемых микрообъектов [1, 3, 5, 6, 10, 28, 33]. Для достижения максимально возможной автоматизации анализа желательно, чтобы микроскоп был оборудован моторизированным и управляемым с компьютера предметным столиком (для автоматизации процесса поиска заданных микрообъектов на препарате и для реализации процесса автоматической фокусировки), а также объективной турелью для автоматической смены объективов (в случае, если объект не помещается в кадр).
Трудность автоматизации анализов медико-биологических микрообъектов заключается в том, что эти объекты, как и все объекты естественного происхождения, отличаются большим разнообразием строения даже внутри одного класса. Существенные трудности также вносят разнообразие методов подготов-
2 Компьютер может быть любым стандартным (PC-совместимым, MAC и др.) с любой стандартной операционной системой. В данной работе используется компьютер на базе про-цессора Intel Pentium 4 с операционной системой MS Windows XP Pro.
7
. ки и окраски медико-биологических препаратов и изменение характеристик
химикатов со временем под воздействием света и воздуха.
В настоящее время компьютерные анализаторы еще не получили широкого распространения в основном из-за высокой стоимости и часто узкой направленности на определенный тип анализа конкретного препарата, а также жесткой привязки программного обеспечения к оборудованию. Все это не позволяет заменить микроскоп компьютерным анализатором на каждом рабочем месте врача-микродиагноста.
v Тем не менее, компьютерные анализаторы изображений микрообъектов
являются в высшей степени востребованными для анализов патологически измененных клеточных и тканевых структур, особенно для морфометрического3 анализа этих структур, необходимого для достоверности и надежности диагностики заболеваний, для обучения студентов мединститутов, врачей клинической лабораторной диагностики, для теледиагностики и телеконсультаций.
'Щ Они могут быть использованы как в повседневной деятельности врача —
практика (гематолога, цитолога, гистолога, морфолога, андролога и др.) в клинико-диагностической лаборатории для повышения производительности труда, так и при проведении фундаментальных и прикладных исследований в медико-биологических учреждениях, в судебной медицине и т.д., для совершенствования морфологической микродиагностики.
Актуальность данных систем прослеживается и при документировании исследований и результатов анализов. Обычно врач-микродиагност, субъектив-
¦Щ но оценив препарат, заполняет бланк результатов анализа, а иллюстративная
информация микрообъектов проанализированного препарата не прилагается и не сохраняется (препараты на предметных стеклах со временем выцветают и портятся).
Морфометрический анализ подразумевает измерение и вычисление геометрических, яркостных, текстурных, статистических количественных признаков микрообъекта, таких как площадь микрообъекта и составляющих его элементов, критерий формы, цвет, текстуриро- ванность и т.д.
8
Поэтому предлагается вариант совместного (централизованного) исполь-зования одной (базовой) автоматизированной компьютерной системы врачами разных специальностей. Для этой базовой системы создать универсальные (с точки зрения использования) технологические средства (методы, алгоритмы, программные средства) ввода, обработки и анализа изображений разнотипных препаратов.
В этом случае возможно одну базовую систему поставить в медицинском центре, клинике, больнице, в учебном мединституте и объединить ее в компью-v терную сеть с компьютерами, стоящими на рабочих местах в разнопрофильных
диагностических лабораториях, на разных кафедрах этих же организаций, для проведения углубленного анализа, морфометрии, документирования, обучения, консультаций и т.д.
Такое разнопрофильное использование системы позволит наиболее полно загрузить систему и избежать неэффективного использования дорогостоящего 'Ш оборудования (микроскопа с моторизированным предметным столиком, видео-
камеры, управляющего компьютера).
Целью диссертационной работы является исследование, разработка и реализация новых универсальных компьютерных технологических средств (методов, методик, алгоритмов, программных средств) для автоматизации процессов ввода, обработки, морфометрического анализа, распознавания и классификации изображений разнотипных микрообъектов, т.е. для компьютеризации анализов клеточных и тканевых структур при микроскопической диагностике. * Для достижения поставленной цели решаются следующие задачи:
• исследование, разработка и реализация средств ввода изображений в компьютер
• исследование средств обработки изображений, формирование методики предварительной обработки изображений медико-биологических микрообъектов и ее реализация
9
• исследование, разработка и реализация средств сегментации изображе-ний микрообъектов
• исследование, разработка и реализация методов преобразования сегментированного изображения, описания объектов на нем (построение контуров и хорд), операций с контурами.
• исследование, разработка и реализация индивидуальных технологических средств морфометрического анализа разнотипных медико-биологических микрообъектов.
Методы исследования базируются на теоретическом анализе с применением математического аппарата теории распознавания образов, теории статистических решений, фильтрации сигналов, а также экспериментального программного моделирования методов и технологических средств обработки и анализа изображений.
Научная новизна работы заключается в разработке и реализации новых математических методов, технических и программных средств, ориентированных на решение проблем автоматизации процессов ввода, поиска, обработки (включая сегментацию), морфометрии, идентификации и классификации изображений разнотипных микрообъектов, с целью компьютеризации анализов клеточных и тканевых структур для диагностики заболеваний.
Практическая значимость работы заключается в том, что созданы специализированные компьютерные технологические средства для автоматической обработки, распознавания и морфометрического анализа изображений клеточ- ных и тканевых структур. Разработаны алгоритмические, программные и информационные технологии для автоматического поиска микрообъектов, выделения их контура и контуров составляющих их элементов (с автоматизированной коррекцией), распознавания, идентификации и подсчета количества анализируемых микрообъектов в автоматическом и интерактивном режимах.
Исследования, выполненные в диссертации, осуществлялись в соответствии с темами Института проблем управления (фундаментальные НИР):
10
и • 369-98/31 Организация визуальной системы для автоматизированной
системы смешанных изображений (1998 -*- 2002 гг.)
• 2413-04/31 Исследование и разработка технологических средств анализа и классификации изображений клеточных структур в системах управления медико-биологическими объектами (2003 + 2006 гг.)
• в рамках программы Президиума РАН «Фундаментальные науки - медицине» (2002 -г- 2004 гг.)
- Реализация результатов работы. Результаты теоретических и экспери-
ментальных исследований нашли приложение в работах Эндокринолологиче-ского Научного Центра РАМН, Российского Научного Центра Рентгенорадио-логии МЗ РФ, Центральной клинической больницы РАН.
Апробация работы. Основные положения диссертационной работы докладывались и обсуждались на:
• Международной конференции по автоматическому управлению «Автомати-™ ка - 2001». «Прогрессивные информационные технологии и системы». Украина, Одесса, 2001.
• Втором Российском Конгрессе по андрологии. Москва, 2002.
• Конференциях «Фундаментальные науки - медицине». Москва, 2003,2004.
• XXXI Международной конференции «Информационные технологии в науке, образовании, телекоммуникации и бизнесе IT+SE'2004». Украина, 2004.
• 7-ой международной конференции «Цифровая обработка сигналов и ее применение». Москва, 2005.
Публикации. Основные результаты, отражающие содержание диссертации, опубликованы в 9 работах (в скобках указан вклад автора в совместных публикациях):
1. Попова Г.М., Дружинин Ю.О., Степанов В.Н. Организация визуальной системы для автоматизированной обработки смешанных изображений микрообъектов / Международная конференция по автоматическому управлению «Автоматика - 2001». «Прогрессивные информационные технологии и сие-
11
темы». Научные труды. Одесса. 2001. Т.2. С. 162-163. (участие в разработке программного обеспечения системы)
2. Попова Г. М., Дружинин Ю. О., Степанов В.Н., и др. Компьютерная морфо-метрия изображений сперматозоидов / 2-ой Российский Конгресс по андро-логии. М.: ЦНМСТ РАМН, 2002. (обработка и сегментация изображений сперматозоидов, участие в построении структурной модели сперматозоида)
3. Попова Г.М., Дружинин Ю.О., Степанов В.Н.. Компьютеризация анализов клеток и тканей в лабораторной диагностике и прикладных исследованиях // Труды Института. Т. XVIII. М.: ИЛУ РАН им. В.А. Трапезникова, 2002. С. 140-156. (обработка и анализ изображений клеток крови)
4. Попова Г.М., Дружинин Ю.О., Степанов В.Н., Боженко В.К., Добрачева А.Д. Системный подход к вопросам анализа и обработки изображений микрообъектов в лабораторной диагностике и прикладных исследованиях / Конференция «Фундаментальные науки — медицине». Тезисы. М.: Фирма «Слово», 2003. С. 55-56. (обработка, сегментация изображений)
5. Попова Г.М., Степанов В.Н. Анализ и обработка изображений медико-биологических микрообъектов // Автоматика и телемеханика. 2004. № 1. С. 131-142. (обработка, сегментация и анализ изображений)
6. Степанов В.Н. Системный подход к организации компьютерных процессов обработки и анализа микрообъектов. XXXI Международная конференция «Информационные технологии в науке, образовании, телекоммуникации и бизнесе IT+SE'2004» / Материалы конференции // Успехи современного ес- тествознания 2004. № 5. Приложение 1. С. 56-58.
7. Попова Г.М., Дружинин Ю.О., Степанов В.Н., Дятчина И.Ф., Гончаров Н.П., Добрачева АД. Компьютерный морфометрический анализ изображений сперматозоидов // Системный анализ и управление в биомедицинских системах. Т.З, №4, 2004. (обработка, сегментация изображений сперматозоидов)
12
8. Попова Г.М., Степанов В.Н., Дружинин Ю.О., Берщанская A.M., Мельникова Н.В. Формализация процедуры морфометрической диагностики доброкачественных и злокачественных новообразований простаты в системе «Морфолог-Сеть». // Фундаментальные науки - медицине. Матер. Конф. Москва,
2004. - М.: фирма «Слово», 2004. С. 81-84. (обработка, сегментация и участие в анализе изображений эпителиальных и железистых структур гистологических препаратов)
9. Попова Г.М., Степанов В.Н. Автоматизация процессов сегментации изобра-жений медико-биологических микрообъектов. // 7-ая Международная конф. «Цифровая обработка сигналов и ее применение». Матер. Конф. Москва,
2005. (в печати) (обработка, сегментация изображений клеточных структур) Структура и объем работы. Диссертация состоит из введения, 4 глав,
заключения и 1 приложения, изложена на 122 страницах машинописного текста, содержит 36 иллюстраций, 7 таблиц и библиографический список, вклю- чающий 43 наименования.
В первой главе дается обзор технологических средств обработки, анализа и классификации изображений медико-биологических микрообъектов. Проводится анализ и обзор подходов и методов, положенных в основу разработки; анализ технических решений по реализации таких технологических средств, трудности их реализации (их решений), краткие характеристики существующих компьютерных систем анализа изображений микрообъектов, определяется основное направление повышения эффективности таких систем.
Во второй главе исследуются и разрабатываются технологические средства ввода изображений со стеклопрепаратов в компьютер и их предварительной обработки. Для ускорения процесса фокусировки предлагается методика, при которой в процессе ввода изображения в компьютер его преобразование из формата raw в формат RGB производится по алгоритму «билинейная интерполяция», а в процессе фокусировки - «интерполяция по ближайшему соседу». Предложен метод предварительной обработки изображения для задачи распо-
13
знавания микрообъектов, заключающийся в оптимизации гистограммы яркости и низкочастотной фильтрации (фильтр «размытия по Гауссу»). Также предложена методика предварительной обработки изображения для задач, требующих качественного визуального представления (например, для коллегиального обсуждения патологически измененных микрообъектов, для обучения студентов мед-институтов).
В третьей главе исследуются и разрабатываются технологические средства сегментации изображений микрообъектов и их описания. Основное внимание уделяется разработке метода сегментации изображений микрообъектов и его теоретическому обоснованию. Предлагается метод интерактивной сегментации в пространстве HSV (цвет, насыщенность, уровень) с использованием цветовых плоскостей HS и HV. Предлагается методика выбора одной из вышеназванных плоскостей в зависимости от параметров изображения. Проводится экспериментальная оценка точности сегментации по описанному методу. Для т описания объектов на сегментированном изображении предлагается метод по-
строения контуров и хорд на основе метода заполнения ограниченной области «с затравкой». Этот метод существенно быстрее широко используемого метода «обхода контура», хотя и не позволяет получить упорядоченный контур. Для большинства задач распознавания необходимость в упорядоченном контуре отсутствует.
В четвертой главе разрабатываются индивидуальные технологические средства компьютерного морфометрического анализа, классификации и диф- ференцированного счета изображений клеток крови человека (лейкоцитов, эритроцитов, ретикулоцитов), сперматозоидов, изображений «комет» (специальным образом обработанных ядер лейкоцитов), клеточных и тканевых структур гистологических препаратов. Формируется методология формализации знаний врачей об исследуемых микрообъектах, включающая построение структурной и параметризованной моделей обобщенного описания микрообъекта.
14
Разработанные средства морфометрического анализа позволили в той или иной степени решать такие диагностические задачи, как подсчет лейкоцитарной формулы, построение эритроцитометрической кривой (кривой Прайс-Джонса), вычисление ретикулоцитарного индекса, счет спермограммы, определение индивидуальной радиочувствительности онкологических больных, диагностика рака предстательной железы.
В заключении сформулированы основные результаты, полученные по диссертационной работе, и даны рекомендации по расширению области приме-1 '* нения разработанных методов и технологических средств.
В приложении приводятся полные таблицы результатов экспериментальной проверки точности сегментации.
15
ГЛАВА 1. ОБЗОР АППАРАТНО-ПРОГРАММНЫХ СРЕДСТВ ОБРАБОТКИ, АНАЛИЗА И КЛАССИФИКАЦИИ ИЗОБРАЖЕНИЙ
МИКРООБЪЕКТОВ
1.1. Развитие технологических средств анализа и обработки изображений медико-биологических микрообъектов
Первые попытки изучения возможностей автоматизации процесса распо-знавания образов относятся к началу 50-х годов, когда цифровые вычислительные машины стали общедоступным средством обработки информации. В конце 50-х годов Розенблатт предложил перцептронный алгоритм, который представлял собой одну из первых моделей процессов запоминания и организации информации, реализуемых мозгом [31]. В этот период ведущие подходы к решению задач распознавания были основаны на идеях теории статистических ре- шений и пороговой логики. Исследования в области синтеза систем распознавания набирали темп на протяжении 60-х годов по мере того, как расширялось использование вычислительных машин и становилась очевидной потребность в более быстрой и эффективной связи человека с вычислительным комплексом. Для того чтобы при решении некоторых типов задач распознавания зрительных образов можно было пользоваться результатами теории машинных языков и соответствующими возможностями обработки информации, был предложен синтаксический подход, как дополнение к аналитическим методам.
В распознавании образов можно выделить два направления: распознавание конкретных объектов и распознавание абстрактных объектов. В первом случае распознаются зрительные и слуховые образы, т.е. изображения (в том числе и медико-биологических микрообъекты) и звук. Это направление можно назвать «сенсорное распознавание». Во втором случае распознаются различные регулярности, встречающиеся, например, в экономических данных или в данных научных исследований; распознавание этих регулярностей достигается с
16
использованием методов распознавания образов [12]. При такой интерпретации образу соответствует любой тип регулярности (порядок, структура), встречающийся в сложных данных. Подобные процессы обеспечивают распознавание абстрактных объектов и их можно определить как «понятийное» распознавание. В данной работе рассматривается только первое направление в распознавании образов.
Приступая к рассмотрению вопросов автоматизации процессов анализа микрообъектов, оговорим, что следует понимать под термином «микрообъект». Согласно определению в [21], микрообъектами будем называть объекты, размеры которых могут быть определены с помощью оптического микроскопа. Современный оптический микроскоп обладает разрешением порядка А/2, где X — длина волны света, используемого для освещения препарата. Для видимой части электромагнитного спектра длины волн лежат в пределах от 0,4 до 0,76 мкм. Таким образом, нижний размерный предел микрообъектов составляет 0,2 - 0,3 4' мкм.
Ограничение сверху определяется тем, что для измерения объектов, линейные размеры которых превышают примерно 1 мм, нет необходимости прибегать к помощи микроскопа. Однако наличие верхней границы размеров условно и для большинства вопросов, рассматриваемых в работе, не является принципиальным.
В указанном размерном диапазоне находится значительное количество объектов, которыми интересуются специалисты химической, технической, ме-Д дико-биологической областей. Такие объекты имеются в живой и неживой при-
роде, к этим объектам могут быть применены различные операции анализа, морфометрии, классификации.
Большую группу микрообъектов составляют аэрозоли - частицы, взвешенные в воздухе или каком-либо газе (пыль, дым, туман). Важной группой микрообъектов, используемых в технике, являются абразивные порошки. Они применяются в различных областях промышленности: металлообрабатываю-
¦и
17
щей, камнеобрабатывающей, оптической. К микрообъектам относятся также зерна различных образований, проступающих на шлифе металла в результате травления, и дислокации в металлах и полупроводниках, микрокристаллы, неоднородности в виде пузырьков и вкраплений в стекле и пластмассах и многое другое.
Весьма обширной является группа биологических микрообъектов, к которым относятся разнообразные микроорганизмы, мелкие растения, и в первую очередь клетки, из которых состоят все живые организмы и отдельные элемен-ты этих клеток. Подгруппой биологических микрообъектов являются медико-биологические микрообъекты, рассматриваемые в данной диссертации. К медико-биологическим микрообъектам относятся все микрообъекты, встречающиеся в теле человека. В основном это различные клеточные и тканевые структуры - такие, как клетки крови, костного мозга, хромосомы, сперматозоиды, железистые и эпителиальные структуры. На Рис. 1 показаны уровни организа- ции биологических структур до организменного уровня [34]. Выделены уровни, на которых находятся микрообъекты и которые рассматриваются в данной ра-боте.
В Таблица 1 приведены методы исследования, применяемые к биологическим структурам разных уровней. Методы оптической микроскопии применимы только к уровням III и IV. Соответственно на этих уровнях и находятся различные микрообъекты. Для более мелких объектов применяются методы электронной микроскопии, когерентной оптики [35], рентгеноструктурного анализа и др.
Наряду с оптическими системами появились т.н. цитофлуориметры. Основное отличие цитофлуориметров от оптических микроскопов заключается в том, что они работают только с жидкими препаратами, а не с сухими мазками. Это существенно ограничивает область их применения. |
