-3-Введение
Актуальность работы
В последнее время широко применяются различные методики и технологии разработки программных продуктов, причем на всех этапах их жизненного цикла — во время проектирования, кодирования, доработки, развития и сопровождения.
Мир вокруг нас бесконечно разнообразен и широк. Сложные предметные области содержат в себе очень большое количество объектов разных типов, большое число связей между ними, а также сложные процессы обработки информации. Разработка информационных систем для таких предметных областей также очень сложна и трудоемка. Как правило, для их построения применяется методология «сверху-вниз», что позволяет полностью охватить всю предметную область и точнее ее формализовать, правда, потратив достаточно большое время и много других ресурсов. Такой подход к разработке не единственный — используя ряд иных методик, можно также разрабатывать самые разные информационные системы. Выбор методики зависит от привычек и общих условий работы коллектива авторов, а также от корпоративных стандартов организации-разработчика.
Объем проектных работ и кодирования, как правило, определяется сложностью предметной области. Поэтому управление сложностью является важным моментом разработки почти всех программных систем, кроме самых простых. При этом чаще всего используется фундаментальный прием ограничения сложности — разделение на части (блоки, модули) по функциональному назначению. Но не все существующие методики модульного построения просты и удобны. Более того, зачастую они не обеспечивают механизмов развития и расширения программного продукта в целом. Безусловно, есть технологические решения, позволяющие строить расширяемые программы за счет дополнительных модулей (plug-in, add-in) или других механизмов, но большинство из них весьма узко специализированы.
-4-
Однако есть широкий класс задач, связанный с разработкой информационных систем для предметных областей, чья структура слишком сложна или полностью не определена, а существующие условия предполагают ограниченные сроки разработки. Для решения таких задач требуется некая технология, позволяющая поэтапно создавать программный продукт частями, запуская их в эксплуатацию по мере разработки компонентов и расширения рамок охвата предметной области. Подобный инструментарий позволил бы упростить создание приложений для автоматизации сложных предметных областей, а также их развитие и сопровождение.
Использование модульного подхода в качестве основы для такого инструментария позволяет не только просто строить сложные приложения, собирая их из кирпичиков, но и обеспечивать их взаимозаменяемость для доработки программного обеспечения (исправление ошибок) и расширения возможностей информационных систем. Основные преимущества модульной архитектуры этим не ограничиваются. Следует обязательно упомянуть возможность выборочной компоновки автоматизированных информационных систем (АИС), многократное использование однажды написанного кода и разработанных классов.
Чтобы все преимущества модульной технологии стали доступными, необходимо решить ряд задач, связанных с организацией среды функционирования, формализацией межмодульного взаимодействия и принципиально иными способами определения содержательной стороны предметной области, создающими условия для структурного и функционального слияния ее частей при поэтапной разработке модульного программного обеспечения.
Большой вклад в развитие модульных технологий и расширяемых программ внесли Н. Вирт, М.М. Горбунов-Посадов, Д. Рамодин. Распределенные модели модульных программных продуктов изучали К.В. Ахтырченко, В.В. Леонтьев, Д. Бокс, Е. Игумнов. Другими методами структуризации в программных системах занимались А. Бельченко, Ю.А. Загорулько, И.Г. Попов, Л.А Калиниченко, Н.А. Колчанов, Н.Л. Подколодный, А. Поточкин, О.И. Ро-
-5-сеева, Дж. Майопулос, Р. Мочинг-Питрик, X. Такеда, М. Такай, Т. Нишида,
Т.Р. Грубер.
Еще один актуальный вопрос - это разработка принципов совместного использования систем хранения информации и модульных технологий. В развитие теории и методологии реляционных баз данных значительный вклад внесли Э. Кодд, Дж. Дейт, Дж. Мартин, Д. Мейер; объектно-ориентированные базы данных развиваются М. Аткинсоном, Ф. Бансильо-ном, Д. ДеВиттом, К. Дитрихом, Д. Майером, С. Здоником; над объектно-реляционными моделями и объектно-ориентированными базами данных работали С. Кузнецов, Е. Григорьев, С. Савушкин, М. Стоунбрейкер.
Применение модульного варианта архитектуры программных продуктов и использование систем управления базами данных дает возможность автоматизировать сложные предметные области, например, такие как экономика муниципальных образований, охватить которые сразу не удается по причине огромного числа процессов и взаимодействующих объектов, и главное — кардинальных различий функциональности.
Разработке технологической основы для построения модульных информационных систем, автоматизирующих процессы сложных предметных областей и пригодных для последующей простой и бесшовной интеграции в комплексы программ, посвящена данная работа.
Цель работы заключается в разработке технологии построения гибких, модульных, легко конфигурируемых и расширяемых автоматизированных информационных систем, позволяющей сократить временные и ресурсные затраты на создание программного обеспечения, упростить его сопровождение и развитие.
В рамках указанной цели были поставлены следующие задачи:
1. Изучить и проанализировать российский и мировой опыт технологий разработки и архитектуры класса информационных систем, в основу которых положены принципы расширяемости, изменяемости и интеграции отдельных АИС в программные комплексы.
-6-
2. Разработать технологию построения автоматизированных информационных систем для широкого класса задач, ускоряющую и упрощающую создание и сопровождение комплексов программ для сложных предметных областей.
3. Апробировать разработанную технологию на примере создания программного комплекса для информационной поддержки системы муниципального заказа органов местного самоуправления в Российской Федерации.
Метод исследования
При выполнении диссертационной работы использовались методы системного анализа, теории построения реляционных баз данных, объектно-ориентированного проектирования, теории графов, теории сложности алгоритмов.
Научная новизна:
1. В результате анализа проблем построения информационных моделей для сложных предметных областей с большим количеством информационных связей и объектов, играющих различные роли в разных АИС, для расширения объектно-реляционной модели предложена новая интерпретация понятий аспекта и контекста, упрощающих и ускоряющих построение информационных систем за счет введения новых принципов структуризации в моделях данных. На основе предложенного понятий разработана модель дерева объектов О-дерева (дерева объектов) для отображения объектов и формализм правил его построения, позволяющие создавать гибкие и легко настраиваемые АИС для широкого класса задач.
2. Разработан набор эффективных по времени алгоритмов для работы с О-деревьями, в том числе алгоритмы поиска, добавления, раскрытия и удаления узлов. Предложена новая структура данных «кэш узлов О-дерева», позволяющая эффективно управлять оперативной памятью, занимаемой объектами предметной области, при необходимости выгружая их из памяти. Предложен ряд эвристик для алгоритмов поиска и раскрытия узлов О-дерева. Получены оценки их трудоемкости.
-7-
3. На основе анализа требований и условий функционирования информационных систем разработаны технология построения и внутренняя среда функционирования АИС в виде модульной объектно-ориентированной надстройки над различными типами реляционных СУБД, упрощающая и ускоряющая разработку широкого класса задач, их сопровождение и дальнейшее развитие.
Теоретическая и практическая ценность:
1. Предложенное понятие контекста позволяет ввести новые способы структуризации данных сложных предметных областей. Применение этого понятия позволяет поэтапно (в зависимости от степени значимости и актуальности), неконфликтно и неизбыточно (не дублируя определения объектов и повторно используя программный код) создавать программные приложения для решения различных задач.
2. Предложенная технология построения АИС на основе О-дерева позволяет создавать масштабируемые, расширяемые и переносимые модульные комплексы программ для разных реляционных СУБД.
3. Предложенные эффективные алгоритмы поиска, добавления, раскрытия и удаления узлов О-дерева позволяют существенно увеличить эффективность работы с динамически строящимися древовидными структурами. Предложенная автором структура данных «кэш узлов О-дерева» позволяет эффективно управлять памятью при работе с динамически строящимися деревьями.
4. Разработан комплекс программ по управлению планированием, реализацией и для контроля за исполнением муниципального заказа в органах местного самоуправления. Предложенная автором технология построения комплекса позволяет легко и гибко его переконфигурировать под изменяющиеся условия, сохраняя при этом эффективность работы. Разработанный комплекс программ применим не только для управления закупками муниципалитета, но и в крупных предприятиях и организациях.
-8-Внедрение результатов работы
Разработанный автором комплекс программ «Муниципальный заказ» внедрен в промышленную эксплуатацию в администрации г. Томска (280 рабочих мест) и в администрации Чаинского района Томской области (с. Подгорное, 34 рабочих места).
На защиту автором выносится:
1. Понятия контекста и аспекта в объектных и объектно-реляционных СУБД и схема их применения для проектирования и разработки АИС широкого класса.
2. Модульная архитектура и технология построения АИС, базирующаяся на механизме О-дерееа.
3. Ряд эффективных алгоритмов и структур данных для работы с О-деревъями.
4. Программный комплекс для автоматизации системы муниципального заказа в Российской Федерации.
Апробация работы и публикации:
Основные положения работы докладывались и были одобрены на следующих научных и специализированных конференциях:
1. Международной научно-практической конференции «Геоинформатика- 2000» (Томск, 2000).
2. Всероссийской научно-практической конференции «Новые технологии и комплексные решения: наука, образование, производство» (Анжеро-Судженск, 2001).
3. Межрегиональной конференции Ассоциации Сибирских и Дальневосточных городов «Повышение эффективности управления бюджетными ресурсами через внедрение системы муниципального заказа» (Омск, 2001).
4. Всероссийской научно-практической конференции «Информационные технологии и математическое моделирование» (Анжеро-Судженск, 2002).
— 9 —
5. Научно-практическом семинаре Ассоциации Сибирских и Дальневосточных городов «Муниципальный заказ как система управления материальными, финансовыми и социальными ресурсами» (Томск, 2004).
По результатам выполненных исследований автором опубликовано 9 печатных работ, в том числе 8 статей. Кроме того, автором разработаны и переданы заказчикам технические и методические материалы по программному комплексу «Муниципальный заказ» общим объемом в 300 стр.
Краткое содержание работы
В первой главе проведен обзор технологий разработки программного обеспечения и современных архитектур построения автоматизированных информационных систем, приводятся примеры использования модульной технологии на примере ряда программных продуктов. Также выдвинуты основные требования к технологии построения автоматизированных информационных систем.
Во второй главе приведено комплексное описание разработанной автором технологии построения модульных АИС с использованием открытой архитектуры и объектно-ориентированной надстройки над реляционной СУБД. В главе дается новая интерпретация понятия контекста и аспекта в применении к объектно-реляционным базам данных, и показываются механизмы их применения к построению гибких и легко настраиваемых АИС. Приводятся разработанные автором структуры данных и алгоритмы для эффективной работы с динамически строящимися деревьями, а также ряд эвристик для модификации способов их применения. Дается описание всех основных архитектурных компонентов разработанной автором технологии.
В третьей главе дается описание нормативной и законодательной базы системы муниципальных и государственных закупок в Российской Федерации и ряде зарубежных стран, рассмотрены и проанализированы существующие российские и зарубежные программные системы и технологии, автоматизирующие процесс закупок. Выдвинуты требования и условия функ-
-10-
ционирования комплекса программ для информационной поддержки механизмов муниципального заказа.
В четвертой главе приведены проектные решения по автоматизации системы муниципальных заказов на основе предлагаемой автором технологии, приведена детализация предметной области, диаграммы основных бизнес-процессов и потоков данных, приводится иерархия созданной автором объектной модели. Дается описание разработанных АИС комплекса программ «Муниципальный заказ», анализируются особенности внедрения, приводятся основные направления дальнейшего развития комплекса. Дается краткое описание особенностей внедрения комплекса программ «Муниципальный заказ» в Администрации г. Томска и Администрации Чаинского района Томской области.
Автор выражает глубокую признательность экс-заместителю мэра г. Томска М.Ю. Сеньковской, председателю комитета по информатизации Ад-минстрации г. Томска В.Е. Кириенко, директору департамента экономики Админстрации г. Томска Е.К. Бушмановой, коллегам по внедрению технологии муниципального заказа в Администрации г. Томска Н.Л. Сафонову и Е.В. Сотниковой за плодотворную совместную деятельность, начальнику финансового отдела Администрации Чаинского района Томской области Н.Н. Усовой за конструктивную критику и дельные предложения по модернизации комплекса «Муниципальный заказ», инженеру В.В. Шилову за конструктивную совместную работу на начальном этапе, д.т.н, проф. В.В. Поддубному, к.т.н., доц. В.И. Полякову и д.т.н., проф. Ю.Л. Костюку за поддержку, живой интерес к работе и ценные замечания, к. ф.-м.н., проф. Б.А. Гладких, д.ф.-м.н., доц. О.А. Змееву и к.т.н. A.M. Бабанову за многолетнее сотрудничество и критику работы.
-11-
Глава 1. Обзор технологий и архитектурных решений
1.1. Технологии разработки программных систем
В настоящее время существует и активно используется достаточно большое количество технологий, использующихся для создания информационных систем. Все они достаточно детально проработаны, имеют свои достоинства, недостатки и как следствие свои области применения. Достаточно полные их обзоры можно найти в [15, 18-21, 26, 28, 46, 51], поэтому здесь рассмотрим лишь важные на наш взгляд концептуальные решения, такие как стратегии структурного проектирования «сверху-вниз» и «снизу-вверх», объектно-ориентированное проектирование и язык UML, а также концепции модульного и экстремального программирования. В обзор вошли не только технологии разработки информационных систем, но и современные приемы построения иных программных продуктов, как отражающие различные варианты использования современных достижений информатики. Рациональные идеи, заключенные в них, позволяют получить представление о спектре возможных технологических и архитектурных решений для разработки сложных программных комплексов.
/././. Структурное проектирование «снизу-вверх»
Вероятнее всего этот подход появился не сам собой, а как результат обобщения методики работы программистов, ориентированных не на разработку «коробочных» версий программного обеспечения, а продуктов, удовлетворяющих внутренние потребности самих организаций, где они работают. Такой вариант устраивает руководителей подразделений, где функционируют программные комплексы, чья логика и функциональность зависит от изменяющихся условий законодательства, нормативных документов, правил ведения производственной, финансово-хозяйственной деятельности и бухгалтерского учета [18].
-12-Суть подхода заключается в том, что сначала решаются более частные
и понятные задачи (реализация алгоритма сортировки, обработка строки, ввод данных) и только потом приступают к построению большой программы из готовых мелких частей — т.н. восходящая стратегия. Можно обобщить — от частного к общему. При таком подходе каждая задача находила свое частное решение, основанное, как правило, на привычных для конкретного разработчика методах и приемах. В итоге целостной картины предметной не удавалось построить по причине разномастного набора разрозненных средств, особенно в условиях групповой разработки. До создания единого набора инструментальных средств для решения всех задач иногда даже не доходило — размениваясь на мелкие задачи, разработчики просто погрязали в них. По этой причине с развитием информационных технологий и автоматизации проектных работ с появлением разных CASE средств и методологий от чистого подхода «снизу-вверх» отказались.
Но, тем не менее, этот вариант был и остается вполне пригодным в условиях ограниченности финансов на закупку готового программного обеспечения, недостатка времени и человеческих ресурсов, требуемых для автоматизации крупной и сложно структурированной предметной области. Частично он также используется как вариант смешанной стратегии («снизу-вверх» и «сверху-вниз»). Еще одним достоинством можно считать слабую сцеплен-ность между компонентами системы, что позволяет, как правило, легко их заменять и дорабатывать.
1.1.2. Структурное проектирование «сверху-вниз»
Методология структурного проектирования «сверху-вниз» появилась как противопоставление вышеописанному принципу и стала попыткой решить его проблемы. Централизация технологических решений и всеобъемлющий взгляд на предметную область должны были приводить к разработке универсальных программных систем, решающих требуемые задачи. Так оно обычно и получается, но с достаточно большими затратами времени и других
-13-ресурсов. Успешная реализация таких проектов требует четкой организации
работы, ответственных исполнителей и набор CASE средств, обеспечивающих групповую разработку. Примером такого средства может служить Oracle Designer [139].
Более частные задачи позволяют решать другие системы и методологии:
- моделирование и описание процессов — методология IDEF0 [20], позволяющая на графических диаграммах иерархически с увеличением детализации при продвижении вглубь формализовать интересующие разработчика бизнес-процессы предметной области;
- моделирование сценариев технологических процессов (описание процессов обработки с изменением свойств объектов) — методология IDEF3 [21].
- моделирование потоков данных DFD (Data Flow Diagrams);
- моделирование структур данных предметной области — различные нотации построения ER-моделей (Entity-Relationship, моделей «Сущность-Связь»).
Технология «сверху-вниз» базируется на первоначальной разработке структуры программного продукта, определению процедур и связей между ними, и лишь потом проектировщик определяет содержимое процедур и структур данных — т.н. нисходящая стратегия. В этом случае активно используются «заглушки» — процедуры-пустышки (абстрактные методы), не выполняющие никакой полезной работы, но имеющие заголовки с параметрами и использующиеся для предварительной отладки программы.
Среди явных достоинств — полноты, достоверности и универсальности, следует назвать и недостатки подхода — громоздкость проектной документации и итогового программного обеспечения, большие (иногда неприемлемые) сроки разработки, сильную сцепленность и труднозаменяемость компонентов на одном уровне в разных подсистемах и как следствие универсальности — ограниченность функциональных возможностей в специализи-
-14-
рованных компонентах и частях итогового продукта [18]. Но, несомненно, для широкого класса задач эти отрицательные черты подхода с лихвой перекрываются положительными.
1.1.3. Объектно-ориентировтшое проектирование
В дополнение к структурному проектированию как альтернатива пришло объектно-ориентированное. И как следствие сменилась парадигма. Модули и процедуры были заменены классами и объектами с их методами, а реализация функциональности системы была сведена к обмену сообщениями между объектами.
Объектный и объектно-ориентированный подход позволяет по новому, более естественно и близко к человеческому восприятию структурировать окружающие нас объекты. Более того, подход предоставляет возможность разбить систему на совокупность независимых сущностей — объектов и провести их строгую независимую спецификацию [2]. Простота эволюции системы достигается за счет использования таких элементов объектного подхода как наследование и полиморфизм. Инкапсуляция позволяет абстрагироваться от содержимого объектов. Кроме того, под принципы объектно-ориентированной парадигмы очень четко подходят основные концепции построения пользовательского интерфейса и среднего слоя — бизнес-логики приложений.
В целом объектно-ориентированное проектирование сводится к разработке и последующему кодированию поведенческой модели объектов, построенных на основе иерархии классов предметной области, включающий в себя набор классов и их агрегатов, отвечающих за пользовательский интерфейс.
Объектно-ориентированный подход к проектированию вывел на новый уровень разработку сложных программных систем, так как предложил совершенно четко определенную, функционально самостоятельную программную единицу — класс объектов.
-15-1.1.4. Унифицированный язык моделирования UML
В 90-ые годы XX века были проведены попытки стандартизировать подходы в объектно-ориентированном проектировании. Для этого в 1997 был предложен и утвержден в качестве стандарта язык UML, который позволяет разным разработчикам однозначно воспринимать изложенные и формализованные в графическом виде проектные решения [15].
С точки зрения проектирования практически любая предметная область настолько многогранна, что целостное и непротиворечивое представление о ней можно получить, только рассматривая ее с разных аспектов. Специально для этого в инструментарии языка есть целый набор диаграмм для каждого случая:
- диаграммы классов — статический вид системы с точки зрения проектирования, содержат классы, интерфейсы, объекты, а также их отношения и кооперации;
- диаграммы объектов представляют статические «снимки» экземпляров сущностей в аспекте реальной или макетной реализации;
- диаграммы прецедентов (вариантов использования) — показывают поведение системы (отдельных ее аспектов), специфицируя множества последовательностей действий и их вариантов, выполняемых системой для получения определенных результатов;
- диаграммы состояний — представляют автоматы, включающие в себя состояния, переходы между ними и события, акцентируют внимание на поведении объектов, зависящем от последовательности событий, что позволяет отобразить динамический вид системы;
- диаграммы компонентов, на которых отражается организация совокупности компонентов системы и зависимости между ними, позволяют отобразить статическую структуру системы с точки зрения реализации;
- диаграммы развертывания — статический вид архитектуры системы, на котором показаны конфигурация узлов системы и размещение в них компонентов;
-16-
- другие диаграммы, являющиеся частными случаями уже приведенных: диаграммы кооперации, диаграммы последовательности, диаграммы деятельности и др.
Используя по мере необходимости все эти диаграммы, можно в достаточно полно описать статические и динамические аспекты разрабатываемой системы. Для более четкого и качественного результата была также предложена идеология и способ организации разработки — Rational Unified Process (RUP, рациональный унифицированный процесс), который позволяет итеративно строить действующие (т.е. воплощенные в программный код) модели, сопровождаемые описанием на UML по строго описанному технологическому процессу [15].
1.1.5. Модульное программирование
Многие сложные информационные системы находятся в постоянном развитии, возможно по разным причинам — либо имеются изменения требований и условий функционирования, либо охват исходной предметной области со временем расширяется, либо исправляются ошибки или недочеты предыдущих этапов работы. Все это означает, что их исходный код изменяется. На работающей системе это очень ответственные и критичные действия.
Внесение изменений — один из ключевых моментов в жизненном цикле любой программы. Программа становится расширяемой, если удалось спрогнозировать направления ее будущего развития, облегчить и обезопасить выполнение изменений в этих направлениях. Достичь расширяемости помогают только программные конструкции, поддерживающие возможность безболезненного развития, т. е. добавления новых модулей без какого-либо редактирования ранее написанных и отлаженных исходных текстов. Классические приемы расширения функциональности — встраиваемые модули расширения (plug-in), которые, как правило, создаются в строгом соответствии с разработанными интерфейсами, которые обеспечивают корректное добавление новых функций в программную среду.
-17-
Идеальным вариантом технологических находок была бы такая система, где любые ее фрагменты можно было бы безболезненно заменять на другие и добавлять новые — «наша конечная цель — расширяемое программирование» (Н.Вирт) [83].
Основным принципом, которым должны руководствоваться разработчики, чтобы достичь расширяемости программ, это грамотно проектировать модули — так, чтобы они представляли собой самостоятельную функциональную единицу. В условиях объектно-ориентированного программирования это становится куда более реальным — каждый класс объектов, как самостоятельную единицу можно поместить в отдельный модуль. Хотя так иногда получается неудобно, так как количество классов в системе может быть достаточно велико. Поэтому иногда несколько классов можно объединить в один модуль по принципу близости функциональных возможностей.
При использовании модульной технологии становится возможным более грамотно организовать труд группы разработчиков, распределяя между ними задачи по созданию отдельных независимых компонентов. «Функционально самостоятельный модуль нагляден, поскольку легко сформулировать его назначение. Функциональная самостоятельность сокращает число межмодульных связей, облегчая взаимодействие исполнителей, реализующих отдельные компоненты» [28].
Кроме того, при модульной разработке серии разных рабочих мест одной большой предметной области становится возможным повторное и многократное использование однажды написанного кода — «апофеозом многократного использования считается сборочное программирование. Имеющиеся программистские знания, представленные в виде совокупности модулей, хочется собрать в общедоступных хранилищах, откуда строящиеся программы черпали бы готовые блоки» [28].
Основная проблема в модульном построении программы — это выбор архитектуры и внутренней среды готовой программы, позволяющей ей «узнавать» свои модули-компоненты, определяя их роль и нужное место в функ- |
