Введение
В области информационных технологий, всегда существовали два взаимодополняющих друг друга направления развития [61]:
• системы, ориентированные на операционную обработку данных -системы обработки данных (далее СОД);
• системы, ориентированные на анализ данных - системы поддержки принятия решений (далее СППР).
Но ещё до недавнего времени, когда говорилось о стремительном вхождении в нашу жизнь информационных технологий и росте числа реализаций информационных систем, прежде всего, имелись в виду системы, ориентированные исключительно на операционную обработку данных. И такое, опережающее развитие одного из направлений, вполне объяснимо.
На первых этапах автоматизации требовалось и требуется навести порядок именно в процессах повседневной, рутинной обработки данных, на что и ориентированны традиционные СОД. Более того, системы СППР являются в определенном смысле вторичными, по отношению к ним. И это очевидно -прежде чем заниматься анализом данных, необходимо эти данные произвести, а именно, это и является одной из функций СОД [61].
Однако за последние два-три года ситуация существенно изменилась. И это непосредственно связано с тем, что практически в любой организации сложилась хорошо всем знакомая парадоксальная ситуация - «информация вроде бы, где-то и есть, её даже слишком много, но она неструктурированна, несогласованна, разрознена, не всегда достоверна, её практически невозможно найти и получить».
Именно на разрешение этого противоречия - отсутствие информации при ее наличии и даже избытке и нацелены концепции в рамках СППР: хранилищ
-5-
данных, витрин данных, On-Line Analitical Processing (далее OLAP), Data -mining [59,78,94,122,100,138,139,162,163].
Принять любое управленческое решение, невозможно не обладая необходимой для этого информацией. Для этого необходимо создание хранилищ данных, то есть процесс сбора, отсеивания и предварительной обработки данных с целью предоставления результирующей информации пользователям для дальнейшего анализа и создания отчетов [59,94,142].
Использование технологии OLAP позволяет аналитику посмотреть в удобном виде данные в виде «кубов», разворачивать и сворачивать их. OLAP предоставляет удобные быстродействующие средства доступа, просмотра и анализа деловой информации. Пользователь получает естественную, интуитивно понятную модель данных, организуя их в виде многомерных кубов. Нужный разрез или свод данных аналитик может проанализировать с помощью средств анализа данных [78,122,133,140].
Необходимость использования автоматизированного анализа данных стала очевидной в первую очередь из-за огромных массивов исторической и вновь собираемой информации. Другой причиной роста популярности анализа данных является объективность получаемых результатов. Человеку -аналитику, в отличие от машины, всегда присущ субъективизм, он в той или иной степени является заложником уже сложившихся представлений. Иногда это полезно, но чаще всего нет. Технология Data - mining не исключает полностью человеческую роль, но значительно упрощает процесс поиска знаний [100,109,139,162,163,130].
В качестве средств Data - mining всё большее распространение получают технологии на основе нейронных сетей. Нейросетевая методология находит все новые успешные применения в практике управления и принятия решений, в том числе - в финансовой и торговой сферах. Лежащая в ее основе теория
-6-
нелинейных адаптивных систем доказала свою полезность в целом ряде отраслей экономики и финансов.
Методы нейроматематики с каждым годом получают все большее распространение в различных сферах человеческой деятельности [18,19,21,28,29,37,40,42,44,67,95,97,105,107,1И,И4,И5,200,123,150,129,137,144 ,153,169,170,191]. Основными преимуществами нейросетевого моделирования перед другими направлениями являются [29,32,44,40,67,97,123,129]:
а) инвариантность методов синтеза нейронных сетей к размерности пространства признаков и размерам нейронной сети;
б) адекватность современным перспективным технологиям;
в) отказоустойчивость в смысле монотонного (постепенного), а не катастрофического изменения качества решения задачи в зависимости от числа вышедших из строя элементов;
г) высокая скорость формирования результата за счет естественного массового параллелизма функционирования;
д) высокая помехоустойчивость и адекватность;
е) возможность интеграции в одной модели переменных имеющих разную природу и типы значений;
ж) нечувствительность к наличию пропусков и искажений в данных;
з) неявный учет скрытого взаимного влияния известных переменных и реализация нелинейного влияния неизвестных параметров. Основными недостатками нейросетей, препятствующими их
использованию относятся:
а) невозможность вербализации нейросетевой базы знаний и, как следствие, неинтерпретируемость результата сформированного нейросетевой моделью;
б) необходимость наличия большого объема исходных данных для обучения и тестирования нейросетевой модели;
-7-
в) значительное время обучения нейросетевой модели;
г) необходимость обучения персонала основам теории искусственных нейронных сетей и работе с нейросетевыми программными комплексами.
Одной из важных задач Data — mining является прогноз, в частности для предприятий оптово - розничной торговли прогноз объема продаж. Объем продаж - один из ключевых показателей, характеризующих деятельность коммерческой фирмы [9,50,69,85,99]. Товароведам необходимо знать примерное количество продукции, которое они смогут реализовать в ближайшее время, для того, чтобы, с одной стороны, иметь достаточное количество товаров на складе, а с другой- не перегрузить склады продукцией, что особенно важно, если продукция имеет небольшой срок хранения. Обычно для решения данной задачи используются методы по последней скорости продаж и коэффициентов сезонности, а также статистические методы. Но данные методы не позволяют прогнозировать объем продаж с необходимой точностью. Также в больших организациях обычно несколько тысяч позиций продаваемых товаров. Проводить качественный анализ продаж и его прогнозирование, в ручном режиме, в том числе с помощью нейронных сетей, является трудной, зачастую неразрешимой задачей. Для этого необходимо построение автоматизированных систем прогнозирования. Одним из перспективных подходов для построения таких систем является использование нейронных сетей и обучения с подкреплением.
Актуальность этой диссертационной работы заключается в следующих выводах:
1. Разработка нейросетевой топологии «внутренний учитель» и метода обучения самообучению для создания нейросетевой имитационной модели является серьезным вкладом в развитие направления создания нейросетевых интеллектуальных систем;
-8-
2. Реализация метода обучения самообучению полностью на нейросетевой архитектуре является передовым методом построения адаптивных систем;
3. Программная реализация метода нейросетевого моделирования с использованием топологии «внутренний учитель» в составе СППР предприятия позволит создать мощное и доступное средство прогнозирования;
4. Реализация адаптивной модели прогнозирования, работающей без участия пользователя, позволяет значительно повысить привлекательность нейросетевых методов прогнозирования.
5. Создание СППР позволит получить доступное средство для оперативного анализа и управления предприятием.
На основании перечисленных требований к методам нейросетевого моделирования процессов, сформулированы вопросы, отражающие научную проблему:
1. Возможно ли качественное обучение нейронной сети при заведомо недостаточном количестве исходных данных?
2. Как обеспечить интерпретируемость результатов работы нейросети?
3. Возможна ли реализация метода обучения самообучению полностью на нейросетевой архитектуре?
4. Возможно ли создание обобщенной методологии построения адаптивных систем управления на основе нейросетевых технологий?
5. Возможно ли создание нейросетевой системы прогнозирования, работающей и обучающейся в автоматическом режиме, без участия эксперта?
6. Каким образом реализовать доступность нейросетевого моделирования для конечного пользователя?
-9-
Целью работы является разработка архитектуры СППР предприятия; разработка метода обучения самообучению с использованием принципов SMP; разработка нейросетевой топологии для метода обучения самообучению и осуществить ее программную реализацию в составе нейросетевой моделирующей системы; создание на основе топологии адаптивной модели прогнозирования.
С помощью моделирующего комплекса необходимо создать имитационную модель прогнозирования объема продаж предприятия, отличающуюся высокой адекватностью и необходимой точностью. Модель должна включать возможность проведения различных экспериментов с данными. При работе с моделью исследователю (пользователю) должна предоставляться возможность устанавливать зависимости, соотношения и допущения, выражающие взаимосвязи различных элементов системы, возможность оценивать их влияние на функциональное состояние системы.
Для достижения указанных целей были поставлены и реализованы следующие задачи:
- исследовать существующие методы построения систем управления на основе обучения с подкреплением;
- провести сравнительный анализ методов построения СППР предприятия;
- разработать метод обучения самообучению с использованием принципов SMP;
- разработать нейросетевую топологию для построения адаптивных систем на основе предложенного метода обучения;
- реализовать топологию в составе нейросетевой моделирующей системы;
- разработать архитектуру СППР предприятия оптово - розничной торговли;
-10-
- разработать адаптивную модель прогнозирования объема продаж на основе предложенных топологии и метода обучения в рамках модуля Data -mining в составе СППР;
- провести экспериментальные исследования прогнозирования с помощью различных методов;
- оценить эффективность предложенных метода обучения и топологии. Содержание диссертационной работы отражает реализацию
поставленных задач.
В первой главе выполнен анализ текущего состояния проблемы использования СППР в деятельности предприятий. Рассмотрены модели построения OLAP и Data - mining систем. Проведен анализ существующих методов обучения с подкреплением (Q-learning, сети адаптивной критики и других) с использованием нейронных сетей, рассмотрена методика SMP. Выявлены достоинства и недостатки существующих методов.
Во второй главе обоснован и описан метод создания топологии «внутренний учитель». Разработанный метод позволяет обучить нейросеть на небольшом количестве примеров, а также дообучать (переобучать) в режиме реального времени по мере поступления новой информации, без участия эксперта (впрочем, последний может корректировать процесс обучения). Это позволяет использовать данный метод для моделирования динамических процессов, в которых наибольшую достоверность имеют самые свежие данные, или процессов, для которых, на начальном этапе, не представляется возможным создать обучающее множество необходимого размера. За счет использования принципов обучения с подкреплением система выполняет задачу с заданным показателем качества. Использование метода обучения самообучению предоставляет системе уникальную возможность изменения стратегии и тактики поведения.
-11-
В третьей главе разработаны структура хранилища данных предприятия, OLAP - система и модуль Data - mining на основе нейросетевой топологии «внутренний учитель» и обоснована целесообразность применения нейросетевых методов для прогнозирования финансовых показателей предприятия. Приведен пример применения топологии «внутренний учитель» для прогнозирования объема продаж товаров предприятия.
В четвертой главе проведено сравнение результатов анализа данных полученных при помощи топологии «внутренний учитель», классической нейронной сети с алгоритмом SMP/SSA и метода математической статистики. Также рассмотрены возможные пути дальнейшего развития методики.
В заключении описаны выводы и результаты проделанной работы.
В приложении 1 приводится анализ современных нейропакетов.
В приложении 2 приводится описание и руководство по использованию разработанной системы нейросетевого моделирования NNWizard.
Задачи исследования решены с использованием методов теории искусственных нейронных сетей, системного анализа, математической статистики, нечеткой логики и искусственного интеллекта.
Научная новизна исследования заключается в следующих результатах:
- разработан метод обучения самообучению с использованием принципов SMP;
- разработана нейросетевая топология «внутренний учитель» для метода обучения самообучению, позволяющая объекту управления выполнять задачу с заданным коэффициентом эффективности и изменять поведение в зависимости от состояния среды;
- предложена модель топологии «внутренний учитель» на основе нечеткой логики;
-12-
- разработана архитектура системы поддержки принятия решений предприятия с использованием технологий: хранилищ данных, витрин данных, OLAP и Data - mining;
- разработана адаптивная модель прогнозирования объема продаж предприятия на основе топологии «внутренний учитель» и метода обучения самообучению.
Практическая значимость работы заключается в разработке и апробации метода создания нейросетевых моделей, разработке нейросетевой моделирующей системы NNWizard для создания, исследования и применения нейросетевых имитационных моделей. Система NNWizard используется для прогнозирования объема продаж предприятия и поддержки принятия решений. Основные положения, выносимые на защиту:
- метод обучения самообучению с использованием принципов SMP;
- метод создания нейросетевой модели на основе топологии «внутренний учитель»;
- система поддержки принятия решений предприятия с использованием технологий хранилищ данных, витрин данных, OLAP и Data - mining;
- адаптивная модель прогнозирования на основе топологии «внутренний учитель» и метода обучения самообучению
- результаты сравнительного анализа прогнозирования объема продаж созданных тремя способами: регрессионная модель, нейросетевая модель с использованием алгоритма SMP/SSA, модель созданная на основе топологии «внутренний учитель».
Разработанная система поддержки принятия решений внедрена в ООО «Трансазия Трейд».
Разработанная система нейросетевого моделирования внедрена в ООО «Трансазия Трейд» и ООО «Престиж».
-13-
Основной материал работы опубликован в 5 научных статьях и 3 тезисах докладов. Подана заявка о выдаче патента на изобретение.
Диссертация состоит из введения, четырех разделов, заключения, списка использованной литературы и приложений. Ее общий объем составляет 158 страниц текста, содержащего 13 таблиц и 32 рисунка.
-14-
Глава 1. Системы поддержки принятия решений
1.1 Понятие системы поддержки принятия решений
СППР - основа ИТ - инфраструктуры различных компаний, поскольку эти системы дают возможность преобразовывать обширную бизнес - информацию в ясные и полезные выводы. Сбор, обслуживание и анализ больших объемов данных - это гигантские задачи, которые требуют преодоления серьезных технических трудностей, огромных затрат и адекватных организационных решений. СППР можно, в зависимости от данных, с которыми они работают, разделить на оперативные, предназначенные для немедленного реагирования на текущую ситуацию, и стратегические - основанные на анализе большого количества информации из разных источников с привлечением сведений, содержащихся в системах, аккумулирующих опыт решения проблем [61,94,51]. В данной работе нас интересует второй тип СППР.
СППР второго типа предполагают достаточно глубокую проработку данных, специально преобразованных так, чтобы их было удобно использовать в ходе процесса принятия решений. Такого рода системы создаются только в том случае, если структура бизнеса уже достаточно определена и имеются основания для обобщения и анализа не только данных, но и процессов их обработки. Если СППР первого типа, есть не что иное, как развитие системы оперативного управления производственными процессами, то СППР второго типа, в современном понимании - это механизм развития бизнеса, который включает в себя некоторую часть управляющей информационной системы, обширную систему внешних связей предприятия, а также технологические и маркетинговые процессы развития производства.
СППР - сложная структура с многочисленными компонентами (рисунок 1). Прежде чем создавать систему, которая предоставляет информацию для
-15-
поддержки принятия решений, необходимо рассмотреть и решить три основных вопроса:
• какие данные накапливать и как на концептуальном уровне моделировать данные и управлять их хранением;
• как эффективно загрузить данные из нескольких независимых источников;
• как анализировать данные.
Внешний источник
Репозитарий
Серверы OLAP
\ Базовые средства: \ извлечение ) преобразование / труяса
/ обновление
хд
Анализ данных
Запросы/отчеты
Добыча данных
Источники данных Вш?ты данных
Рисунок 1 - Структура СППР
Поскольку конструирование хранилища данных - сложный процесс, который может занять продолжительное время, вместо этого строят витрины данных (Data Mart), содержащие информацию для отдельных подразделений [94].
-16-
I?
Инструментарий оперативной аналитической обработки данных позволяет проводить развернутый анализ информации. Базовые инструменты - средства извлечения, преобразования и загрузки - служат для пополнения хранилищ из внешних источников.
Необходимо отметить, что нет универсальных подходов к построению СППР. Хранилище данных необходимо создавать с учетом возможностей подключения средств OLAP и Data - mining. Такие линейки продуктов, на данный момент времени, поставляют только Oracle и Microsoft, во всех 4 остальных случаях ХД и OLAP получаются разных производителей, то есть, необходима ювелирная состыковка продуктов. Добавление средства Data -mining - всегда превращается в головную боль службы «IT», т. к. часто приходится писать конвертеры данных в нужный формат и состыковывать продукты Data — mining с OLAP и хранилищем данных.
1.1.1 Хранилище данных
Хранилища данных содержат информацию, собранную из нескольких оперативных баз данных [4,30,59,106,142]. Хранилища, как правило, на порядок больше оперативных баз данных, зачастую имея объем от десятков гигабайт до нескольких терабайт. В основном, хранилище данных поддерживается независимо от оперативных баз данных организации, поскольку требования к функциональности и производительности аналитических приложений отличаются от требований к транзакционным системам. Хранилища данных создаются специально для приложений поддержки принятия решений и 4 предоставляют накопленные за определенное время, сводные и консолидированные данные, которые более приемлемы для анализа, чем детальные индивидуальные записи. Рабочая нагрузка состоит из нестандартных, сложных запросов, которые обращаются к миллионам записей и выполняют огромное количество операций сканирования, соединения и агрегирования.
-17-
Время ответа на запрос в данном случае важнее, чем пропускная способность. Существуют основные требования к хранилищам данных [147]:
• поддержка высокой скорости получения данных из хранилища;
• поддержка внутренней непротиворечивости данных;
• возможность получения и сравнения так называемых срезов данных;
• наличие удобных утилит просмотра данных в хранилище;
• полнота и достоверность хранимых данных;
• поддержка качественного процесса пополнения данных. Удовлетворить всем перечисленным требованиям в рамках одного и того
же продукта зачастую не удается. Поэтому для реализации хранилищ данных обычно используется несколько продуктов, одни их которых представляют собой собственно средства хранения данных, другие — средства их извлечения и просмотра, третьи — средства их пополнения и т.д. Преимущества использования хранилищ данных:
• быстрое внедрение за счет отсутствия этапа перегрузки данных в специализированную систему;
• минимальные затраты за счет использования одной платформы. Недостатки:
• единственный источник данных, потенциально ссужающий круг вопросов, разрешаемых системой;
• отсутствие этапа очистки данных - данные функциональной СППР имеют, как правило, невысокое качество.
Системы баз данных используют избыточные структуры, такие как индексы и материализованные представления для эффективной обработки сложных запросов. Определение самого подходящего набора индексов и представлений - это сложная задача формирования физической архитектуры

Получить работу