ВВЕДЕНИЕ
Современное состояние и актуальность темы исследований. Существует множество работ по многомерному статистическому анализу [13,31,36,44, 45,47,94,95,108,114], содержание которых указывает на актуальность и эффективность применения соответствующего математического аппарата в различных областях знаний, таких как экономика, биология и медицина. При этом в практике статистического анализа возникает существенно больше постановок задач, чем предлагается решений в классической математической статистике [101]. Разнообразие статистических гипотез, выдвигаемых в процессе статистического анализа в различных приложениях, оказывается существенно шире предлагаемого классическим аппаратом. Классический аппарат включает в себя ограниченный перечень задач проверки статистических гипотез, для которых найдены предельные распределения статистик, используемых в соответствующих критериях. Поэтому классические результаты оказываются применимыми при выполнении достаточно строгих предположений, которые на практике часто не имеют места.
С другой стороны, для обнаружения закономерных связей можно использовать аппарат анализа данных [53,54,63,64], когда рассматриваемые объекты представляются как «черные ящики». В данном случае на анализируемые данные не накладываются какие—либо строгие ограничения. Но применение такого подхода обычно привязано к определенному классу задач, например, распознавание образов, и поэтому далеко не всегда удается использовать методы анализа данных в растущем множестве различных статистических задач.
Таким образом, можно говорить о наличии в математической статистике множества «пробелов», которые чаще всего связаны с проверкой разного рода статистических гипотез. В этом случае вопрос обычно упирается в необходимость нахождения предельного распределения статистики построенного критерия или распределения статистики при заданном объеме выборки* Как правило, нахождение предельного закона для статистики критерия проверки конкретной гипотезы аналитическими методами оказывается чрезвычайно
сложной задачей, а задач, требующих разрешения, — слишком много [124].
В большинстве случаев отсутствие необходимых теоретических результатов объясняется сложностью и трудоемкостью получения решений аналитическими методами. Можно констатировать, что количество и уровень сложности задач, выдвигаемых практикой, возрастают настолько быстро, что ресурсы человеческого интеллекта, его производительность просто не в состоянии обеспечить решение такого множества задач без создания и использования соответствующих вычислительных технологий.
Сегодня в связи с бурным развитием и внедрением персональных компьютеров, особую актуальность приобретает задача обеспечения высокого качества пакетов прикладных статистических программ. Несмотря на то, что, рынок насыщен различными пакетами программных систем статистического анализа [22,115], реализуемые в них методы и алгоритмы сильно отстают от последних достижений в области статистических исследований. С одной стороны это объясняется, прежде всего, тем, что подробное описание последних результатов исследований очень сложно отыскать в литературных источниках, поэтому они остаются труднодоступными для разработчиков программного обеспечения. К сожалению, с другой стороны необходимо отметить и то, что в некоторых работах встречаются ошибки применения статистических методов [98], что также не облегчает быстрое внедрение новых методов в программные пакеты.
Перспективы программного обеспечения по статистическому анализу данных обсуждались в работах [27-30,38], современные проблемы внедрения прикладной статистики поднимались в [100]. Расширяющиеся использование ЭВМ и их совершенствование в свою очередь отражается на развитии статистических методов и использовании статистических методов в приложениях [14,32,35,42,48,56,65,104,109,116,120].
Вышесказанное подчеркивает необходимость (а практика уже показывает возможность [61,67,81,82,86,89,90]) развития компьютерных методов исследования статистических закономерностей, компьютерных методов исследования свойств оценок и статистик различных критериев проверки статистических ги-
потез, построения вероятностных моделей для исследуемых закономерностей. Это позволяет с меньшими интеллектуальными затратами получать фундаментальные знания в области математической статистики, и, следовательно, осуществлять корректные статистические выводы при анализе данных в различных прикладных областях.
В последние годы при исследовании некоторых задач математической и прикладной статистики получено множество результатов, связанных с исследованием распределений статистик критериев согласия в случае проверки простых и сложных гипотез [84,86-88], с исследованием статистических свойств различных оценок [69,91], полученных как раз благодаря применению методов компьютерного моделирования. Накопленный опыт в данной области показал, что с использованием методов статистического моделирования и последующего анализа можно получать результаты по точности не уступающие аналитическим. Например, при оценивании параметров распределений некоторых законов в случаях проверки сложных гипотез с использованием методов статистического моделирования, когда наиболее часто применяют метод Монте-Карло [37,49,51,52,113], были получены таблицы процентных точек для предельных распределений статистик непараметрических критериев [5,17,23,24,117-119, 121]. В этой связи появилась обоснованная уверенность, что с использованием данного подхода можно закрывать многие существующие в прикладной статистике «пробелы», применяя относительно простой вычислительный и математический аппарат.
В различных приложениях статистического анализа многомерных случайных величин одну из ключевых позиций занимают задачи корреляционного анализа [122]. В процессе решения задач корреляционного анализа выявляется наличие и характер взаимосвязи величин, взаимозависимости величин при устранении влияния совокупности других или зависимости одной случайной величины от группы величин. Вычисляются оценки коэффициентов и матриц парной, частной и множественной корреляции, проверяются различные статистические гипотезы относительно параметров многомерного распределения и коэффициентов корреляции. На основании результатов корреляцион-
8
ного анализа может делаться вывод о наличии и характере функциональной зависимости или предпочтительности для описания исследуемого объекта регрессионной модели того или иного вида.
В основе существующего аппарата корреляционного анализа лежит предположение о принадлежности наблюдаемого случайного вектора многомерному нормальному закону/Базируясь на этом, получены предельные распределения статистик, используемых в критериях многомерного анализа [2,16,33,57-59].
На практике, исследователь далеко не всегда имеет дело с нормальным законом [16,94,99]. Как правило, многие исследователи вообще не придают значения проверке этого важного предположения корреляционного анализа, либо они вынуждены «в силу обстоятельств» работать только с многомерными величинами, имеющим нормальное распределение, как это сделано в работах [31,114]. Например, в нашей жизни достаточно мало экономических процессов, отклонения которых распределены по нормальному закону. Поэтому данное ограничение приводит к сужению области применения корреляционного анализа в экономике. Естественно, возникает вопрос о справедливости выводов, получаемых на основании результатов корреляционного анализа при нарушении основного предположения. В доступной литературе ответ на данный вопрос найден не был, хотя можно найти указания на робастность некоторых критериев, применяемых в многомерном анализе.
Целью данной диссертационной работы явилось стремление разобраться, что будет происходить с распределениями различных статистик корреляционного анализа, если наблюдаемый закон будет отличаться от многомерного нормального.
Немаловажен и такой аспект. Большинство наиболее весомых результатов в математической статистике имеет асимптотический характер. На практике же всегда имеют дело с ограниченными объемами наблюдений. И свойства используемых статистик в таких ситуациях порой существенно отличаются от асимптотических. Не являются исключением и предельные распределения статистик корреляционного анализа, которые получены для выборок многомерных величин с объемом п —> оо [2,33,57,58]. На практике исследователю
важно знать конечные объемы выборок, начиная с которых можно пользоваться найденными предельными законами. Поэтому в процессе проводимых исследований можно оценить объемы выборок, которые могут быть рекомендованы как достаточные для принятия правильного решения по соответствующему критерию корреляционного анализа.
Очевидно, что ответить на поставленные вопросы, используя аналитические методы, чрезвычайно сложно из-за нетривиальности возникающих задач. Поэтому в основу проводимого исследования положена развиваемая на кафедре прикладной математики НГТУ методика компьютерного моделирования и анализа статистических закономерностей.
Цели и задачи исследований. Основной целью диссертационной работы является исследование поведения (предельных) законов распределений статистик многомерного анализа в случае принадлежности наблюдаемых случайных величин многомерным законам распределения, отличным от нормального.
Для достижения поставленной цели было предусмотрено решение следующих задач:
- исследование эмпирических распределений статистик корреляционного анализа в случае многомерного нормального закона для подтверждения теоретических результатов и выявления скорости сходимости распределений к соответствующим предельным;
- моделирование многомерных законов, отличных от нормального, с заданными вектором математических ожиданий, ковариационной матрицей и задаваемой мерой отклонения от нормального;
- исследование распределений статистик, используемых при проверке гипотез о векторе математических ожиданий и ковариационной матрице, в случае многомерных законов, отличающихся от нормального;
- исследование распределений статистик, используемых при проверке гипотез о парном, частном и множественном коэффициентах корреляции, в случае многомерных законов, отличающихся от нормального;
- исследование влияния способов группирования и количества интервалов на оценку корреляционного отношения, исследование критериев,
10
используемых при проверке гипотез о корреляционном отношении;
- исследование критериев проверки гипотез о математическом ожидании и дисперсии в одномерном случае при наблюдениях, не подчиняющихся нормальному закону.
Методы исследования. Для решения поставленных задач использовался аппарат теории вероятностей, математической статистики, вычислительной математики, математического программирования, статистического моделирования.
Научная новизна диссертационной работы заключается в:
- результатах исследования распределений статистик многомерного анализа данных при нарушении предположений о нормальном законе многомерных случайных величин;
- результатах исследования распределений статистик критериев, используемых при проверке гипотез о математическом ожидании и дисперсии, в случае принадлежности наблюдений семейству симметричных распределений;
- методе моделирования многомерных случайных величин по законам, заданным образом отличающихся от нормального.
Основные положения, выносимые на защиту.
1. Результаты исследования сходимости распределений статистик многомерного анализа к предельным распределениям в зависимости от объема выборки при наблюдаемом нормальном законе случайных векторов.
2. Подход и алгоритм моделирования многомерного закона распределения, отличающегося от нормального, с заданными вектором математических ожиданий и ковариационной матрицей.
3. Результаты исследований распределений статистик многомерного анализа для ситуаций, когда наблюдаемый многомерный закон отличается от нормального.
4. Результаты исследований распределений статистик критериев, используемых для проверки гипотез о математическом ожидании и дисперсии.
11
Практическая ценность и реализация результатов. Результаты исследования распределений статистик классического корреляционного анализа позволяют существенно расширить сферу корректного применения ряда критериев на многомерные законы, в достаточно широких пределах отличающиеся от нормального (более островершинных или более плосковершинных). Для законов такого вида показано, что распределения статистик, используемых в критериях проверки гипотез о векторе математических ожиданий и о нулевых значениях парного, частного и множественного коэффициентов корреляции, по-прежнему хорошо описываются классическими предельными распределениями. В случае других исследуемых критериев выявлена явная зависимость от наблюдаемого многомерного закона. Предложен метод моделирования многомерных случайных векторов с задаваемым параметром отклонения от многомерного нормального закона.
Апробация работы. Основные результаты исследований докладывались на Новосибирской межвузовской НТК «Интеллектуальный потенциал Сибири» (Новосибирск, 2000); Российской НТК «Информатика и проблемы телекоммуникаций» (Новосибирск, 2000, 2001, 2002, 2003, 2004); V международной конференции «Актуальные проблемы электронного приборостроения АПЭП-2000» (Новосибирск, 2000); Региональной НТК студентов, аспирантов, молодых ученых «Наука. Техника. Инновации» (Новосибирск, 2001); Всероссийской НТК «Информационные системы и технологии ИСТ-2001» (Нижний Новгород, 2001); VI международной конференции «Актуальные проблемы электронного приборостроения АПЭП-2002» (Новосибирск, 2002); Региональной конференции «Вероятностные идеи в науке и философии» (Новосибирск, 2003); всероссийской НТК «Информационные системы и технологии ИСТ-2004» (Нижний Новгород, 2004). Исследования по теме диссертации были поддержаны грантом Минобразования РФ (проект № АОЗ-2.8-280), вошли составной частью в работы, поддержанные Российским фондом фундаментальных исследований (проект № 00-01-00913) и грантом Минобразования РФ (проект № Т02-3.3-3356).
12
Публикации. По теме диссертации опубликовано 16 печатных работ. Среди которых 8 публикаций отражают основные результаты исследований.
Структура работы. Диссертация состоит из введения, 6 глав основного содержания, включая 11 таблиц и 48 рисунков, заключения, списка использованных источников и приложения.
Краткое содержание работы. В первой главе представлен обзор проблем, связанных с встречающимися на практике многомерными наблюдениями, не подчиняющимися нормальному закону, и, как следствие, неприменимости ряда критериев многомерного анализа данных. Даются основные определения и теоремы, на которых базируется классический аппарат корреляционного анализа.
Во второй главе исследуются распределения классических статистик, используемых в критериях проверки гипотез о математических ожиданиях и дисперсиях, если наблюдаемый закон в той или иной мере отличается от нормального.
В третьей главе исследуются распределения статистик критериев, используемых при проверке гипотез о векторе математических ожиданий и ковариационной матрице, в случае многомерных законов, отличных от нормального.
В четвертой главе приводятся результаты исследования распределений статистик, применяемых в критериях проверки гипотез о парном, частном и множественном коэффициентах корреляции.
В пятой главе рассматриваются проблемы, связанные с вычислением оценки корреляционного отношения и влиянием различных способов группирования на получаемую оценку, исследуются критерии проверки гипотез о корреляционном отношении.
Во шестой главе дано краткое описание исследовательской программной системы и предлагается метод моделирования многомерных случайных величин с заданным «отклонением» от многомерного нормального закона. Показывается различие между моделируемым и многомерным нормальным законами.
13
ГЛАВА 1 ПОСТАНОВКА ЗАДАЧ ИССЛЕДОВАНИЯ
1.1. Основные понятия и определения
Введем для дальнейшего использования следующие обозначения:
Xi, X2,..., Хп — выборка из п наблюдений m-мерного случайного вектора;
М = [М»]^! — математическое ожидание случайного вектора X;
? = [T{j — парный коэффициент корреляции между компонентами Xi и Xj случайного вектора X;
i~ij.i+i,...,m — частный коэффициент корреляции между компонентами Xi и Xj случайного вектора X при исключении влияния компонент Xi+\,..., Хт;
fii+i,...,m — множественный коэффициент корреляции между Xi и множеством компонент Xi+i,..., Хт случайного вектора X;
pij — корреляционное отношение компоненты Xi по Xj случайного вектора X;
М и Е — несмещенные оценки максимального правдоподобия (ОМП) математического ожидания и ковариационной матрицы, которые вычисляются по следующим формулам
-.71 .. П гр
М У\Х t У2(Хм) (XМ)
п *-*' n —
i=i t=i
Tij, riji+\,...,m, Ti.i+i,...,m и pfj — ОМП соответствующих величин,вычисляемых по формулам (4.1), (4.5), (4.8) и (5.2).
В диссертации рассматриваются различные выборочные оценки по моделируемым псевдослучайным величинам. Основным методом нахождения оценок является метод максимального правдоподобия для негруппированных данных. И только для вычисления оценки корреляционного отношения требуется группирование данных по одной из компонент случайного вектора.
Введем определение и рассмотрим используемые далее способы группирования для одномерных случайных величин [62].
14
Определение 1. Выборка называется негруппированной, если выборочные значения представляют собой индивидуальные значения наблюдений из области определения случайной величины:
где п — объем выборки.
Определение 2. Выборка называется группированной, если область определения случайной величины разбита на к непересекающихся интервалов граничными точками:
— ОО < X(i) < . . . < X(jt_x) < +ОО,
и зафиксированы количества наблюдений пи попавших в 1-й интервал значе-
к
ний. Объем выборки п = ]Г) щ.
i=\
Существует несколько способов разбиения области определения случайной величины на интервалы. Наиболее часто используют интервалы равной длины или равной частоты. Самым простым способом является равноинтер-вальное группирование (РИГ). Равночастотное группирование (РЧГ) подразумевает разбиение области определения так, чтобы частота попадания щ в каждый интервал была одинаковой. В работе также применяется асимптотически оптимальное группирование (АОГ), где разбиение осуществляется по граничным точкам из таблиц асимптотически оптимального группирования для стандартной нормальной величины при оценивании параметра сдвига и масштаба. Более подробную информацию об асимптотически оптимальном группировании можно найти в [43], где приведены еще и таблицы АОГ для других одномерных законов.
В процессе исследований часто возникает задача проверки того, насколько хорошо эмпирическое распределение той или иной статистики согласуется с некоторым теоретическим распределением. При ее решении используются различные критерии согласия.
Определение 3. Гипотеза вида Яо : F(x) = F(x,6), где F(x,6)— функция распределения вероятностей, с которой проверяется согласие наблюдаемой
15
выборки независимых одинаково распределенных величин Х\} Хг,..., Хп называется простой, если в — известное значение параметра (скалярного или векторного).
Определение 4. Гипотеза вида Яо : F(x) e {F(x, в), в е п} называется сложной, если в качестве значения неизвестного параметра в используется его оценка в, вычисленная по той же выборке, по которой проверяется гипотеза о согласии. Если оценка в вычислена по другой выборке, то гипотеза простая.
Проверка гипотезы о согласии эмпирического распределения с теоретическим осуществляется по следующей схеме [111,112]. Для выбранного критерия вычисляется значение S* статистики критерия S как некоторой функции от выборки и закона распределения, с которым проверятся согласие. Для используемых на практике критериев обычно известны предельные распределения G(S\Hq) соответствующих статистик при условии истинности основной гипотезы Щ. Гипотеза о согласии не отвергается, если
P{S > S*} =- [ g{S)dS > a,
s*
где а —заданный уровень значимости, g{S) — плотность распределения G(S\Hq). Вероятность P{S > S*} позволяет судить о степени согласия, так как по существу, представляет собой вероятность истинности основной гипотезы. В дальнейшем будем называть вероятность Р{S > 5*}—достигнутым уровнем значимости.
Задачи проверки статистических гипотез опираются на выборки независимых случайных величин. Случайность самой выборки предопределяет, что возможны и ошибки в результатах статистических выводов. С результатами проверки гипотез связывают ошибки двух видов: ошибка 1-го рода состоит в том, что отклоняется гипотеза Яо, когда она верна; ошибка 2-го рода состоит в том, что принимается гипотеза Яо, в то время как справедлива альтернативная гипотеза Н\. Величина а задает вероятность ошибки 1-го рода. Если гипотеза Н\ определена, то задание а определяет и вероятность ошибки 2-го рода ? для используемого критерия проверки гипотез. Мощность критерия представ-
16
ляет собой величину 1 — ?. Понятно, что чем выше мощность используемого критерия при заданном значении а, тем лучше критерий различает гипотезы #о и Яь Особенно важно, чтобы используемый критерий хорошо различал близкие альтернативы.
Некорректное использование критериев согласия может приводить к необоснованному принятию или необоснованному отклонению проверяемой гипотезы. С рекомендациями по использованию критериев согласия можно ознакомиться в [43,85,111,112].
1.2. Задачи корреляционного анализа
1.2.1. Критерии проверки гипотез о векторе математических ожиданий и ковариационной матрице
Важными статистическими задачами корреляционного анализа являются задачи проверки гипотез о том, что вектор математических ожиданий нормального распределения является данным вектором. Эти задачи,могут быть рассмотрены в предположении, что ковариационная матрица Е известна из ранее проводимых экспериментов, или неизвестна, тогда она должна быть оценена.
Критерии для проверки гипотез о векторе математических ожиданий, основываются на следующих двух теоремах \2-А, 18,19,25,33,59].
Теорема 1. Если проверяемая гипотеза для выборки объема п, взятой из совокупности с нормальным законом N(M, S), имеет вид Щ : М = Mq и ковариационная матрица Е известна, тогда гипотеза Щ не отклоняется с уровнем значимости а при выполнении неравенства
п(М - Мо)тТ,'\М - Щ < х^гИ, (1.1)
где распределение F(x) левой части неравенства есть х2~распределение с m степенями свободы, и Хт(а) удовлетворяет равенству
17
Р{х<х2т(а)}= j dF(x) = l-a. (1.2)
о Теорема 2. Когда ковариационная матрица Е неизвестна и проверяется
гипотеза Яо : М = Мо по выборке т—мерного случайного вектора объема п, полученной из совокупности с нормальным законом N(M, S), то гипотеза Но не отвергается для уровня значимости а, если
П^й - Mo) < Fm,n_m(a), (1.3)
где распределение F(x) левой части неравенства есть F—распределение Фишера с тип — т степенями свободы, и Fm>n-m(a) удовлетворяет равенству
Р{х <¦Fm.n-mW} = / dF{x) = l-a. (1.4)
о
Задачи проверки гипотез о ковариационной матрице имеют вид Яо : S = Ео, где Ео — номинальное значение ковариационной матрицы. Подразумевается, что вектор математических ожиданий будет оцениваться по исследуемой выборке. В случае, когда проверяется совместная гипотеза о векторе математических ожиданий и о ковариационной матрице, тогда гипотеза имеет вид Но : М = Mo, S = So. В корреляционном анализе для задач о ковариационных матрицах используют критерии, определяемые следующими теоремами [2,11,33].
Теорема 3. Если проверяемая гипотеза имеет вид Hq : S = So для т— мерных случайных векторов Xi,..., Хп, подчиняющихся нормальному закону N(M, E), тогда отношение правдоподобия имеет вид
(1.5)
га,.....
где
~'~ *W~ ЛЧТ (1.6)
г=1
|
