ВВЕДЕНИЕ
Круг проблем, связанных с необходимостью изучения внутренней структуры языка и применения результатов таких исследований на практике, к настоящему времени стал чрезвычайно широк. Вызвано это в первую очередь тем, что за последнее десятилетие существенно возросло количество и произошли качественные изменения систем автоматической обработки текста, опирающихся на глубинные структуры языка и оперирующих сложными плохо формализуемыми элементами. Подобные системы требуют серьезной экспертной оценки.
Современные экспертные оценки опираются на сложный математический аппарат, в основе которого, по большей части, лежат методы математической статистики и теории вероятностей. Такой тип экспертных оценок далеко не всегда подходит для систем автоматической обработки текста на естественном языке, который принадлежит числу плохо формализуемых систем. На первый взгляд, если преследовать сугубо конкретную цель, как, например, создание новой системы оценки и проведение собственно процесса оценки, то невозможно говорить о влиянии полученных результатов (как практических, так и теоретических) на формирование каких-либо общих теорий, имеющих ценность для языкознания в целом. Тем не менее, в прикладном языкознании действует тот же закон, что и в других науках - закон взаимного влияния сугубо прикладных исследований на теоретические и наоборот. Это подтверждается созданием прикладных моделей в разных областях лингвистики.
За последнее десятилетие XX века рост быстродействия компьютеров, объемов их оперативной и внешней памяти, пропускной способности внешних устройств и каналов связи качественно изменил
ситуацию в вычислительной технике и сферах ее применения. Современная прикладная лингвистика не обходится без активного использования вычислительной техники, а компьютер превратился по сути в новое орудие труда прикладного лингвиста. Однако в наши дни наблюдается существенный разрыв между возможностями аппаратных средств компьютеров и применяемыми методами решения прикладных задач. Наиболее освоенные на сегодня методы базируются на хорошо формализованных алгоритмах, полученных в результате построения математических моделей предметных областей. Чаще всего это трудоемкие расчеты по известным формулам, либо сравнительно простые последовательности действий, приводящие после многократного повторения к желаемому результату (итерационные алгоритмы). В практической же деятельности многие актуальные задачи относятся к типу плохо формализуемых, особенно если дело касается естественного языка, для которого неизвестны аналитические зависимости или цепочки действий, приводящие к результату без интеллектуального вмешательства человека.
До последнего времени для решения плохо формализуемых лингвистических задач просто не хватало ресурсов вычислительной техники, и поэтому было бессмысленно ставить саму проблему серьезного их решения. Сегодня создание алгоритмов и прикладных программ, наиболее полно использующих ресурсы современных компьютеров для решения нечетких задач, к которым относятся и лингвистические, является весьма актуальной проблемой.
Как правило, в плохо формализуемых задачах имеется некоторый набор параметров, описывающих объекты предметной области, причем, нельзя с уверенностью сказать, что этот набор параметров наверняка полон и адекватен, а сами измеренные значения параметров также в
совокупности полны, непротиворечивы и не искажены. Все это не позволяет применять для решения плохо формализуемых задач традиционные статистические методы, методы оптимизации и аппроксимации.
Методы решения плохо формализуемых задач базируются, как правило, на обработке эмпирических данных, накопленных в результате ряда измерений и экспериментов. Соответственно, одной из основных проблем является разработка способов организации хранения информации в базах данных, осуществления выборки и оценки результатов выборки данных о предметных областях в зависимости от решаемой задачи.
В связи с появлением мощных компьютеров в разных отраслях знания широко используется метод математических моделей, который применяется для решения прикладных задач в технических науках, при исследовании проблем экономики и социологии, в вопросах биологии, геологии и лингвистики, а также в тех разделах науки, которые несколько десятилетий тому назад казались недоступными для математического изучения. По мнению В.М. Глушкова, все более широкое использование компьютеров для изучения математических сторон различных научных проблем привело к тому, что математика обрела новое средство для своего развития, своеобразную форму научной практики, каким является математический эксперимент (или имитационное, численное моделирование).
Методы, основанные на нейросетевых алгоритмах, нечеткой логике, генетических алгоритмах, а также экспертные системы и ряд других направлений, составляют базу современных технологий прогнозирования на основе временных рядов данных, извлечения закономерностей из данных (data mining), создания систем поддержки принятия решений (DSS
decision support system), что аккумулируется термином "интеллектуальный анализ данных".
Для решения задач, относящихся к классу статистических, применяются обучаемые методом "проб и ошибок" нейронные сети, являющиеся байесовскими классификаторами, работающими а условиях отсутствия знания функций распределения вероятности. Нечеткая логика позволяет работать с параметрами, имеющими скорее качественную природу типа: "большой - маленький", а не точное значение, выражаемое определенной цифрой. Экспертные системы служат способом привлечения знаний экспертов для решения плохо формализованных задач. Все более широкое распространение получают экспертные системы на базе нечеткой логики.
Современное общество называют информационным. Для этого есть серьезные основания: в последние десятилетия резко возросли потоки информации во всех сферах человеческой деятельности и появились мощные технические средства ее передачи и обработки, однако, общение между странами и народами по-прежнему затруднено, и одной из основных трудностей остается языковой барьер. Традиционные методы преодоления языковых барьеров - это изучение иностранных языков и переводческая деятельность. Но с ростом экономических, политических и культурных связей между странами, а также в связи с повышением интенсивности информационных потоков между ними эти методы становятся недостаточными. Поэтому, несмотря на все трудности и используя многие доступные формальные методы, продолжают развиваться интеллектуальные системы, такие как системы машинного перевода, переводческие накопители, огромные по размеру и наполнению базы знаний поисковых систем, действующие как автономно, так и в среде сети Интернет, - в этом серьезная роль и большая заслуга прикладной
лингвистики, к задачам которой относится и оценка этих интеллектуальных систем.
Актуальность темы: в условиях информационного общества обилие разработанных и разрабатываемых интеллектуальных систем обработки текста, к которым относятся информационно-поисковые системы и системы машинного перевода в том числе, требует быстрой и адекватной оценки. Важно иметь представление о качестве систем как на стадии начальной разработки, так и на стадии готового продукта. Решение подобной задачи традиционными экспертными способами чрезвычайно трудоемко и, как правило, дает субъективный результат. Создание формальной методики решения этой проблемы - веление времени, тем самым тема диссертационной работы актуальна, как в теоретическом, так и практическом смысле Научная новизна работы определяется следующими результатами:
1. Разработан новый подход к оценке эффективности систем автоматической обработки текста с применением современного математического аппарата нечеткой логики, по сути экспертная система оценки интеллектуальных систем на базе нечеткой математики.
2. Создан новый комплекс критериев оценки интеллектуальных систем.
3. Разработанный подход является универсальным: нечеткие экспертные системы позволяют оценивать качество интеллектуальных систем с единых позиций в зависимости от требуемой степени точности и сложности оценки.
4. Проведено тестирование созданной системы оценки качества на трех типах интеллектуальных систем автоматической обработки текста -автоматизированном дистрибутивно-статистическом анализе (ДСА), системе машинного перевода (СМП), информационно-поисковой
системе (ИПС), в разработке которых автор принимал активное
участие. 5. В работе предложена новая типологическая классификация
электронных словарей и экспериментальная классификация
серьезности ошибок при русско-английском машинном переводе.
Научные положения, изложенные в работе, опираются на обширные аналитические исследования имеющихся в мировой науке работ по близкой тематике. В итоге создано новое направление оценки плохо формализуемых интеллектуальных систем на базе нечеткой логики. Объект исследования: существующие на настоящий момент формальные методы оценки интеллектуальных лингвистических систем разного типа, включая системы машинного перевода и информационно-поисковые системы. Цели и задачи:
- изучение и анализ существующих современных формальных методов автоматической обработки естественного языка;
- изучение и анализ формальных методов оценки интеллектуальных систем (ИС);
- обоснование необходимости создания формального метода оценки интеллектуальных систем на базе нечеткой логики и создание универсальной системы оценки на базе этого метода;
- тестирование разработанной системы на ИС разного типа: автоматизированном варианте ДСА, СМП и ИПС.
Теоретическая значимость: системы экспертных оценок представляют собой сложный аппарат, строящийся, как правило, на статистических методах. Такие методики не слишком хороши для систем автоматической обработки текста на естественном языке, поскольку язык принадлежит числу плохо формализуемых систем. Результаты исследования и оценок
автоматических систем обработки текста способны внести существенный вклад как в прикладное, так и теоретическое языкознание. Научные результаты фактически открывают новое направление создания систем оценки интеллектуальных лингвистических систем.
Практическая ценность: впервые создана универсальная система оценки автоматических систем обработки текста на базе нечеткой логики, способная оценивать эффективность разнообразных интеллектуальных систем по комплексу изменяемых критериев. Экспертная система является реально действующей в интегрированной среде MATLAB. Методы исследования: в первую очередь системный метод анализа существующих достижений в области создания автоматизированных систем и разнообразных систем оценки и определении научной целесообразности применения аппарата нечеткой логики для оценки лингвистических систем; метод моделирования при проектировании и разработке собственно экспертной системы на базе нечеткой логики; описательно-аналитический и типологический методы при сравнении полученных результатов оценки.
Материалом исследования послужили следующие автоматизированные системы обработки текста:
1) автоматизированный дистрибутивно-статический анализ, которым был обработан массив текстов объемом более 100 тыс. словоупотреблений, состоящий из текстов разных жанров (монография, научные статьи, рефераты из реферативного журнала, массив толкований терминологического словаря научно-технической терминологии по системам связи и управления);
2) система машинного перевода АСПЕРА, тестирование которой проводилось на текстах по 5 тематикам (бизнес, история философии,
10
охрана окружающей среды, информатика, медицина) общим объемом
100 Кб; 3) информационно-поисковая система КЛСКЛД, содержащая около 1000
статей.
Объем исследования подтверждает достоверность полученных результатов.
Апробация: основные положения работы изложены в монографии "Формальные методы в современной прикладной лингвистике" (2002 г.) и других печатных работах автора (более 20), а также представлены в виде докладов и выступлений на межвузовских, всероссийских и международных конференциях.
Структура работы: в соответствии с поставленными задачами диссертационная работа состоит из введения, четырех глав, заключения, списка использованной литературы и ряда приложений.
11
ГЛАВА 1 ФОРМАЛЬНЫЕ МЕТОДЫ В СОВРЕМЕННОЙ ЛИНГВИСТИКЕ
1.1. Формальные методы в современной науке
Более 40 лет назад, 25 августа 1961 г., академик A.M. Колмогоров в докладе "Автоматы и жизнь" заметил, что современная электронная техника открывает весьма широкие возможности моделирования жизни и мышления. Дискретный (арифметический) характер вычислительных машин и автоматов не создает в этом отношении существенных ограничений. Системы из очень большого числа элементов, каждый из которых действует "арифметически", могут приобретать качественно новые свойства, и если свойство той или иной материальной системы "быть живой" или обладать способностью "мыслить" будет определено строго функциональным образом (например, любая материальная система, с которой можно разумно обсуждать проблемы современной науки или литературы, будет признаваться "мыслящей"), то придется признать в принципе вполне осуществимым искусственное создание живых и мыслящих существ. При этом А.Н. Колмогоров советовал помнить, что реальные успехи кибернетики и автоматики на этом пути значительно более скромны, чем иногда изображается в популярных книгах и статьях, где зачастую исходят из крайне упрощенного представления о действительном характере высшей нервной деятельности человека и, в частности, творческой деятельности. Реальное продвижение в направлении понимания механизма высшей нервной деятельности, включая и высшие проявления человеческого творчества, естественно, не может ничего убавить в ценности и красоте творческих достижений человека. За прошедшее с той поры время наука заметно продвинулась вперед, появились так называемые компьютерные "интеллектуальные
12
системы", способные достаточно адекватно работать с естественным языком. К ним относятся, в первую очередь, информационно-поисковые системы, системы машинного перевода и экспертные системы. При создании таких систем применялись самые разнообразные формальные методы.
В современной науке - как естественной, так и гуманитарной -широко используются методы познания, в которых для представления исследуемых объектов применяются абстрактные понятия. Многообразие предметов и их свойств, множество стабильных и нестабильных отношений между ними требует для адекватного изучения предмета применения совокупности различных методов. Для правильного выбора и использования в исследовательской работе конкретного метода необходимы предварительные знания о предмете изучения, умение вычленять его из среды и сопоставлять с другими предметами таким образом, чтобы отчетливо проявлялись наиболее важные и существенные стороны рассматриваемого предмета. Методы представляют собой искусственно созданные человеком приемы познания, поскольку они не содержатся в предметах или окружающей действительности наподобие закономерностей, правил, отношений. Однако методы не существуют в отрыве от этих закономерностей, правил и отношений. Правильно выбранный и примененный в исследовании метод помогает вскрывать и фиксировать закономерности и свойства, не лежащие на поверхности явлений. Выбор методов определяется спецификой предмета, накопленными знаниями о нем, целью исследования, а также зависит от того, какие стороны и свойства предмета предстоит анализировать. Учет всех этих факторов обеспечивает эффективность применения методов.
Научные методы классифицируются по-разному. В зависимости от сферы применения различают методы междисциплинарные, т. е.
13
используемые во всех или во многих науках (например, в гуманитарных науках - исторический, сравнительный, описательный методы), и внутридисциплинарные, т. е. методы, преимущественно используемые в пределах определенной научной дисциплины (например, метод внутренней реконструкции в лингвистике, эволюционный метод в биологии и др.). С учетом характера причинных отношений между исследуемыми фактами выделяются детерминистические и вероятностные методы. С помощью первых вскрываются логические, строго последовательные связи между сущностью и явлением, с помощью вторых - статистические, нежесткие связи между формой выражения и сущностью явления. В зависимости от внутренних качеств предмета исследования и интенсивности их проявления используются качественные и количественные методы. С точки зрения подхода к изучаемому явлению различают дедуктивные методы (от теории, идей к практике, фактам) и индуктивные (от фактов к теории). В зависимости от стадии разработки проблемы выделяют экспериментальные методы, методы обработки результатов эксперимента и методы построения теоретических концепций. Взаимосвязанными и взаимозависимыми частями исследования служат анализ (разложение объекта изучения на составляющие части) и синтез (объединение составляющих частей в единое целое). Путем анализа получают сведения о строении и структуре предмета, путем синтеза формируются те новые представления о сущности и функциях предмета, которые получаются в результате познания взаимосвязи частей и их объединения в единое целое. В результате этого один и тот же объект может изучаться с помощью множества различных методов, выбор каждого из которых часто зависит от индивидуальных качеств исследователя.
14
В зависимости от времени появления методов исследования различают традиционные и современные методы. Различие между современными и традиционными методами осуществляется, таким образом, не по критериям, "эффективные - неэффективные", "новые -устаревшие", "плохие - хорошие", а только по времени их использования в языкознании. Любой метод в руках квалифицированного специалиста способен привести к получению нетривиальных научных результатов. Существование в науке различных методов и идей и борьбу между ними, очевидно, следует считать плодотворным для науки явлением, поскольку предмет исследования предстает перед специалистами в разных аспектах, часто не противоречащих один другому, а дополняющих друг друга. Представляется очевидным, что ни один конкретный метод не может быть признан универсальным, пригодным для исследования всех аспектов и свойств предмета, поэтому, чем больше методов применяется при изучении предмета, тем объемнее и полнее можно получить его характеристику. Одна из главных предпосылок корректного использования определенного метода - предварительное осмысление сущности предмета исследования, проведение с ним возможных мысленных экспериментов, качественная оценка ожидаемых результатов и их новизна для науки.
Исключительное внимание следует уделять интерпретации полученных результатов, чтобы теоретические выводы и заключения не навязывались материалу, а естественно вытекали из него в ходе использования того или иного метода. Если ожидаемые результаты не подтвердились, необходимо проверить корректность постановки и проведения эксперимента, достоверность эмпирического материала, авторитетность и надежность имеющихся в науке результатов по исследуемой проблеме. Прежде чем использовать метод, нужно оценить,
15
соответствует ли он цели исследования, достаточно ли фактического материала для его приложения, учтены ли действия различного "шума". Метод должен служить не самоцелью работы, а лишь конкретным инструментом исследования, причем только одним из возможных. Определение сферы применения метода - это своеобразное искусство, а применение его на практике - техника. Второе может осуществляться любым специалистом и, в некоторых случаях, машиной, тогда как первое под силу обычно только квалифицированному исследователю, обладающему способностями и обширными знаниями.
Метод часто представляет собой формализуемую процедуру анализа, но сам процесс его использования и интерпретация полученных при этом результатов - качественное явление, основанное на опыте, знаниях и интуиции специалиста. Наибольшего доверия заслуживает в науке тот метод, с помощью использования которого получаются результаты, способные воспроизводиться в других экспериментах на новом материале, то есть, проверяемые результаты.
Поскольку язык сам служит исследовательским инструментом, для его познания необходимо применить новый инструмент, или, как его называют в современной лингвистике, метаязык описания или исследования. На протяжении фактически всей истории языкознания специалисты использовали в качестве метаязыка сам язык, т. е. сущность языка раскрывалась и описывалась с помощью того же языка. Если метод -это прием исследования, то метаязык - инструмент исследования. Прием и инструмент, или метод и метаязык, представляют собой необходимые компоненты всякого научного анализа языковых фактов.
Одним из возможных вариантов исследования является аксиоматический метод, впервые разработанный в математике, который представляет собой способ построения научной теории, когда в основу
16
кладутся некоторые исходные положения - аксиомы, а все остальные выводы получаются как логические следствия аксиом.
'• Греческое слово "аксиома" исходно означает положительную
оценку, в частности, положительную оценку истинности какого-либо утверждения. Таким образом, проблема оценки различных явлений существовала и у древних философов, называвших аксиомой исходные принципы или посылки, из которых выводились все остальные утверждения теоретической системы. Для вывода использовался один из главных методов математики - метод доказательства. Доказательство в широком смысле - это любая процедура установления истинности какого-либо суждения как при помощи некоторых логических рассуждений, так и посредством чувственного восприятия некоторых физических предметов и явлений. В математике доказательство - это рассуждение с целью обоснования истинности утверждения (теоремы), которое проводится по правилам логики без каких-либо ссылок на наглядность и опыт. В результате логического рассуждения из одного или нескольких взаимосвязанных по смыслу предложений получается предложение, содержащее новое (по отношению к исходным) знание. Конкретное доказательство может использовать не только аксиомы, но и ранее доказанные предложения. Рассуждение, между посылками и заключением которого имеет место отношение следования, называют дедуктивным.
Аксиоматический метод зародился в работах древнегреческих геометров и впервые был описан Евклидом в книге "Начала", где была изложена классическая геометрия древних греков - знания, накопленные веками. Это первый период в развитии аксиоматического метода, для него характерна известная незавершенность процесса абстрагирования. Теория строится для единственной системы объектов, которые предполагаются известными до установления аксиом. Такое понимание аксиоматического
17 |
