Введение
Некоторые определения. В данной, быстроразвивающейся; области, используются некоторые термины, заимствованные из смежных областей; знаний. Поэтому во избежание недоразумений здесь целесообразно привести * некоторые определения.
Распознаванием речи называют представление речевого сигнала ., последовательностью слов, которая ему соответствует.
Пониманием речи называют представление: смысла, передаваемого? речевым сигналом, в некоторой канонической форме, непосредственно' пригодной- для? вызова: действий; в автоматической системе, угодных говорящему человеку [5].
Естественный язык (ЕЯ) — язык, словарь и грамматические правила которого обусловлены, практикой- применения; и не всегда формально; зафиксированы.
Онтология является- системой понятий, предположительно существующих в некоторой! области знаний, для; обозначения* которых использован определенный естественный язык. В- простейшем^ случае онтология описывает иерархию связных представлений, которые используются» для: обозначения типовых множеств объектов, обладающих общими; признаками.
Актуальность,темы диссертаци и.¦ Обеспечение взаимодействия; с 3BMi Ш, на естественном языке является важнейшей задачей исследований; по
искусственному интеллекту. Сейчас речевые технологии активно включаются в различные сферы нашей жизни, способствуя ускорению процессов информационного обмена: в различных предметных областях, что привело? к развитию проблемно-ориентированных систем понимания; речи. При! этом< наиболее остро * проявилась проблема разрешения? языковой; неоднозначности [25];. а также* проблема: учетам информации об иерархии? понятий* ш терминов* определенной предметной области. Первая: проблема обусловлена; многозначностью слов естественного языка; ошибками* распознавания отдельных слов и синтаксическими неточностями^ в речи диктора. Вторая s -
ведет к терминологической путанице, возникающей из-за разницы в толковании терминов у системы и пользователя. Решение этих проблем связано с адекватным отображением естественного языка во* внутреннее машинное представление. Для этого следует эффективно использовать всю доступную > априорную информацию, включая синтаксис, семантику и прагматику [18]..
Как правило, подходы к представлению и обработке естественного языка используют только два вида информации: синтаксическую и семантическую. Причем: основной упор делается; на. синтаксис, т.е. методы грамматического разбора [16]. Синтаксический анализ становится самоцелью и приводит к построению грамматически правильных предложений- которые, однако, могут содержать, смысловую неоднозначность. В результате многолетних исследований в области обработки естественного языка и речи было» установлено, что для решения проблемы, неоднозначности необходимо* использовать информацию о соотнесении знаков естественного языка, объектов > и событий реальной действительности, к которым относятся- семантическая ш прагматическая; информация, и которые представляют собой по существу информацию о предметной области. Стало очевидным, что сложность понимания и методы обработки естественного языка определяются не только структурой и особенностями- входного текста, но и представлением. о предметной области, в рамках которой осуществляется! человеко-машинное взаимодействие.
Существует достаточно обширный набор средств представления знаний© (щ?: предметной области, наиболее эффективным на сегодняшний день считается
онтология, [23]. Применение этих средств для представления'семантической и прагматической информации? в области речевых технологий является актуальной темой исследования, поскольку ведет к разрешению проблем-языковойiнеоднозначности и учета ¦ иерархии понятий>предметной областипри понимании речи.
Цель работы и задачи исследования. Основной целью диссертационной работы является разработка методов разрешения, неоднозначности^ естественного языка и учета иерархии понятий при представлении и обработке естественного языка в. системах автоматического понимания речи. Для
достижения поставленной цели; в диссертационной! работе поставлены^ и решены следующие задачи:
1. Анализ;основных подходов к представлению и обработке естественного языка;
2. Построение эффективной модели представления, и обработки естественного языка;
3; Разработка методов эффективного семантико-прагматического анализа.
Методы! исследования. Для решения поставленных задач в работе используются; методы теории- информации, теории! множеств, экспертного,, статистического и эвристического анализа, а также: методы итерационного поиска. Компьютерная, реализация, разработанных алгоритмов производилась на основе объектно-ориентированного подхода.
Научная новизна работы состоит в следующем:
1. Разработана эффективная модель представления естественного языка; за счет использования онтологии^ предметной- области в виде иерархии? понятий предметной области, которая учитывает семантическую' информацию и позволяет легко расширять предметную область.
2. Разработан алгоритм верификации онтологического подмножества' гипотезы входной фразы, позволяющий оценить его семантическую связность, и существенно ускорить процесс обработки речи за* счет предварительного отсечения гипотез, содержащих семантически>; не: связные понятия.
3; Разработан метод оценки*лексической близости: ситуативных переходов> гипотезе входной фразы, позволяющий избежать последовательного перебора всех возможных канонических перефразировок при; определении квантитативной; оценки расстояния? между входной; гипотезой и каноническими перефразировками.
Обоснованность ш достоверность научных положений; основных выводов? и результатов диссертации обеспечиваетсяу за счет тщательного анализа состояния; исследований Bi данной* области, подтверждается корректностью предложенных моделей, алгоритмов % и согласованностью* результатов, полученных при компьютерной реализации^ а также апробацией;
основных теоретических положении диссертации в печатных трудах и докладах на научных конференциях.
Практическая ценность работы.. Разработанные модели и алгоритмы направлены на разрешение проблемы адекватного отображения: естественноязыкового представления во внутреннюю информационную модель, которая представлена в виде матрицы межсловных ассоциаций, ситуативной? базой данных и онтологией предметной области.
ш Разработанный метод верификации онтологического подмножества
входной гипотезы позволяет оценить семантическую связность гипотезы входной фразы и обеспечивает систему понимания; механизмом обобщения? терминов предметной области; В результате пользователь может использовать. широкий спектр понятий и терминов предметной области при взаимодействии; с прикладной системой автоматического понимания речи;
Разработанный в рамках настоящего диссертационного исследования i алгоритм оценки лексической близости ситуативных переходов гипотезе входной фразы позволяет уйти от последовательного перебора всех канонических перефразировок за счет предварительного анализа ситуативных переходов и отсечения заведомо бесперспективных, что позволило существенно повысить скорость ситуативной обработки.
За счет внесения онтологии, использования алгоритмов верификации
онтологического подмножества и метода оценки лексической* близости
ситуативных переходов достигается сокращение избыточности модели=
(¦» представления естественного языка и повышение скорости обработки гипотез,
входной фразы.
Реализация результатов! работы. Исследования, отраженные в? диссертации,, проведены в рамках научно-исследовательских работ: СПб НЦ РАН: «Разработка методов автоматического перевода устной^ речи» (№01.2.00309944) и «Перевод устнойфечи на основе интегрального подхода: исследование и применение ситуативной информации» (№01.2.00309949)' (2002-2003гг.); ФЦП «Интеграция»: Образовательно-исследовательский' центр языка и речи, № 326.81; проект МНТЦ № 1993Р (задача 4) «Модель голосового управления подвижным объектом». Кроме: того, результаты диссертационной;
8
работы использованы при разработке средств голосового доступа к информационной системе «Автомаркет» для компании «BridgeQuest».
Апробация; результатов* работы: Основные положения? и результаты диссертационной работы представлялись на Международных конференциях «Речь и Компьютер» SPEGOM (Санкт-Петербург 2000 ¦ Москва; 2001, Санкт-Петербург 2002, Москва 2003, Санкт-Петербург 2004), IX международной-конференции «Региональная информатика РИ-2004» (Санкт-Петербург 2004).
Публикации.. Основные результаты по материалам диссертационной* работы опубликованы в 9 печатных работах.
Структура»и= объем;работы.,Диссертация объемом 132 машинописные страницы, содержит введение, четыре главы и заключение,.список литературы; (106 наименований), 15 таблиц, 42 рисунка.
Основные результаты. В' результате проведенной работы был разработан метод верификации онтологического подмножества с использованием онтологии предметной области, которая вносит информацию> об иерархии понятий, а также за счет метода оценки лексической близости ситуативных переходов был усовершенствован ситуативный; анализ, позволяющий устранить смысловую неоднозначность высказывания.
1. Внесение онтологии предметной области и использование метода: верификации онтологического подмножества позволило учесть иерархические связи между терминами предметной области и проверить их семантическую связность. За счет предварительного отсечения^ гипотез, содержащих семантически не связные понятия, удалось существенно ускорить процесс обработки речи. Кроме того, обеспечена естественность взаимодействия пользователя; с прикладной системой понимания? речи за; счет возможности использования широкого спектра понятий, и; терминов; предметной области;
2. Метод оценки лексической близости ситуативных переходов позволил оценить релевантность анализируемой гипотезы конкретному ситуативному переходу без перебора^ всех перефразировок, и таким образом, ускорил процесс разрешения семантической неоднозначности: при ситуативном? анализе.
31 На основе разработанных методов была проведена модификация ; базовой модели интегрального понимания, в результате чего появилась возможность разрешать семантическую неоднозначность высказываний, содержащих термины различных уровней обобщения, без избыточного представления ситуативной информации.
Краткое содержание работы. В первой главе диссертации рассмотрен анализ состояния дел в области автоматического понимания речи. Качественному пониманию речи препятствуют факторы, связанные с соотнесением естественно-языкового высказывания с ожидаемыми действиями * системы. К ним относятся неоднозначности, обусловленные синтаксическими* неточностями, оговорками диктора и многозначностью слов,. а. также наличие различных уровней обобщения тех или иных специфических терминов? предметной области, которое ведет к терминологической путанице. Поэтому основными проблемами понимания речи являются семантико-синтаксическая* неоднозначность речевого высказывания, а также учет иерархии понятий предметной области. Эти проблемы возникают в условиях недостаточности априорной информации о естественном языке, поэтому решение этих проблем в первую очередь связано с адекватным отображением априорной информации о естественном языке во внутреннее машинное представление.
Bi результате многолетних исследований в области проблем автоматического понимания речи и естественно-языковой неоднозначности была осознана необходимость комплексного подхода к построению семантико- синтаксической модели языка и прагматической модели ПО [21,37]. При таком подходе синтаксическая информация используется5 как вспомогательная и позволяет оценить грамматическую корректность естественно-языковых конструкций, семантическая; информация накладывает связи между знаками? естественного языка, а прагматическая информация» соотносит знаки» естественного языка с реальными объектами и ситуациями.
Таким- образом, анализ существующих подходов к представлению? и обработке естественного языка показал, что существует ряд средств эффективного представления и обработки естественного языка; применение
10
которых в системах автоматического понимания речи позволит решить проблему неоднозначности и учесть иерархию понятий ПО.
Во второй главе приводится описание интегральной модели понимания; речи (разработанной ранее в группе речевой информатики СПИИРАН). Модель содержит модули акустического и естественно-языкового анализа. В> данной; работе более полно рассматривается уровень естественно-языкового анализа, поскольку он претерпел изменения? за. счет модификации представления и
-, обработки естественного языка, учитывающих иерархию терминов ПО.
В*результате внесения' онтологии ПО в рамках ситуативной модели было > модифицировано представление канонической перефразировки. Кроме того; наличие обобщающих понятий- обеспечивает уменьшение неоднозначности на ассоциативном уровне и значительное сокращение соответствующей5 базы данных за счет объединения нескольких элементов одного уровня-и их оценок семантической связности с остальными словами в одну группу. Таким образом; внесение онтологии позволило учесть иерархию понятий в ходе семантико-прагматического анализа и устранить избыточность в представлении ситуативной и ассоциативной информации;
Третья: глава описывает разработанные автором метод верификации онтологического подмножества на основе онтологии ПО и метод оценки лексической близости ситуативных переходов гипотезе входной фразы. Оба метода направлены на предварительную оценку поступающих на ситуативный анализ гипотез фраз. В методе верификации онтологического подмножества
¦*> выполняется поиск элементов подмножества в онтологии ПО, выявляется;
наличие или отсутствие прямых родственных связей между этими элементами;, а также определяются обобщающие понятиям для каждого из элементов: В^ результате внесения онтологии ПО в модель представления естественного языка и использование метода верификации онтологического подмножества были учтены иерархические связи между терминами предметной области и получена оценка их семантической связности.
Во второй части третьей1 главы, рассматривается метод оценки лексической; близости возможных ситуативных переходов гипотезе входной фразы, который позволяет заранее отсечь бесперспективные для; поступившего
11
набора гипотез ситуативные переходы и таким образом, значительно ускорить процесс ситуативного анализа..
Bi заключение третьей главы рассмотрена модификация модуля-естественно-языковой обработки. Модификация проведена на. основе разработанных методов,, которые обеспечивают сокращение гипотез; фраз выходящих с модуля ситуативного' анализа по двум; аспектам. Во-первых, сокращается; количество' гипотез, поступающих с уровня ассоциативного анализа. Во-вторых, сокращается ¦ число канонических перефразировок, поступающих на ситуативный< анализ. Таким: образом,- проведенная; модификация привела к ускорению работы ситуативного анализа^ и интегральной модели понимания» речи, в. целом; например, на 50% для модели i голосового управления самолетом.
В= четвертой; главе; приводятся- данные по реализации разработанных алгоритмов в экспериментально-исследовательских моделях речевого диалога. Разработанные в диссертации методы были; успешно реализованы в ряде научно-исследовательских моделей По проекту МНТЦ №1993Р,1 задача 4' создана модель голосового управлениям самолетом* на. основе разработанных алгоритмов естественно-языкового анализа. Внедрение разработанных методов -в рамках данного проекта позволило устранить избыточность базовой; модели представления и обработки естественного языка без потери качества понимания* речи. В рамках проекта; «Автомаркет» были разработаны средства голосового доступа к информационному автокаталогу. На основе предложенного метода •<и верификации онтологического подмножества был реализован механизм?
семантического анализа, позволяющий корректно обобщать термины; предметной области. Разработанные средства голосового доступа могут быть -, внедрены в антивандальные справочные системы, в предметных, областях с принятой и устоявшейся терминологией;
Таким образом, с помощью разработанных в диссертационной? работе методов и программных модулей; были созданы эффективные средства: человеко-машинного взаимодействия на; основе автоматического ввода* речи. Естественность взаимодействия^ пользователя с прикладной системой \
12
понимания речи была обеспечена за счет возможности использования широкого спектра понятий и терминов предметной области.
Положения, выносимые на защиту:
1. Модификация базовой модели представления естественного языка за счет внесения онтологии предметной области.
2. Метод верификации онтологического подмножества гипотезы входной фразы, позволяющий отсечь гипотезы входной фразы, содержащие семантически-несвязные подмножества.
3. Метод оценки лексической близости ситуативных переходов гипотезе входной фразы, позволяющий отсечь заведомо бесперспективные ситуативные переходы при ситуативном анализе.
4. Модификация базовой модели обработки естественно-языкового высказывания.
13
Глава 1. Анализ подходов и средств представления и обработки естественного языка в системах понимания речи
1111 Основные проблемы!
Понимание речи в области обычно трактуют как преобразование речевого сигнала в смысловое представление.. Его следует отличать от распознавания* речи, где целью является сопоставление речевого сигнала с соответствующими? словами в словаре. На рисунке 1.1 представлена типовая схема понимания речи, которая: содержит основные модули обработки входного высказывания:: распознавание входного сигнала и понимание естественно-языковой* последовательности.
Речевой Цепочка;
1гнал .словг
сип
Распознавание; слов
Обработка \ естественно-языковой ? последовательности ¦>
Тип?, смысла;
Рис. 1.1. Типовая схема понимания речи
В модуле «распознавания: речи» происходит преобразование речевого сигнала в естественно-языковую последовательность. Далее эта- гипотеза, поступает в- подсистему «понимания естественно-языковой последовательности», которая вырабатывает смысловое представление.
На уровне распознавания речевой сигнал проходит акустическую обработку. При этом он преобразуется из непрерывного акустического сигнала в предполагаемую естественно-языковую последовательность — гипотезу фразы. Распознавание речи опирается^ на априорную акустико-лексическую» информацию, которая?позволяет преобразовать входной сигнал в цепочку слов; представленных уже в виде текстовой информации: В\ модуле, распознавания с речи производится, сравнение входного сигнала с эталонными г лексическими г единицами, поэтому результат распознавания представлен в виде наиболее
14
вероятных цепочек слов. Задача дальнейшего анализа заключается, в преобразовании распознанной цепочки слов, т.е. естественно-языкового текста, в смысловое представление. Другими словами, необходимо реализовать процесс понимания.
Существуют различные точки зрения на термин "понимание". Наиболее распространенная из них состоит в том, что если на статистически достоверном; материале компьютер воспринимает входное сообщение пользователя! в соответствии с его ожиданиями, то он «понимает» пользователя; Согласно [27] можно выделить следующие - уровни машинного понимания: синтаксического (понимание формы), семантического (понимание содержания), прагматического (понимание целей общения).
Поскольку процесс реализуется: по аналогии с человеческим, то обратимся к прототипу. Человек воспринимает речь, рассматривая себя и происходящее речевое действие в определенном контексте. Он пользуется всей \ доступной априорной информацией о естественном языке и окружающей: действительности. Эта информация < позволяет ему устранить такие проблемы понимания как. многозначность, омонимия, синонимия; оговорки;, синтаксические и грамматические ошибки. Недопонимание возникает в тех случаях, когда знаки естественного языка имеют различный смысл в зависимости от контекста и синтаксиса. Однозначная интерпретация» знаков t достигается за счет их однозначного соотнесения с реальными событиямиt или • ситуациями.
Помимо неоднозначности при понимании речи возникает терминологическая путаница, обусловленная богатой иерархией понятиш конкретной предметной* области. Здесь причины неверного анализа естественного языка находятся; в концептуальной сфере, связанной с иерархией i понятий и объектов предметной; области, а также отношениями; между этими? объектами. Эта проблема проявляется* в ситуации общения; когда между пользователем; и системой возникает недопонимание, обусловленное разногласиями в представлении о предметной области.
Рассмотрим пример типичной терминологической путаницы. Эта неувязка может возникнуть при первом же обращении к системе, поскольку
15
человек формулирует запрос исходя из своих интересов и знаний, то термины, используемые им, могут оказаться, более специфичными, чем ожидаются системой, или наоборот. Например, в системе голосового доступа к электронному авто-каталогу на вопрос «Какую машину вы хотите?» система в первую очередь ожидает фразу: «Я-хочу купить машину марки Мерседес». Где Мерседес - это «марка» машины. Пользователь же вправе сказать: «Я хочу купить Sprinter». Имея в виду автомобиль «марки» Mercedes «модели» Sprinter. |#{ В случае прямого соотнесения запроса с ожидаемой канонической фразой
система понимания неизбежно столкнется с проблемой несоответствия, т.е.. с непониманием.
Таким образом, основной проблемой * понимания гречи является проблема отображения: естественного языка из внешнего представления; во внутреннее машинное представление. В; процессе восприятия^ речи человек пользуется? априорной информацией о языке: и окружающей среде: синтаксической, семантической и прагматической. Основной интерес представляют методы их представления, а также механизмы анализа.этих видов информации в системе автоматического понимания речи. Поэтому проанализируем основные подходы к представлению и обработке естественного языка на основе этих видов, информации.
1.2. Подходы к представлению и обработке естественного языка
'*'' В данном разделе дается краткий обзор подходов к обработке ЕЯ;.
Большинство современных исследований? в области моделирования естественно-языковых процессов опираются на три вида априорной' информации: синтаксическую, семантическую и прагматическую. За последние; десять лет сделано не мало аналитических обзоров по обработке естественного языка и способам его представления. К ним относятся работы M;F. Мальковского, А.С. Нариньяни, Сулейманова, Д.Ш. Шарова С.А., Дж. Слокум [15,21,37,44,66]. Исследователи, как правило, выделяют три подхода? к представлению и обработке естественного языка: (1) лингвистический,, ориентированные на извлечение семантико-синтаксических конструкций
16
естественного языка и построению максимально полных моделей: языка; (2) экспериментальный (семантико-прагматический), ориентированный на построение модели мышления и (3) прагматический, где язык рассматривается* как;средство достижения; определенных целей. Далее рассмотрим; каждый из подходов более детально.
11211. Лингвистические подходы
Лингвистические системы используют грамматику, описывающую
¦•¦о
возможные синтаксические структуры ЕЯ1 Как: правило, в< основе синтаксического анализа находятся, лингвистические теории, которые описывают способ представления. последовательности элементов предложения через грамматическую структуру компонентов [61,84,85^86].
Наиболее значимой' теорией построения идеальной синтаксической\ модели, которая послужила основой» создания* большинства: лингвистических систем, является теория! трансформационных грамматик, которую также называют генеративной грамматикой. Теория была разработана Н; Хомским [41] в начале 50-х гг. прошлого столетия. Центральная•> идея теории^ трансформационных грамматик состоит в том, что поверхностные формы любого языка могут быть представлены как результат взаимодействия нескольких подсистем: набор синтаксических правил (ограничений) и набор семантических правил. Основное внимание обращается на синтаксический; уровень, который описывается автономно. Синтаксические правила; ,.т% определяют правильное расположение слов в предложениях, а семантические:
правила, отвечают за то, чтобы правильно интерпретировать конкретное расположение слов в предложении. По мнению Хомского, теория ТГ описывает универсальную часть структуры языкового аппарата человека, не зависящую от конкретного языка.
Одной из первых компьютерных реализаций: ТГ, упомянутых в [102], является система MITRE transformational parser [106]. Использование большого количествам уровней в; алгоритме, методов программирования^ и компьютеров; доступных в первой половине 60-х годов, привело-к тому,.что скорость анализа была крайне низкой:.36 минут на среднее предложение длинойюколо 11 слов:
17
Обзор методов применения трансформационных грамматик к анализу ЕЯ' и реализованных алгоритмов дан в [57]. В числе поздних реализацийТГ-теории в [102] упоминается система PARSIFAL [78].
Теория ТГ послужила основой при создании модели «Смысл-Текст» [17]. Описание языка в этой модели устанавливает соответствие между смыслом и текстами данного языка, выражающими этот смысл. Язык рассматривается?как система кодов, соответствующая системе смыслов. Описание компьютерных реализаций теории «Смысл-Текст» содержится в [2,3].
Деревья разбора. Генеративная грамматика является системой жестко: фиксированных правил, описывающих корректные предложения:языка. Здесь, синтаксический анализ представляет собой построение дерева синтаксического разбора, которое можно производить как. сверху вниз - от нетерминального символа (нетерминальный символ обозначает класс синтаксически эквивалентных групп, имя символа используется при написании правил грамматики) к предложению языка, так и снизу вверх - от предложения; к начальному символу.
Нисходящий синтаксический разбор заключается в поиске замены-очередного нетерминального символа в выводимой цепочке на правую часть соответствующего правила. При этом алгоритм может руководствоваться только "незакрытой", то есть нераспознанной частью предложения. Обычно для« этого достаточно одного терминального символа.
При восходящем синтаксическом разборе в предложении (или; в промежуточной цепочке) ищется правая часть правила, которое необходимо "свернуть" к нетерминалу левойчасти. Решение принимается на основе анализа соседних терминальных символов в анализируемой цепочке.
По своей: природе алгоритмы синтаксического разбора: бывают детерминированные (сразу же строящие правильное дерево) и недетерминированные, то есть допускающие возврат на некоторое число шагов <-назад.
Bi качестве примера* можно привести типичную логическую систему, LUNAR [103] основанную на синтаксическом анализе. Здесь в результате синтаксического анализа дерево синтаксического разбора отображается? в. |
