ВВЕДЕНИЕ
Актуальность проблемы исследовании. Систематические исследования в области применения средств и методов информатики, а также информационных и коммуникационных технологий (ИКТ) в учебном процессе имеют более чем 40-летнюю историю. Современное состояние отечественной системы образования характеризуется достаточно высокой насыщенностью учебных заведений средствами ИКТ, вследствие чего становится актуальной задача повышения эффективности их использования в учебном процессе. Можно выделить две основные тенденции. Повышение результативности обучения, как правило, связывается с созданием и применением автоматизированных обучающих курсов, структура и форма которых зависит от специфики и содержания изучаемой дисциплины. Второй подход - применение автоматизированных систем педагогического тестирования знаний, к которым предъявляются требования универсальности и открытости, обусловленные целесообразностью использования одной и той же системы контроля (и, соответственно, реализованных в ней методик и приемов диалогового взаимодействия) для диагностирования образовательных достижений по максимально широкому спектру учебных дисциплин. В настоящее нрсмя известно множество практических реализаций как систем автоматизированного тестирования по отдельным дисциплинам (предметные тесты), так и универсальных систем оценивания знаний (конструкторы тестов), полностью или частично инвариантных к конкретным дисциплинам и допускающих их информационное наполнение преподавателями — организаторами тестирования.
Наиболее важными объективными предпосылками для ускоренного внедрения средств и методов информатики в учебный процесс и, в частности, интенсивного развития средств и методов автоматизированного контроля знаний являются рост интереса к дистанционному обучению, становление системы государственного тестирования выпускников средних школ, тенденция к увеличению частоты и наполняемости процесса текущего контроля знаний на всех уровнях обучения, необходимость значительного
снижения трудоемкости его организации, проведения и подведения итогов. В связи с этим, необходимость «объективной оценки уровня образования и квалификации выпускников» рассматривается в качестве одной из задач отечественной системы образования1. Непреходящая актуальность проблематики педагогического контроля знаний подтверждается тем, что ее исследованию посвящены работы видных российских педагогов как прошлого (В.Ф. Одоевский, Н.И. Пирогов, К.Д. Ушинский, В.И. Татищев, Я.Л. ЬСоменский), так и настоящего времени (Ш.Л. Лмонашвили, А.И. Берг, В.А. Болоюн, О.С. Гребенюк, Ю.К. Бабанский, В.П. Беспалько, И.Я. Лернер, I !.. Талышна, В.Д. Шадриков и др).
Исходя из мозможности организации массового контроля знаний и высокой ciciiciiii стандартизации и унификации этого процесса, наиболее перспективным и целесообразным для автоматизации представляется метод педагогического тестирования, ставший основой таких важнейших системных форм итогового контроля знаний, как единый государственный экзамен и государственное централизованное тестирование образовательных достижений. Научное направление, в рамках которого целенаправленно разрабашваются средства, алгоритмы и методики тестирования знаний, получило название «тестология» (B.C. Аванесов, Е.А. Михайлычев, Дж. Равен и др.).
В педагогической науке известны работы, направленные на разработку и совершенствование методов тестового контроля образовательных достижений. Благодаря опубликованным еще в XIX в. работам Ф. Гальтона, Дж.М. Кеттела, Дж. Фамера и других, тестирование становится неотъемлемым инструментом психологических и педагогических исследований и экспериментов. В начале XX в. для обработки результатов тестирования (в том числе для проверки их надежности и валидности) начинают применяться методы математической статистики, чю можно считать первыми попытками применения формально-математического аппарата в педагогических исследованиях. Вторая половина XX в. характеризуемся резким повышением интенсивности исследований в
Закон РФ «Об образовании» в редакции от 20.07.2000 № 102 - ФЗ, ст.7.
8
области тестолопш (B.C. Аванесов, М.И. Грабарь, Б.Я. Лихтциндер, Л.Н. Майоров, Е.Л. Михайлычев, В.И. Михеев, Ю.В. Павлов, С.А. Сафонцев, В.А. Хлебников, М.Б. Мельникова, А.Г. Шмелев и др., а также А. Анастази, Д;к. Гласе м Дж. Стэнли, К. Ингекамн, П. Клайн и др.). Их методологическую основу составляют работы, направленные на создание и адаптацию средств и методов информатики и ИКТ для системы образования (С.А. Бешенков, Я.А. Ваграменко, В.Г. Кинелев, О.А. Козлов, А.А. Кузнецов, В.Ж. Куклин, М.П. Лапчик, Э.А. Many шин, И.П. Норенков, Н.И. Пак, СВ. Панюкова, И.В. Роберг, IO.A. Романенко, А.Я. Савельев, Н.В. Софронова и др.).
Применению формально-математических и кибернетических методов для повышении эффективности отдельных этапов педагогического контроля посвящены работы многих исследователей, в том числе И.Е. Вострокнутова, Б.II. Канаена. О.А. Козлова, В.Л. Латышева, Ю.М. Ыеймана, Н.И. Пака, П.В. Роберг, В.М. Хлебникова, М.Б. Челышкопой, B.C. Черепанова и др. 11анболее серьезные результаты достигнуты в сфере содержательного структурирования тестовых заданий (ЕЗ.С. Аванесов), методологии построения и практического применения тестов (Л.Н. Майоров, Е.А. Михайлычев, В.А. Хлебников), психопедагогических и организационных проблем применения ieeiiipo!$aiiHM как метода педагогического контроля (Л.Г. Шмелев), создания технологии адаптивного тестирования (М.Б. Мельникова). Настоятельная необходимость подготовки специалистов в области тестирования знаний осознается педагогической общественностью, о чем свидетельствуют публикации и практическая деятельность В.М. Кадневского, В.Ж. Куклина, Мшппцсва B.U., М.Г. Минина, Е.А. Михайлычева, И.П. Норенкова, С.Л. Сафонцева, В.И. Тесленко, М.Б. Челышковой и др. Тем не менее, названные и другие авторы при применении формально-математических методов не уделяют должного внимания комплексному описанию контроля знании как информационного процесса, его исследованию и оптимизации с формально-структурных и кибернетических позиций, а также не ставят и не решают проблему систематической подготовки специалистов регулярному
применению средств и методов информатики и ИКТ для описания, исследовании и организации педагогического тестирования знаний.
Можно назвать, по крайней мере, три причины такого положения. Первая из них - отсутствие корректных и функционально полных формально-структурных моделей информационного процесса педагогического тестирования, необходимых для эффективного выявления и объективного оценивания знаний обучаемых, и особенно формально-структурных моделей знаний как предмета контроля, процессов оценивания и тестирования знаний^ количественного оценивания объективности педагогического контроля, а также алгоритмов тестирования и оценивания знаний. В свою очередь, для построения и исследования таких моделей должен быть создан метод формально-структурного описания процессов педагогического контроля знаний, под которым понимается совокупность приемов и операций формально-математического и кибернетического описания тех объективно существующих свойств и структурных особенностей объекта, наличие которых подтверждается либо документальной базой, либо экспериментальными исследованиями.
Вторая причина - то, что педагогика изначально развивалась как гуманитарная дисциплина, оперирующая лингвистическими моделями и использующая качественные методы оценки получаемых результатов. По этой причине информатизация и формализация и педагогической науки представляет си чрезвычайно актуальной и абсолютно необходимой - в пропишем случае система образования окажется неспособной противостоять вызовам и удовлетворять требованиям современного информационного общества.
Третья причина кроется в том, что система профессиональной иодгоювкп педагогов в высших и других учебных заведениях тоже имеет сильный "туманигарный уклон", который выражается, в частности, в очень незначительном объеме учебных часов, выделенных для изучения информатики (и том числе методов сбора и анализа информации, информационных и коммуникационных технологий) и дисциплин
10
математического цикла, а также их применения для повышения эффективности учебного процесса. Подавляющее большинство практикующих педагогов, менеджеров образовательных учреждений и научных работников, занимающихся проблемами образования, не имеют систематических знаний по этим вопросам. По этой причине они оказываются неспособными применять современные средства информатики и особенно формально-маюматические и кибернетические методы исследований для получения искомых результатов либо для их приложения в конкретной предметой области.
Песмофя на присутствие на рынке образовательных программных продуктов большого количества разнообразных систем автоматизированного тестирования знаний и пристальный интерес к этому методу педагогического контроля со стороны специалистов и руководителей системы образования, до настоящего времени недостаточно разработаны организационно-методические подходы к систематической подготовке в области информатики и ИКТ специалистов, педагогических кадров и административно-управленческого персонала образовательных учреждений по вопросам его регулярного применения в учебном процессе. В государственных образовательных стандартах и учебных планах подготовки специалистов для образовательных учреждений уделяется недостаточное внимание реализации методов и средств информатики и ИКТ для учета, контроля и анализа результатов учебного процесса. Как следствие, многие практикующие педагоги настороженно относятся к тестированию как к методу промежуточного и текущего контроля знаний. Такое состояние существенно сдерживает работы по внедрению средств и методов информатики и ИКТ в учебный процесс, поскольку без построения корректных, непротиворечивых и полных моделей объекта автоматизация его деятельности чаще всего оказывается неэффективной.
С учеюм возможности организации массового одновременного контроля знаний и высокой степени стандартизации и унификации этого процесса наиболее перспективным и целесообразным для автоматизации представляется метод педагогического тестирования, который традиционно
11
сводится к представлению обучаемому множества вопросов и вариантов отпетой на каждый из них, среди которых обучаемый должен выбрать правильные, но его мнению, ответы. Такие факторы, как высокая степень формализации процедуры тестирования, допустимость одновременного контроля знаний различных обучаемых с последующим сопоставлением и сравнительным анализом их образовательных достижений, относительная простота тиражирования и распространения комплектов тестовых заданий, а также возможность организации дистанционного тестирования посредством локальной вычислительной сети либо через глобальную информационную сеть Интернет обусловили непрерывное возрастание интереса к этому методу педагогического контроля и активное внедрение его в повсеместную педагогическую практику. Тестирование стало основой таких важнейших системных форм итогового контроля знаний, как единый государственный экзамен (НГЭ), государственное централизованное тестирование образовательных достижений и телетестинг.
Недосгаючпая подготовка в области средств и методов информатики и IIKT (в частности, методов обеспечения эффективности педагогического контроля {паний) также проявляется в том, что подавляющее большинство существующих и настоящее время систем автоматизированного тестирования знаний имеет авторский характер, поскольку они отражают субъективные представления разработчиков о структуре этого процесса, методиках и алгоритмах выявления и оценивания знаний. Из-за неумения накапливать и иинтегрировать контрольно-измерительные материалы, созданные ведущими преподавателями соответствующих дисциплин, незнания формально-структурных моделей оценивания знаний и методик обеспечения обьектишюсш, достоверности и надежности тестов в современных системах тестирования чаше всего реализуется субъективная и, в силу этого, заведомо неполная экиюнная модель знаний конкретного преподавателя - организатора педагогического контроля, что препятствует распространению накопленного тестового ма1сриала и становится причиной конфликтов из-за несогласия обучаемых с выставленной оценкой.
12
Следовагелыю, можно выделить группу противоречим между:
• целесообразностью применения интенсивных методов массового педагогического контроля и педагогической диагностики и недостаточным вниманием к содержанию и формам подготовки в области информатики и ИКТ специалистов но описанию и исследованию процессов педагогического контроля, а также по созданию, внедрению и организации эксплуатации автоматизированных систем педагогического контроля знаний;
• потребностью обеспечить систематичность, массовость и объективность контроля знаний и отсутствием инструментария для описания и исследования процессов педагогического контроля знаний на базе средств и методов информатики и ИКТ;
• целесообразностью использования тестовых заданий, созданных квалифицированными экспертами для повсеместного текущего и промежуточного тестирования знаний по различным дисциплинам, и отсутствием методик распределенного коллегиального формирования тестовых заданий, их последующего централизованного сбора, накопления и распределения по учебным заведениям, а также регулярного применения для тестирования знаний;
• потребностью в специалистах по педагогическому тестированию знаний и недостаточной проработанностью содержательных основ .и организационно-методических подходов к их подготовке в высших учебных заведениях.
Выявленная группа противоречий определяет проблему исследования, которая отражает противоречие между необходимостью обеспечения систематического, массового и объективного контроля знаний обучаемых по различным дисциплинам и отсутствием инструментария для описания, исследования и организации педагогического тестирования, а также отсутствием специалистов, подготовленных для деятельности в этой области.
Таким образом, актуальность исследования определяется необходимое! ыо: теоретического обоснования и разработки метода формалыю-сфуктурного описания и исследования информационных
13
процессов педагогического контроля знаний как базы повышения эффективности автоматизированного тестирования; разработки структуры и содержания подготовки специалистов для системы образования теоретическим и технологическим подходам к реализации средств и методов информатики и ИКТ при создании, внедрении и организации использования автоматизированных систем педагогического контроля знаний (АСПКЗ); организации подготовки этих специалистов в области формально-структурного описания, исследования и организации педагогического тестирования знаний.
Объект исследования - процесс подготовки в области информатики и ПКТ специалистов по созданию, внедрению и организации эксплуатации автоматизированных систем педагогического контроля знаний.
Предмет исследования - содержание и организационно-методические подходы к подютовке в области информатики и ИКТ специалистов по организации автоматизированного педагогического тестирования знаний.
Цель исследования - теоретическое обоснование и разработка метода описания и исследования процессов педагогического контроля знаний, разрабо1ка на этой основе структуры и содержания подготовки специалистов в области информатики и ИКТ, а также организационно-методических подходов к ее реализации.
В основу исследования положена гипотеза о том, что применение метода формально-структурного описания и исследования процессов педагогического контроля знаний, реализующего дидактические и аналитические возможности средств информатики и ИКТ в аспекте педагогических и организационно-методических задач информатизации образования, обеспечит:
- повышение эффективности педагогического оценивания знаний, в том числе повышение объективности выставляемых оценок и уровня знаний обучаемых, расширение сферы практического применения тестового контроля, возможность управлять построением алгоритма тестирования и формированием теста, а также существенное сокращение трудоемкости его практического применения;
14
- содержательную подготовку в области формально-структурного описания и исследования информационных процессов педагогического контроля знании специалистов по созданию, внедрению и организации ¦жеплуа пиши ДСП КЗ;
- совершенствование организационных форм и методов подготовки специалистов по созданию, внедрению и организации эксплуатации АСПКЗ;
- автоматизацию процессов распределенной коллегиальной подготовки экспертами тестовых заданий, их последующего централизованного сбора, накопления и распределения по учебным заведениям, а также регулярного применении для тестирования знаний.
Для достижения цели исследования сформулированы задачи исследования:
1. Проанализировать современные научно-методические подходы к организации подготовки педагогов и специалистов в области автоматизации педагогического контроля знаний, основанные на методах формализации описания, диагностирования и оценивания состояния сложных объектов, и предложит!, направления повышения результативности и эффективности этого процесса.
2. Теоретически обосновать и разработать метод формально-структурного описания и исследования процессов педагогического контроля знаний, на основании коюрого построить обобщенные формально-структурные модели системы обучения и протекающих в ней процессов педагогического контроля и тестирования знаний, а также обобщенную формально-структурную модель знаний.
3. Сформулировать принципы автоматизации педагогического юстирования шаний, учитывающие современный уровень развития средств и методов информатики и ИКТ.
4. Теорешчсски обосновать, построить и исследовать формально-структурные модели нечеткого и статистического оценивания знаний, а также предложим» алюршмы их реализации и практически оценить эффективность применении.
15
5. Теоретически обосновать и разработать метод количественного оценивания объективности педагогического контроля знаний, на основе которого построить и исследовать формально-структурную модель количес1 псиного оценивания объективности.
6. Разработан» методические рекомендации по распределенной коллегиальной подготовке экспертами тестовых заданий, их последующему централи юианному сбору, накоплению и распределению по учебным заведениям для раулярного тестирования знаний, а также по планированию, организации и оперативной координации сеансов автоматизированного контроля знаний.
7. Разработать структуру, содержание и организационно-методические подходы к подготовке в области информатики и ИКТ специалистов по применению по созданию, внедрению и организации эксплуатации автоматизированных систем педагогического контроля знаний.
Методологическими основами настоящего исследования стали работы в области педагогики и педагогической диагностики (Ш.А. Амонашвили, Ю.К. Бабанский, Л.И. Берг, О.С. Гребенюк, Ы.Ф. Талызина, В.Д. Шадриков и др.); теории и практики обучения информатике, использования ИКТ в учебном процессе (С.Л. Бешенков, Я.А. Ваграменко, С.Г. Данилюк, М.П. Лаичик, О.А. Козлов, А.А. Кузнецов, Э.И. Кузнецов, Э.А. Манушин, Н.И. Пак, СВ. Панюкова, И.В. Роберт, Ю.А. Романеико, Н.В. Софронова, Е.К. Хеннер и др.); квалимефин (С.Д. Бешелев, Ф.Г. Гурвич, Б.И. Канаев, Б.Я. Лихтциндер и др.); тесюлогии (B.C. Аванесов, А. Анастази, Дж. Гласе, Н. Грунлунд, К. Ингскамп. II. Клайн, А.Н. Майоров, П.А. Михайлычев, Дж. Стэнли, В.А. Хлебников, М.Б. Челышкова, А.Г. Шмелев и др.); экспертных методов в педагогических исследованиях (А.И. Орлов, И.В. Роберт, Ю.В. Сидельников, B.C. Черепанов и др.); кибернетики, исследования операций и дискретной математики (1?.С. Зентцель, Н. Винер, Ф. Джордж, Л.Т. Кузин, А. Тьюринг и др.); системного анализа (В.М. Глушков, А.К. Дмитриев, П.А. Мальцев, Г.П. Мельников, М. Месарович, Б. Рассел, Л.А. Растригин, В.А. Штофф и др.); чеории ии(|)()рмацни, инженерии знаний и искусственного интеллекта
16
(Т.Л. Гаврилова, Р. Галлагер, Л.В. Колесников, С. Осовский, Д.А. Поспелов, Ф.Е. Темников, 13.Ф. Хорошевский, К. Шеннон, Ю.Л. Шрейдер и др.); теории принятия решений и нечеткой алгебры (Л.Н. Борисов, J1. Заде, А. Коффман и др.); теории вероятностей и математической статистики (A.M. Длин, П.13. Оболонкин, 1J.А. Фигурин и др.).
Для решения поставленных задач применялись следующие методы исследовании: теоретический анализ положений педагогической науки по проблемам диагностирования, контроля и оценивания знаний; сопоставительный анализ технологий контроля знаний; наблюдение, беседы, проведение занятий в компьютерном классе и непосредственное осуществление педагогического контроля знаний; системный анализ; методы синтеза и анализа сложных систем и информационных процессов; экспертные методы в приложении к педагогическим исследованиям; методы теории алгоритмов и принятия решений; методы нечеткой логики, теории вероятности и математической статистики.
Научная новизна заключается в разработке: метода формально-структурного описания и исследования процессов педагогического контроля знаний; обобщенных формально-структурных моделей системы обучения и реализуемых в ней процессов педагогического котроли знаний и тестирования знаний: обобщенной формально-структурной модели знаний как объекта педагогического контроля; формально-структурных моделей нечеткого оценивания шапий и статистического оценивания знаний; семейства алгоритме)!! прямого и адаптивного тестирования знаний; формально-с1руктурной модели количественного оценивания объективности педагогического контроля знаний; основных направлений подготовки в облает информашки и ИКТ специалистов по созданию, внедрению и организации эксплуатации АСПКЗ.
Теорешческаи значимость проведенного исследования заключается в обосновании назначения, разработке содержания и выявлении этапов применения меч ода формально-структурного описания и исследования процессов педагогического контроля знаний; в формулировании принципов
17
авюмаппации педагогического тестирования знаний; и обосновании метода и построении формально-структурной модели нечеткого оценивания знаний, определении сферы ее применения в качестве средства педагогического контроля; и обосновании метода и построении формально-структурной модели статистического оценивания знаний, определении сферы ее применения в качестве средства педагогического контроля; в обосновании метода и построении формально-структурной модели количественного оценивания объективности педагогического контроля знаний; в разработке структуры и содержания подготовки в области информатики и ИКТ специалистов по созданию, внедрению и организации эксплуатации ЛСПКЗ.
- Практическая значимость исследования заключается в разработке следующих учебно-методических материалов: учебного плана подготовки информатиков-аналитиков по специализации «Автоматизированные системы педагогического контроля знаний» специальности 351400 «Прикладная информатика (в образовании)», учебного плана повышения квалификации завучей учреждений общего среднего образования по направлению «Подготовка кадров информатизации образования» (специализация «Автоматизированные системы педагогического контроля знаний), учебной программы повышения квалификации педагогических кадров и административно-управленческого персонала образовательных учреждений в области информатики и ИКТ «Основы автоматизированного тестирования знаний», методики оценивания компетентности преподавателей, осуществляющих педагогический контроль знаний, и стандарта предприятия «Управление качеством образования. Расчет коэффициента компетентности преподавателя», методики оценивания объективности процедуры педагогического контроля и экспертов-преподавателей, участвующих в ее организации и проведении, и стандарта предприятия «Управление качеством образования. Оценка объективности аттестационных комиссий», методик распределенного коллегиального построения экспертами тестовых заданий, их централизованною накопления и распространения по образовательным учреждениям для проведения педагогического тестирования, а также |
