Введение в проблему педагогических измерений. Актуальные вопросы оценки качества образования. Таксономия образовательных целей и результатов обучения (индивидуальная самостоятельная работа)

Введение в проблему педагогических измерений

1. Основы теории педагогических измерений

Контроль — это важнейший компонент практической деятельности педагога, позволяющий выявить достоинства и недостатки новых методов обучения, установить взаимосвязи между планируемыми, реализуемыми и достигнутыми уровнями образования. Так же контроль можно рассматривать как объект теоретических исследований, тесно связанный с изменениями подходов к определению и оценке качества образования. Выделяя педагогический контроль, важно отметить, что это единая дидактическая и методическая система проверочной деятельности, которая направлена на выявление и оценку результатов учебной деятельности школьников или студентов. 

Проблема объективного измерения результатов учебной деятельности:

- Измерение предполагает проведение объективного количественного сопоставления оцениваемого свойства ученика с некоторым эталоном, принятым в качестве единицы измерения. 

- Общее определение: измерение — процесс сопоставления оцениваемых характеристик объекта на числовую ось.

3. Современное определение: измерение — оценка, проводимая с использованием понятия шкалы вполне определенных способностей для количественной оценки поведения или характеристики, например, математических способностей.

Вопросы проблемы педагогических измерений:

Для чего измерять? 

Что измерять? 

Чем измерять?

Данную проблему пытаются решить, опираясь на математическую теорию измерений. 

2. Переменные измерения и их взаимосвязь

Поиск такой числовой структуры, которая будет изоморфна эмпирическим референтам (измеряемым характеристикам) явного характера - это главная задача педагогического измерения.

Параметры пед. измерений: 

- объект измерения;

- измерительная процедура; 

- средства измерения;

- шкала;

Переменные измерения, которые не носят явного характера, выражаются в виде совокупности заданий и проявляются только в эмпирических результатах выполнения теста, путем анализа.

В качестве переменной измерения могут выступать: 

- дискретные характеристики (не имеют промежуточных значений между двумя точками)

- непрерывные характеристики (могут принимать любые значения на всем заданном интервале).

3. Систематические и случайные ошибки измерений, истинный балл

Качество педагогических измерений, прежде всего подразумевают их объективность. Существует несколько градаций объективности. Таким образом, классическая объективность связана с величиной ошибки измерения, с содержанием и процедурными проблемами. При этом совокупность заданий должна работать на оценивание переменной измерения, которая должна быть доминирующей. 

Интервальное исследование — это получение некоторого интервала вокруг наблюдаемого балла (X), границы которого определяются ошибкой измерения и внутри которого лежит истинный балл (Т). Постепенно сужая интервал, мы приближаемся к истинному баллу. Математические способы позволяют от X максимально близко подойти к Г, но в классической и  современной теории тестирования это реализуется по-разному. 

4. Доверительный интервал

Доверительный интервал - это такие пределы выборочного распределения, в которых можно с заранее определенной вероятностью ожидать нахождения значения генеральной совокупности (т. е. результатов работы всех возможных тестируемых). Следовательно, все точки, лежащие в доверительном интервале, можно считать доверительными оценками.

5. Точечные и доверительные оценки

Процедурная объективность отождествляется с объективностью процедуры тестирования (отсутствует педагог, одинаковые условия для всех, единые критерии проверки и пр.). Классическая объективность описывается формулой. Здесь Т (истинный балл) — это оценка параметра испытуемого, не зависящего от средств и способа измерения, но меняющегося в процессе обучения. Т постоянно в момент измерения. Чем меньше ошибка измерения, тем измерение объективнее, где Т — абсолютно объективная оценка.

Актуальные вопросы оценки качества образования

1. Содержание понятия "качество образования" в отечественной и зарубежной образовательной практике.

Таксономия - это теория классификации и систематизации сложно организованных областей действительности, обычно имеющих иерархическое строение.

На данный момент наблюдается смещение акцентов в сторону выявления уровня владения интеллектуальными умениями в комплексе с практическими, составляющими основу компетентности специалиста. Оценить эти умения достаточно проблематично, поэтому создаются многомерные модели для оценки результатов обучения с использованием тестового инструментария для измерения. 

Известна трехмерная модель: содержание + техника измерения + планируемый уровень деятельности.

СОЛО-таксономия - один из примеров разработки современной модели структуры познавательной деятельности. 

В отечественной системе образования в государственных образовательных стандартах описаны требования к уровню подготовки учащихся с опорой на разработки отечественных специалистов. Эти требования берутся за основу при подготовке измерителей как традиционных (контрольные работы, экзаменационные задания), так и тестовых форм.

Требования к уровню подготовки учащихся — это описание планируемых результатов обучения, которое позволяет представить, что и как должны усвоить школьники, в каких видах деятельности должны проявиться те или иные знания, умения, навыки, какими качествами знаний и умений должны обладать ученики. Выделив и описав планируемые результаты как самостоятельный компонент, разработчики образовательного стандарта наглядно показали возможность принять эти требования в качестве критерия для оценки результатов обучения школьников. Таким образом. отечественная система образования стала сравнимой с зарубежными моделями построения образовательных систем. Хотя компоненты, описываемых требований в различных странах различаются.

В отечественной педагогике выделяют три компонента требований:

1) система знаний и умений;

2) виды учебной деятельности;

3) качественные характеристики.

2. Первые шаги становления общероссийской системы оценки качества образования

Создание общероссийской системы оценки качества образования в России должно способствует целям:

- обеспечение объективности и справедливости при приеме в образовательные учреждения;

- сохранение единого образовательного пространства;

- повышение уровня информированности потребителей образовательных услуг при принятии решения о продолжении образования или трудоустройстве;

- развитие государственной аттестационной службы;

- принятие обоснованных управленческих решений по повышению качества образования.

Оценка качества образования включает в себя несколько этапов, составляющих некий инвариант:

- выделение показателей качества; 

-  определение критериев оценки; 

- формирование шкалы уровней достижения критериев качества; 

- разработка инструментария для измерения показателей; 

- организация сбора, обработки, анализа и интерпретации полученных данных; 

- предоставление и распространение обобщенной информации для разных категорий пользователей; 

- организация широкого общественного и профессионального обсуждения;  - подготовка рекомендаций по совершенствованию системы образования и принятие управленческих решений на различных уровнях.

3. Представления о качестве подготовки учащихся общеобразовательных учреждений

Сравнивая исследования TIMSS и PISA, можно сказать что каждый из них имеет свои особенности, но вместе они дополняют друг друга. Для определения объективности и достоверности полученные результаты международных исследований сопоставляют с данными полученными в ходе проведения Единого государственного экзамена, а также многочисленных мониторинговых исследований. Одновременное проведение двух этих международных исследований дает более полную информацию о системе образования оценивая разные стороны- уровень освоения школьных программ и способность применять полученные в школе знания и умения в ситуациях приближенные к реальной жизни.

В отличие от исследования TIMSS, в котором российские учащиеся 3-4 и 8 классов продемонстрировали достаточно высокий уровень овладения содержанием математического и естественнонаучного образования, в исследовании PISA российские учащиеся 15-летнего возраста показали низкий уровень применения полученных в школе знаний в ситуациях, отличающихся от учебных, взятых из реальной жизни, т. е. в умении: эффективно и грамотно, с опорой на полученные в школе знания и умения решать практические, социальные и личностно значимые проблемы

«увязывать» с приобретаемой в школе системой знаний свой жизненный опыт и дополнительные сведения, полученные из других источников

работать с информацией (данными), читать и анализировать тексты, анализировать и интерпретировать данные, представленные в иной, нетекстовой форме

проводить наблюдения, строить на их основе гипотезы, делать выводы и заключения, проверять предположения.

4. Показатели качества

- уровень освоения школьных программ (оценивается общеобразовательная подготовка по математике и естествознанию учащихся 4 и 8 классов) 

- способность применять полученные в школе знания и умения в ситуациях, приближенных к реальной жизни (оценивается математическая и естественнонаучная грамотность, грамотность чтения и понимания текстов, умение решать проблемы непредметного содержания)

5. Принципы отбора показателей качества

- ориентация на требования внешних пользователей; 

- учет потребностей системы образования; 

- минимизация системы показателей с учетом потребностей разных уровней управления системой образования; 

- надежность и технологичность используемых показателей; 

- оптимальность использования источников первичных данных для определения показателей качества и эффективности образования (с учетом возможности их многократного использования и экономической обоснованности); 

- иерархичность системы показателей (для удобства пользователей на различных уровнях системы образования); 

- соответствие международным аналогам; 

- соблюдение морально-этических норм в отборе показателей.

6. Международные программы по оценке образовательных достижений учащихся

- Исследование TIMSS (Trends in Mathematics and Science Study) — мониторинговое исследование качества математического и естественнонаучного образования. 

- Исследование PISA (Programme for International Student Assessment) — международная программа для оценки компетентности выпускников основной школы.

Таксономия образовательных целей и результатов обучения

1. Образовательные стандарты и ожидаемые результаты обучения

Таксономия - теория классификации и систематизации сложно организованных областей действительности, обычно имеющих иерархическое строение. В последнее время произошло смещение акцентов в сторону выявления уровня владения интеллектуальными умениями в комплексе с практическими. Оценить эти умения достаточно проблематично, поэтому создаются современные многомерные модели оценки результатов обучения с использованием тестового инструментария для измерения. Известна трехмерная модель: содержание + техника измерения + планируемый уровень деятельности.

СОЛО-таксономия - один из примеров разработки современной модели структуры познавательной деятельности. 

В отечественной системе образования в государственных образовательных стандартах описаны требования к уровню подготовки учащихся с опорой на разработки отечественных специалистов. Эти требования берутся за основу при подготовке измерителей как традиционных (контрольные работы, экзаменационные задания), так и тестовых форм.

2. Требования к результатам обучения как основа критериального подхода к оцениванию образовательных достижений

Требования к уровню подготовки учащихся - это описание планируемых результатов обучения, которая позволяет представить, что и как должны усвоить школьники, в каких видах деятельности должны проявиться те или иные знания, умения, навыки, какими качествами знаний и умений должны обладать ученики.

В отечественной педагогике выделяют три компонента требований:

- система знаний и умений; 

- виды учебной деятельности; 

- качественные характеристики.

3. Таксономия учебных достижений, используемая в едином государственном экзамене

В основе оценки учебных достижений используется таксономия учебных достижений, в которой соотнесены традиционные подходы к выделению уровней овладения содержанием образования с уровнями учебных достижений, ориентированных на компетентностный подход. Это попытка отечественных специалистов в области педагогических измерений реализовать на практике идею описания учебных достижений школьников; на ее основе предполагалось создание контрольно-измерительных материалов для ЕГЭ.