Тесты в технологии блочного обучения математике учащихся полной средней школы. Вычисление индекса трудности (Итр) Трудность задания

Если педагогический тест определить кратко как систему заданий равномерно возрастающей трудности, то станет понятно, что трудность заданий является важнейшим, скажем так, тест образующим показателем. Немало руководителей школ считают, что их учителя в состоянии «придумать» за короткое время могут сколько угодно «тестов». На самом же деле можно придумать довольно много заданий в тестовой форме. А совсем не тесты, а только задания. Их нельзя включать в настоящий тест до тех пор, пока не станет известной мера их трудности, а также и другие характеристики. Мера трудности проверяется эмпирически. Из этого требования становится понятной обязательность предварительной эмпирической проверки каждого задания, до начала тестирования. В процессе проверки многие задания не выдерживают предъявляемых к ним требований, и потому не включаются в тест. Первое требование к тестовым заданиям: в тесте задания должны различаться по уровню трудности, что вытекает из данного ранее определения теста и рассматриваемого принципа.

Внимательный читатель вероятно уже уловил различия в лексике трех как бы «незаметно» введенных здесь основных понятий теории педагогических измерений: понятие педагогического теста, задания в тестовой форме и тестового задания. Требования к первому из них уже было рассмотрено в статье «Определение педагогического теста» (УШ № 30, август 1999г.).

Требования ко второму понятию лучше ввести сейчас, сделав это хотя бы кратко перечислив их, для того чтобы не отвлечься от основной темы статьи. К заданиям в тестовой форме предъявляются следующие требования:

краткость;
технологичность;
правильность формы;
правильность содержания
логическая форма высказывания;
одинаковость правил оценки ответов;
наличие определенного места для ответов;
одинаковость инструкции для всех испытуемых;
правильность расположения элементов задания;
адекватность инструкции форме и содержанию задания

Аванесов В.С. Основы педагогической теории измерений // Педагогические Измерения, 1, 2004г. С. 17.

Подробное истолкование этих требований последует в следующих статьях, а сейчас хотелось бы обратить внимание читателя на то, что здесь нет требования известной трудности задания, в то время как к тесту и к тестовому заданию такое требование предъявляется. Из размышления над этим и ранее опубликованным материалом можно сделать два вывода. Первый - что в тесте нет места заданиям с неизвестной мерой трудности. И второй - что не все предлагаемые задания в тестовой форме могут стать тестовыми заданиями: это разные понятия. В первом понятии самыми существенными являются требования содержания и формы. К тестовым же заданиям в первую очередь предъявляется требование известной трудности, то, что явно не требуется у заданий в тестовой форме. Можно повторить, что задания имеют шанс стать тестовыми только после эмпирической проверки меры их трудности, на типичных группах испытуемых.

Показатель трудности теста и тестовых заданий является содержательным и формальным одновременно. Содержательным, потому что в хорошем тесте трудность может зависеть только от трудности содержания заданий и от уровня подготовленности самих испытуемых. В то время как в плохом тесте на результаты начинают заметно влиять форма заданий (особенно если она не адекватна содержанию), плохая организация тестирования, если имеются возможности списывания, утечки информации. Особого упоминания в этой связи заслуживает вредная практика нацеленной подготовки учащихся единому государственному экзамену. Педагогов, занимавшихся таким делом, министр образования России 1907 года И.Толстой называл натаскивателями. Но педагоги виноваты менее всего. Виновата ошибочная система «егирования», которая подталкивает к такой ошибочной практике. Каков контроль, таково и образование.

Формальная составляющая сторона показателя трудности возникает при рассмотрении тестирования как процесса противоборства испытуемого с предлагаемым ему заданием. Получаемый при этом исход полезно рассматривать как результатменно такого противоборства. При упрощенном истолковании каждого случая предъявления задания часто, но совсем ен обязательно рассматриваются два исхода: победа испытуемого при правильном решении задания, где он получает один балл, или поражение, за что даётся ноль баллов. Оценка результата противоборства зависит от соотношения уровня знания тестируемого к уровню трудности задания, от избранной единицы измерения знаний и от заранее принятого правила (конвенции) - что считать «победой» испытуемого, и допустима ли ничья, если говорить языком спорта.

Принцип возрастающей трудности используется при изложении содержания многих учебников и пособий, особенно по тем учебным дисциплинам, которые построены по кумулятивному принципу, что означает: знание последующих элементов курса в явном виде зависит от знания предыдущих учебных элементов. Такое построение присуще учебникам по математике, логике, иностранным языкам, статистике, техническим и многим другим наукам. В них ранее изученные понятия активно используются в последующих темах. Поэтому изучать такие дисциплины нужно только с самого начала, и без пробелов.

Большинство авторов, особенно зарубежных, не делают различий между понятиями «трудность» и «сложность». Многие разработчики тестов - то же. Однако есть работы, в которых эти понятия определяются различно. Например, А.Н.Захаров и А.М.Матюшкин отмечают, что степень трудности учебного задания не совпадает с его сложностью. Степень сложности учебного материала характеризуется реальной (объективной) насыщенностью учебного задания и формой его изложения, а степень трудности всегда предполагает соотнесение подлежащего усвоению учебного материала с ранее усвоенным учебным материалом и интеллектуальными возможностями учащихся (1).

Л.Н. Ланда объяснял трудность учебной задачи тем, что учащиеся часто не знают тех операций, которые надо производить, чтобы найти решение. Если систему операций для решения некоторого класса задач назвать методом решения, то, по его мнению, трудность связана с незнанием метода, с незнанием, как нужно думать в процессе решения, как и в какой последовательности надо действовать с условиями задачи (2). Возникающие затруднения объясняются тем, что педагог часто старается дать знания о содержании изучаемого и значительно меньше заботится о том, как надо думать, рассуждать (там же). Подобное истолкование пересекается с идеей о связи сложности задания с числом операций, которые необходимо совершить для достижения успеха. Эти определения трудности и сложности являются, по большей части, психологическими; они полезны при психологическом анализе содержания тестовых заданий.

Традиционной мерой трудности каждого задания долгие годы была доля правильных ответов в группе испытуемых, изображаемая символом pj, где индекс j указывает на номер интересующего задания (1, 2 и т. д.). Например, если правильные ответы испытуемых на третье задание теста оценивать одним баллом, а неправильные - нулем, то значение показателя p3 можно найти из элементарного отношения:

P3 = R3/N,
где R3 означает число правильных ответов на данное задание, а N - общее число испытуемых в группе. Общая формула расчета доли правильных ответов на любое задание (j) имеет соответственно вид

Pj = Rj/ N
Показатель pj. долго использовался в качестве меры трудности в так называемой классической теории тестов (3). Позже была осознана содержащаяся в ней смысловая неточность: ведь увеличение значения pj указывает не на возрастание трудности, а, наоборот, на возрастание легкости, если можно использовать такое слово. Поэтому в последние годы с показателем трудности заданий стали ассоциировать противоположную статистику - долю неправильных ответов (qj). Эта доля вычисляется из отношения числа неправильных ответов (Wj- от англ слова Wrong - неправильный) к числу испытуемых (N):

Естественным образом принимается, что pj + qj = 1. В классической теории тестов многие годы рассматривались только эмпирические показатели трудности. В новых вариантах психологических и педагогических теорий тестов больше внимание стало уделяться характеру умственной деятельности учащихся в процессе выполнения тестовых заданий различных форм (4).

Содержание теста не может быть только легким, средним или трудным. Здесь в полной мере проявляется известная мысль о зависимости результатов применяемого метода. Легкие задания теста создают только видимость наличия знаний у учащихся, потому что ими проверяются минимальные знания. В этой связи можно заметить, что ориентация федерального органа управления образованием на проверку минимального уровня знаний не дает, и не может, даже по определению, дать представление о реальном уровне знаний, т.е. дать ту информацию, которая давно уже нужна обществу и органам управления. Искажает результаты тестирования и подбор заведомо трудных заданий, в результате чего у большинства школьников оказываются заниженные баллы. Ориентация на трудные задания нередко рассматривается как средство усиления мотивации к учебе. Однако это средство действует неоднозначно. Одних трудные задания могут подтолкнуть к учебе, других - оттолкнуть от нее. Подобная ориентация искажает результаты и в итоге, снижает качество педагогического измерения. Если тест построен строго из заданий возрастающей трудности, то этим открывается путь к созданию одной из самых интересных шкал измерения - шкалы Л. Гутмана.

При определении теста уже отмечалось, что все задания теста, хотелось бы подчеркнуть, независимо от содержания тем, разделов и от учебных дисциплин, располагаются в порядке возрастающей трудности. Распространенная, до недавнего времени, рекомендация включать в тест больше заданий средней трудности, оправдана с точки зрения определения надежности измерения по формулам т.н. классической теории тестов. Существующие в этой теории методы оценки надежности теста дают снижение надежности при включении в тест легких и трудных заданий. В то же время увлечение заданиями одной только средней трудности приводит к серьезной деформации содержания теста: последний теряет способность нормально отображать содержание изучаемой дисциплины, в которой всегда есть легкий и трудный материал. Таким образом, в погоне за абстрактной теоретически высокой надежностью теряется содержательная валидность тестовых результатов. Стремление же поднять валидность результатов теста нередко сопровождается снижением их точности. Этот феномен в теори известен как парадокс теоретика американской психометрики Ф.Лорда

Если тестируется слабая, по подготовленности, группа учащихся, то оказывается, что трудные задания теста просто не работают, потому что ни один учащийся не может правильно на них ответить. Такие задания из дальнейшей обработки данных изымаются. В адаптивных контролирующих системах они не предлагаются. Содержание теста для слабых учащихся будет заметно отличаться от содержания теста для сильных учащихся. У последних, наоборот, не работают легкие задания, так как все знающие испытуемые на легкие задания отвечают правильно. Таким образом, содержание традиционного теста существенным образом варьирует в зависимости от уровня подготовленности тех групп учащихся, на измерение знаний которых нацелен тест.

Оптимальное отображение содержания учебного материала в тестовые задания требуемого уровня трудности предполагает возможность выбора подходящей формы. Содержание теста выражается в одной из четырех основных форм заданий. Это: 1) задания с выбором одного или нескольких правильных ответов из числа предложенных; 2) задания открытой формы, где ответ испытуемый дописывает сам, в отведенном для этого месте; 3) задания на установление соответствия, и 4) задания на установление правильной последовательности действий.

Литература

Захаров А.И., Матюшкин А.М. Проблемы адаптивных систем обучения // Кибернетика и проблемы обучения. - М.: Прогресс, 1970.- 389с.
Ланда Л.Н. Алгоритмизация в обучении. М., Просвещение, 1966
Gulliksen H. Theory of Mental Tests. N - Y. Wiley. 1950 - 486 p. и мн. др.
Tatsuoka, K.K. Item construction and psychometric models appropriate for constructed response. Prinston, N-J, 1993. - 56 pp; Frederiksen, N., Mislevy R.J., Bejar I. J. (Eds). Test theory for a new generations of tests. Lawrence Erlbaum Ass. Publ. 1993, Hillsdale, N-J, 404pp. и др.

Показатель трудности тестового задания как важнейший тестообразующий фактор.

Крашенинникова Галина Геннадьевна

канд. пед. наук, Магаданский филиал РГГУ

Одной из основных характеристикой тестового задания является его трудность. Уровень трудности задания, а также уровень подготовленности тестированного – это латентные параметры, которые не поддаются непосредственному наблюдению. Для того, чтобы оценить эти параметры, требуется использовать тесно связанные с ними индикаторы. При тестировании знаний студентов в качестве индикатора выступают сами тестовые задания. Возникает задача: преобразовать значения индикаторов в значения латентных параметров. Существуют различные подходы к решению этой задачи. Классическая и современная теории тестирования предлагают свои методы оценивания латентных параметров.

Традиционной мерой трудности задания в классической теории тестов долгие годы остаётся отношение числа правильных ответов на данное задание к общему числу испытуемых в группе. Чем легче задание, тем выше процент справившихся с этим заданием .

Однако данное определение несёт в себе смысловую неточность: увеличение числового значения статистического показателя говорит об уменьшении уровня трудности задания, и наоборот. Поэтому в последнее время предпринимаются попытки введения новых единиц трудности. Классическая мера трудности заменяется на противоположную и представляет собой долю неправильных ответов в группе испытуемых, что, на наш взгляд, более точно отражает смысл параметра «трудность задания».

Современная теория тестирования – Item Response Theory (IRT) – основывается на созданной П. Лазарсфельдом теории латентно-структурного анализа (ЛСА). В IRT, в отличие от классической теории, латентный параметр трактуется не как постоянная величина, а как непрерывная переменная. Методы IRT можно классифицировать по числу используемых в них параметров. Наиболее известны однопараметрическая модель Г. Раша, двух- и трехпараметрические модели А. Бирнбаума.

Георг Раш разместил на одной шкале и уровень подготовленности тестируемого и уровень трудности задания, введя для них общую единицу измерения – логит. Один логит трудности задания равен натуральному логарифму отношения доли неправильных ответов на это задание к доле правильных ответов .

Несмотря на то, что IRT получила в последнее время широкое распространение, она, тем не менее, обладает множеством недостатков. В частности, при тестировании учебных достижений отмечаются значительные расхождения между расчетными значениями и эмпирическими данными. Доказана также высокая корреляция (около 0,9) между результатами, полученными по модели Раша и результатами, полученными классическими методами . Этот факт позволяет нам без ущерба точности вычислений пользоваться методами классической теории тестов для характеристики трудности тестовых заданий.

Хотя классическая формула расчета трудности задания достаточно удобна для исполнения и последующей трактовки полученных результатов, на наш взгляд, она не лишена некоторого субъективизма: трудность задания напрямую зависит от выборки тестируемых. В связи с этим рассмотрим еще один взгляд на оценку уровня трудности тестового задания, который, хотя и не является широко распространенным, но представляет для нас определенный интерес.

Чтобы подойти к сущности латентного параметра «трудность», обратимся к классификации уровней усвоения знаний, принятых в педагогической литературе. Можно заметить вполне объективное возрастание степени трудности усвоения для каждого последующего уровня усвоения знаний. Таким образом, мы можем сделать вывод о существовании прямой зависимости между уровнями усвоения и уровнями трудности заданий, соответствующих каждому уровню усвоения. Это позволяет нам отождествлять такие понятия как «уровень трудности» и «уровень усвоения» применительно к тестовым заданиям. Взяв за основу классификацию В.П. Беспалько , мы выделяем четыре уровня трудности: «ученический», типовой, эвристический, творческий.

В настоящее время в педагогике широко используются экспертные методы. Поэтому заслуживает внимание экспертное оценивание уровня трудности тестовых заданий как ещё один из вариантов оценки показателя трудности. Например, в работе А.П. Иванова приводится описание подобной оценки, когда до начала тестового эксперимента нескольким экспертам предлагается оценить трудность заданий всех вариантов теста в баллах. Для получения экспертной оценки автор приводит перечень из восьми факторов с соответствующими критериями оценивания от 1 до 5 баллов по каждому.

В хорошо составленном тесте на трудность задания не должна влиять ни форма, ни сама организация тестирования. Показатель трудности зависит только от содержания и уровня подготовленности тестируемых. Правда, встречается мнение, что на степень трудности задания оказывает влияние месторасположение этого задания в структуре теста. В этом случае рекомендуется использовать несколько вариантов теста, отличающихся последовательностью расположения заданий . В.С. Аванесов полагает основным принципом разработки содержания педагогических тестов возрастающую трудность тестовых заданий . По его мнению, только после определения степени трудности, задание имеет шанс стать тестовым. До этого оно остается просто заданием в тестовой форме.

Включение в тест большого числа заданий средней трудности повышает его надежность, но, приводит к снижению его содержательной валидности. Тест, состоящий из легких заданий, проверяющих минимальные знания, не может дать представления о реальном уровне знаний. Подбор тестовых заданий высокой степени трудности может способствовать усилению мотивации в учебе, но может повлиять и в обратную сторону. Таким образом, тесты из трудных заданий тоже искажают результаты тестирования. Кроме того, содержание теста должно варьироваться в зависимости от уровня подготовленности групп учащихся. Трудность теста для слабых студентов заметно отличается от уровня трудности теста, предлагаемого сильным студентам.

По А. Анастази и С. Урбиной выбор уровня трудности задания зависит от назначения теста, от того как предполагается использовать тестовые показатели. Для предметно-ориентированных тестов трудность заданий должна быть на уровне 0,8-0,9. Определяя по уровню трудности задания его информативность, авторы показывают, что наиболее информативно задание со средним уровнем трудности, равным 0,50.

Таким образом, можно сделать вывод, что наибольшей дифференцирующей способностью обладают задания со средним уровнем трудности. И, если целью тестирования является дифференциация тестируемых, сравнительная оценка их уровня знаний, то из теста следует исключать наиболее простые и наиболее трудные задания. Если же назначение теста определить, овладел ли обучаемый в достаточной мере определённым набором компетенций, необходимым для перехода к следующему этапу обучения, то в нём могут быть как самые лёгкие, так и самые трудные задания.

Библиографический список

1. Аванесов В.С. Применение заданий в тестовой форме в новых образовательных технологиях // Школьные технологии. – 2007. – № 3. – С. 146–163.

2. Анастази А., Урбина С. Психологическое тестирование. – СПб. : Питер, 2002. – 688 с.

3. Беспалько В.П. Слагаемые педагогической технологии. – М.: Педагогика, 1989. – 192 с.

4. Иванов А.П. Систематизация знаний по математике в профильных классах с использованием тестов. – М.: Физматкнига, 2004. – 416 с.

5. Ингенкамп К. Педагогическая диагностика. – М.: Педагогика, 1991. – 240 с.

6. Ким В.С. Анализ результатов тестирования в процессе Rasch measurement // Педагогические измерения. – 2005. – № 4. – С. 39–45.

7. Rasch G. Probabilistic Models for Some Intelligence and Attainment Tests. – Chicago & London, 1980. – 199 p.

В предыдущей статье были рассмотрены девять принципов разработки содержания педагогических тестов. В фокусе этой статьи - десятый принцип: возрастающая трудность заданий теста.

Если педагогический тест определить кратко как систему заданий равномерно возрастающей трудности, то станет понятно, что трудность заданий является важнейшим, скажем так, тест образующим показателем. Немало руководителей школ считают, что их учителя в состоянии "придумать" за короткое время могут сколько угодно "тестов". На самом же деле можно придумать довольно много заданий в тестовой форме. А совсем не тесты, а только задания. Их нельзя включать в настоящий тест до тех пор, пока не станет известной мера их трудности, а также и другие характеристики. Мера трудности проверяется эмпирически. Из этого требования становится понятной обязательность предварительной эмпирической проверки каждого задания, до начала тестирования. В процессе проверки многие задания не выдерживают предъявляемых к ним требований, и потому не включаются в тест. Первое требование к тестовым заданиям: в тесте задания должны различаться по уровню трудности, что вытекает из данного ранее определения теста и рассматриваемого принципа.

Внимательный читатель вероятно уже уловил различия в лексике трех как бы "незаметно" введенных здесь основных понятий теории педагогических измерений: понятие педагогического теста, задания в тестовой форме и тестового задания. Требования к первому из них уже было рассмотрено в статье "Определение педагогического теста" (УШ № 30, август 1999г.).

Краткость;

Технологичность;

Правильность формы;

Правильность содержания

Логическая форма высказывания;

Одинаковость правил оценки ответов;

Наличие определенного места для ответов;

Одинаковость инструкции для всех испытуемых;

Правильность расположения элементов задания;

Аванесов В.С. Основы педагогической теории измерений // Педагогические Измерения, 1, 2004г. С. 17.

Показатель трудности теста и тестовых заданий является содержательным и формальным одновременно. Содержательным, потому что в хорошем тесте трудность может зависеть только от трудности содержания заданий и от уровня подготовленности самих испытуемых. В то время как в плохом тесте на результаты начинают заметно влиять форма заданий (особенно если она не адекватна содержанию), плохая организация тестирования, если имеются возможности списывания, утечки информации. Особого упоминания в этой связи заслуживает вредная практика нацеленной подготовки учащихся единому государственному экзамену. Педагогов, занимавшихся таким делом, министр образования России 1907 года И.Толстой называл натаскивателями. Но педагоги виноваты менее всего. Виновата ошибочная система "егирования", которая подталкивает к такой ошибочной практике. Каков контроль, таково и образование.

Формальная составляющая сторона показателя трудности возникает при рассмотрении тестирования как процесса противоборства испытуемого с предлагаемым ему заданием. Получаемый при этом исход полезно рассматривать как результатменно такого противоборства. При упрощенном истолковании каждого случая предъявления задания часто, но совсем ен обязательно рассматриваются два исхода: победа испытуемого при правильном решении задания, где он получает один балл, или поражение, за что даётся ноль баллов. Оценка результата противоборства зависит от соотношения уровня знания тестируемого к уровню трудности задания, от избранной единицы измерения знаний и от заранее принятого правила (конвенции) - что считать "победой" испытуемого, и допустима ли ничья, если говорить языком спорта.

Большинство авторов, особенно зарубежных, не делают различий между понятиями "трудность" и "сложность". Многие разработчики тестов - то же. Однако есть работы, в которых эти понятия определяются различно. Например, А.Н.Захаров и А.М.Матюшкин отмечают, что степень трудности учебного задания не совпадает с его сложностью. Степень сложности учебного материала характеризуется реальной (объективной) насыщенностью учебного задания и формой его изложения, а степень трудности всегда предполагает соотнесение подлежащего усвоению учебного материала с ранее усвоенным учебным материалом и интеллектуальными возможностями учащихся (1).

Традиционной мерой трудности каждого задания долгие годы была доля правильных ответов в группе испытуемых, изображаемая символом p j , где индекс j указывает на номер интересующего задания (1, 2 и т. д.). Например, если правильные ответы испытуемых на третье задание теста оценивать одним баллом, а неправильные - нулем, то значение показателя p 3 можно найти из элементарного отношения:

P 3 = R 3 /N,

где R 3 означает число правильных ответов на данное задание, а N - общее число испытуемых в группе. Общая формула расчета доли правильных ответов на любое задание (j) имеет соответственно вид

p j = R j / N

Показатель p j . долго использовался в качестве меры трудности в так называемой классической теории тестов (3). Позже была осознана содержащаяся в ней смысловая неточность: ведь увеличение значения p j указывает не на возрастание трудности, а, наоборот, на возрастание легкости, если можно использовать такое слово. Поэтому в последние годы с показателем трудности заданий стали ассоциировать противоположную статистику - долю неправильных ответов (q j). Эта доля вычисляется из отношения числа неправильных ответов (Wj- от англ слова Wrong - неправильный) к числу испытуемых (N):

q j = W j / N

Естественным образом принимается, что p j + q j = 1. В классической теории тестов многие годы рассматривались только эмпирические показатели трудности. В новых вариантах психологических и педагогических теорий тестов больше внимание стало уделяться характеру умственной деятельности учащихся в процессе выполнения тестовых заданий различных форм (4).

Литература

1. Захаров А.И., Матюшкин А.М. Проблемы адаптивных систем обучения // Кибернетика и проблемы обучения. - М.: Прогресс, 1970.- 389с.

2. Ланда Л.Н. Алгоритмизация в обучении. М ., Просвещение , 1966

3. Gulliksen H. Theory of Mental Tests. N - Y. Wiley. 1950 - 486 p. и мн. др.

4. Tatsuoka, K.K. Item construction and psychometric models appropriate for constructed response. Prinston, N-J, 1993. - 56 pp; Frederiksen, N., Mislevy R.J., Bejar I. J. (Eds). Test theory for a new generations of tests. Lawrence Erlbaum Ass. Publ. 1993, Hillsdale, N-J, 404pp. и др .

Теоретическая справка

Определение степени трудности тестовых заданий является обязательной процедурой, с которой начинается анализ качества разрабатываемого теста. Основная цель анализа трудности заданий сводится к выбору оптимальных по сложности заданий, которые затем можно было бы упорядочить по нарастанию сложности. Тест не должен включать слишком легкие и слишком трудные задания. Обычно, если задачу решает большинство, ее помещают (как легкую) в начале теста. Если задачу решает незначительный процент испытуемых, то ее (как трудную) помещают в конце теста.

Трудность задания определяется числом правильных ответов на данное задание в сравнении с общим объемом выборки по формуле:

где – количество испытуемых, давших правильный ответ, – общее количество испытуемых.

Чем легче задание, тем выше этот показатель (А. Анастази,1982). Для большинства тестов принято, что задания с от 0,8 до 0,2 считаются удовлетворительными. То есть задачи, с которыми не справилось более 80% и менее 20% испытуемых, в тест не включают как мало полезные. Анастази считает, что уровень трудности должен иметь некоторый разброс, но в среднем он должен составлять 0,5. Именно в этом случае, тест обеспечивает лучшую дифференциацию результатов (см. ниже о дискриминативности теста).

Если при составлении теста необходимо расположить его задания в порядке возрастания трудности, то тогда необходимо сравнить насколько одна задача трудней другой. Для этого используют статистические критерии, специально предназначенные для оценки значимости различий. В данном случае, чаще используют критерий хи-квадрат Мак-Немары:

c2= ¾¾¾¾ , где

где b – количество решивших первую задачу, но не решивших вторую,c – количество решивших вторую задачу, но не решивших первую.

При χ2 > 6,63 различия в индексах трудности двух задач следует считать достоверными.

Задание

. Расчет индекса трудности заданий

Цель задания: овладение приемами расчета индекса трудности заданий и их сравнения.

Оснащение: микрокалькулятор, таблица первичных результатов (таблица №1).

Таблица №1

Первичные результаты исследования с помощью теста Равена

Испытуемый

Номер задания

Частота решаемости

Тест на “Стрессорность” автор О.Грегор (США), (модификация незначительна)
На 1-й вопрос 9 человек ответили что соблюдают режим питания обязательно имея горячее блюдо хотя бы одно в день, а 6 человек редко соблюдают режим питания. На 2-й вопрос 6 человека ответили, что они как правило, почти всегда высыпаются, а остальные отвечали, что у них это получается редко или не получается вообще. На 3-й вопрос 10 чел...

Методический аппарат исследования его диагностические возможности.
Проблема исследования личности заключенных является весьма актуальной. Поскольку общеизвестен дефицит психодиагностических методик, адаптированных для осужденных, которые носили бы многогранный характер и учитывали бы не только формы отклоняющегося поведения, но и факторы, которые их обостряют и к ним приводят. Понять любое поведение, ...

Методика выработки оперантного условного рефлекса
Процедура инструментального научения состоит в том, что положительное или отрицательное подкрепление подается при определенной реакции животного - “правильной” или “неправильной” с точки зрения экспериментатора. Инструментальное научение классифицируется в зависимости от применяемых методик. а) “Пробы и ошибки” по-Торндайку. Методика...

Трудность. Трудность теста – это степень сложности в совокупности включенных в тест заданий. В процессе создания теста мера трудности регулярно проверяется на случайной выборке из того контингента, для которого тест предназначается. В сбалансированном тесте авторы обычно легко добиваются нормальности распределения. Дальнейшее совершенствование теста идет по пути замены ряда заданий, ответы на к

оторые нарушают нормальность распределения. Трудность заданий влияет на надежность и валидность. Если тест очень трудный, то учащиеся чаще вынуждены догадываться - какой ответ правильный, но чем чаще они прибегают к догадке, тем больше распределение результатов теста приближается к случайному распределению. Поэтому пригодность теста для оценки знаний всей массы учащихся будет ниже, чем труднее тест. Такое же влияние на надежность, но по другой причине, оказывает легкий тест, в котором учащиеся редко догадываются, их ответы устойчивы, но между ними нет различий.

Эффективность. Эффективность педагогического теста определяется творческим подходом составителей к разработке системы заданий, соответствующих конкретным целям тестирования.

К настоящему времени в педагогическом сообществе нет единства в классификации тестов. В. С. Аванесов, А. Н. Майоров, М. Б. Челышкова, Т. Д. Макарова видят разные признаки демаркации. Однако в соответствии с методологией создания теста все авторы единодушно выделяют: критериальные, предназначенные для выявления факта порога усвоения учебного материала; нормативные, обеспечивающие ранжирование учащихся по уровню усвоения материала относительно нормы. По профессиональному признаку можно определить: стандартизированные и нестандартизированные тесты.

Обобщая исследования учёных, из существующего многообразия типологизаций тестов выделим в первую очередь те, которые могут быть соотнесены с видами контроля: предупредительным, текущим, итоговым. Это, соответственно, установочный, формирующий, итоговый тесты. Установочный тест выявляет исходный уровень подготовки школьников, он содержит как легкие, так и трудные задания. Замерив базовый уровень учащегося, учитель может наблюдать за развитием каждого ребенка, вносить элементы индивидуализации в учебный процесс. Формирующий тест определяет прогресс достигнутого в обучении. К данному типу тестов мы относим базовые и диагностические. Первые включают репродуктивные задания и проводятся на уровне формирований понятий. Вторые содержат задания от репродуктивных до творческих и выявляют уровень усвоения темы или раздела программы. Итоговый тест, который чаще называют тестом школьных достижений, должен отвечать всем требованиям стандартизированного научно обоснованного теста.

Проанализировав многообразие классификаций тестовых заданий, представленных в литературе, и сопоставив их с нормативными документами, целесообразно предложить классификацию по типам и видам заданий: типы - закрытые (задания с выбором верного ответа), открытые (задания со свободно конструированным ответом); виды – с выбором одного верного ответа, с выбором более одного верного ответа, на установление соответствия, на установление правильной последовательности, на дополнение с кратким ответом, на дополнение с развернутым ответом.

Одним из направлений модернизации образования является введение единого государственного экзамена (ЕГЭ). Хотя в среде педагогической общественности нет единой точки зрения, но все большее число педагогов и руководителей различных уровней признают, что ЕГЭ более надежный инструмент для оценки образовательных достижений школьников. Общероссийские тестовые баллы массового тестирования задают средние статистические нормы учебных достижений, относительно которых субъекты образовательного процесса могут самоидентифицироваться в едином контрольно-измерительном пространстве. Анализ успехов и недостатков требуется образовательным учреждениям, органам систем управления на всех иерархических уровнях для коррекции образовательного процесса. Так как экзамен по математике является обязательным для всех выпускников, то результаты ЕГЭ можно рассматривать как информационную основу для организации многоуровневого мониторинга. Особо подчеркнем, что вводимая независимая система оценивания, осуществляемая в рамках ЕГЭ, является мощным воспитывающим средством. Отсюда – воспитывающая функция мониторинга, которая проявляется опосредованно.

Одна из важных задач обучения - быстрая и надежная оценка знаний человека. Нами предпринимается попытка разработать систему измерителей качества знаний, которая бы выявляла условия повышения успеваемости учащихся, а также уровень целей и задач педагогического контроля.

Мы разработали подход к технологии конструирования тестовых измерителей в котором выделили четыре этапа: поисковый, моделирующий, формирующий, оценочный.

Поисковый этап. Чрезвычайно важно, чтобы оценочная деятельность педагогов была адекватной, справедливой и объективной. В связи с этим нами был организован поиск надежных и эффективных видов проверочных заданий, способов проверки с помощью технических средств и персональных компьютеров (ПК). Использование ПК позволяет перейти к контролю знаний на протяжении длительного периода времени.

На данном этапе определяется состояние знаний учащихся с применением тестовых измерителей. Тестирование является одной из наиболее технологичных форм проведения автоматизированного контроля с управляемыми параметрами качества. Выборочный метод при конструировании тестовых заданий дает возможность быстрее усваивать все виды явлений, лучше понимать их общие и отличительные качества, легче классифицировать конкретные явления, виды знаний.

Таким образом, тестирование, выполняя функцию контроля в ходе диагностирования образовательного процесса, используется одновременно как средство диагностики обученности учащихся. Диагностика рассматривается как точное определение результатов процесса обучения, обученность же – как достигнутый на момент диагностирования уровень (степень) реализации намеченной цели” (И.П. Подласый).

На данном же этапе выявляются основные проблемы при использовании тестов: качество и валидность содержания тестовых заданий, надежность результатов тестирования, недостатки обработки результатов по классической теории тестов, отсутствие использования современной теории обработки тестовых материалов с применением ПК. Недостаточное количество тематических тестов для текущего контроля знаний учащихся школ негативно отражается на обучении, препятствуя его индивидуализации в условиях массового учебного процесса. Поставленные задачи необходимо решать в рамках текущего и итогового тестирования учащихся.

Моделирующий этап. На втором этапе разрабатывается алгоритм обучающего цикла и концепция тестового контроля. Обучающий цикл должен обеспечивать последовательную ориентацию обучения на намеченные цели. Благодаря такому строению учебный процесс приобретает “блочный” характер. Блок – дидактическая инженерия знаний, позволяющая оформить сжатие учебной информации с использованием достижений теорий содержательного обобщения (В. В. Давыдов и его последователи), укрупнения дидактичесих единиц (П. М. Эрдниев), концепции формирования системности знаний (Л. Л. Зорина).

Предыдущая статья: Смета на работы - образец, бланк и пример составления Следующая статья: Ударные и безударные окончания имён существительных единственного числа