Свидетельство о регистрации журнала

СВИДЕТЕЛЬСТВО
о регистрации СМИ

Федеральной службы
по надзору в сфере связи,
информационных технологий
и массовых коммуникаций
(Роскомнадзор)
Эл. № ФС 77-52200
от 25 декабря 2012 г.


 

Учредитель:
АНОО «Центр дополнительного
профессионального
образования «АНЭКС»

Главный редактор:
Ольга Дмитриевна Владимирская, к.п.н.

 
 

Попытка физиологического обоснования поурочных тестов

 

Чему и как учить - вопрос, наверное, номер четыре по своему значению после трех хорошо известных: что делать? кто виноват? с чего начать?

Одни считают, что надо детей знакомить с разными предметами, постепенно усложняя материал по мере взросления. Это самый распространенный (классический) подход в обучении. Изредка раздаются призывы: "Не загружать детей фактами, а учить думать". Легко сказать, но как это сделать? Почти все люди думают, но почти все не знают, как это происходит. Слишком мало людей знакомо с физиологией высшей нервной деятельности, да и слишком плохо изучен наш головной мозг для ответа на такой вопрос

Так как же научить думать и возможно ли это? Может быть, в первую очередь надо ученика удивить? И он, удивленный, начнет задавать вопрос (себе или учителю): "Как же так получается?" Конечно, удивление удивлению рознь. . Можно удивить грязной обувью, а можно - тщательно подобранными необычными фактами или неожиданным поворотом мысли. Это можно рассматривать как главную задачу учителя, если ставить перед ним именно цель - научить детей размышлять. Это на первой половине урока. Но целый урок этому посвящать не стоит - дети быстро устают, после чего требуется переключить их мозг на другой режим работы. Вторую половину урока разумно посвящать самостоятельной работе. И если здесь тоже ставить цель научить думать, то могут пригодиться поурочные тесты к каждому параграфу учебника, которые вполне заменяют (или дополняют) ставшие давно привычными на каждом уроке задачи, например, по математике, физике или химии. Эти тесты тоже заставляют думать, размышлять, сомневаться, выбирая нужный ответ (или ответы) среди предложенных вариантов. К тому же оценка при их использовании получается, как правило, быстрее, так как многие задачи требуют значительного количества времени, а оценку желательно ставить быстро (все ведь любят, когда результат виден сразу, а не потом). И поурочные устные тесты здесь незаменимы, особенно при коллективном обучении. Поурочные тесты позволяют достаточно быстро и удобно тренировать способность думать. С их помощью при известном навыке за 10-20 минут можно поставить достаточно объективные оценки не 2-м или 3-м ученикам, как при обычном устном ответе (даже с места), а - 10-ти или 15-ти. И качество таких оценок выше, и количество их больше.Но это так называемый европейский подход к обучению. Известен и другой. Условно можно назвать его "азиатским". В соответствии с ним учеников, наоборот, учили "не думать". Их учили, полностью отключившись от внешних раздражителей, почувствовать(!) нужный ответ, результат или проблему. Методы отключения были различными: и химическое воздействие (например, реакция на запахи), и гипноз, и сосредоточение (медитация). Этот нерациональный, чувственный способ обучения связан с работой нашего правого полушария головного мозга. Именно оно способно к такому способу получения и обработки информации. Не об этом ли говорит тот факт, что у физиков, математиков встречается понятие красивой, изящной формулы, то есть верной, правильной. А объяснить, в чем заключается ее красота, они не могут. Часто говорят наоборот: "Чего-то в формуле не хватает, уродливая она" (значит, неправильная). По-видимому, у них работает в данном случае не только левое полушарие, но и правое.

Работа мозга по-прежнему остается большой Загадкой. Давно известно, что люди, у которых работает лучше правое полушарие (оно чаще включается), легко поддаются внушению (гипнозу) в отличие от тех, у которых левое полушарие является ведущим. Это значит, что мозг способен к получению информации и таким странным способом. А раз природа нам дала два "мозга" (правое полушарие и левое, которые работают по очереди), то, наверное, их надо тренировать в тех режимах, в которых им предназначено работать природой. И детей надо учить, особенно в раннем возрасте, как гуманитарным дисциплинам, так и техническим. И не спешить с ранней и модной сейчас специализацией, ожидая, когда оба полушария мозга потренируются и способности проявятся достаточно определенно. А способности стоит тренировать с помощью разнообразных тестов, предназначенных и для левого полушария (обычные тесты, требующие рассуждения и запоминания), и для правого ("эмоциональные" или "психологические"

И хотя современные системы "европейского" образования приспособлены только к левому полушарию (Р. Сперри, физиолог, нобелевский лауреат), для правого полушария тоже есть возможности "проявить себя". Даже привычные тесты позволяют это: опыт  показывает, что довольно часто ученики выбирают нужный ответ не потому, что знают или подумали, а потому, что, как они говорят, он им кажется "хорошим" или, наоборот, "плохим". Они все равно что-то чувствуют, даже когда просто пытаются угадать ответ. Вероятно, происходит неосознанный (чувственный) выбор, основанный на особенностях построения фразы. Играет роль даже такая мелочь, как различие в количестве слов в вариантах ответа. Ответ, отличающийся слишком малым или слишком большим количеством слов, кажется подозрительным. Другими словами, учится работать и правое полушарие тоже. А результаты обучения стоит оценивать опять с помощью тестов, только теперь с помощью зачетных, обобщающих (не поурочных, хотя и они годятся). Как гласит русская народная пословица, "кашу маслом не испортишь".

 

  1. 1. Из истории тестов

Сегодня тесты  активно используются в образовательном процессе. А задумывались ли вы над тем когда же появился первый тест? Как оказалось, история возникновения и использования тестирования как диагностического метода уходит в глубь веков. Есть сведения, что уже с III тысячелетия до н.э. в странах Древнего Востока использовались системы конкурсных испытаний интеллектуального характера, предназначенные для отбора персонала на правительственные должности. Однако всё вышеперечисленное нельзя назвать тестами в современном понимании этого термина.

Широкое развитие применение тестов в образовательном процессе получило за рубежом. В школьной практике тесты начали применяться Ф.Галтоном в 1892 году. В 1894 году впервые в школах появились тесты успешности (для проверки знаний, умений и навыков учащихся по отдельным учебным дисциплинам – первыми стали применяться тесты для проверки правописания). Американец В.А. Макколл разделил тесты на педагогические (Educational Test) и психологические (Intelligence Test) Макколл обосновал цель использования педагогических тестов – объединение в группы учащихся, усваивающих равный по объёму материал с одинаковой скоростью. Однако основоположником педагогических измерений считается американский психолог Э. Торндайк (1874—1949). Ему приписывают разработку первого педагогического теста.  В 1904 году вышла его книга «Введение в теорию психологии и социальных измерений».

Педагогика, развившаяся в России в начале века, безоговорочно приняла тестовую основу объективного школьного контроля. Первые научные труды по теории тестов появилась в начале ХХ века, на стыке психологии, социологии, педагогики и других так называемых поведенческих наук.

Распространение психолого-педагогической диагностики в России связано с возникновением в  20-е годы XX века новой науки – педологии, которую Л.С. Выготский определял как науку о целостном развитии ребенка

Однако, в последние годы мы наблюдаем активное внедрение тестов в образовательный процесс. И не смотря на недостатки, которые имеют место при использовании такой формы контроля и оценки знаний, тестирование занимает довольно прочную позицию.

1.1 Классификации тестов

Первое, на чем надо остановиться, рассматривая классификацию тестов – это два подхода, которые в настоящее время сложились в тестировании – тесты, ориентированные на критерий (критериально-ориентированные) и тесты, ориентированные на норму (нормативно-ориентированные). Появившись как разные подходы к анализу результатов тестирования, отражающие разные основания для сравнения, сейчас эти два подхода определяют разницу на большинстве этапов создания теста.

При критериально-ориентированной ориентации требуется несколько меньшее число заданий, посредством которых определяется – что испытуемый знает, а что не знает из заданного стандарта. Иначе говоря, здесь ответы оцениваются относительно не всей области требуемых заданий, а только из области, ограниченной конкретным стандартом или уровнем (критерием) знаний.

При нормативно-ориентированной интерпретации результатов задача определения точного объема и структуры освоенного учебного материала отступает на задний план. В тест отбирается такое минимально достаточное количество заданий, которое позволяет сравнительно точно определить, образно говоря, не «кто что знает», а «кто знает больше».

Каждый из перечисленных видов выполняет свою функцию, используется для достижения определенной цели.

 

1.2 Процедура разработки тестов

Для тестов учебных достижений существуют общие правила и этапы разработки.

В зависимости от тех целей, которые стоят перед разработчиками, процедура разработки тестов имеет некоторые особенности, однако перечень этапов создания тестового инструментария одинаков для всех видов тестов.

 

 

Нормативно-ориентированные

Критериально-ориентированные

1. Определение

целей тестирования

Оценка обучающегося относительно других испытуемых

Описание усвоенного или не усвоенного учебного материала. Оценка обучающегося относительно набора характеристик достаточного для

достижения результата

2. Определение ресурсных возможностей разработчиков (разница в необходимости привлечения разных специалистов)

Ориентация на статистические методы оценивания. Специалисты необходимы для статистической обработки результатов

Ориентация на экспертное оценивание, проведение работ по определению перечня и объема учебных задач, критерия достижения необходимого уровня подготовки. Специалисты для экспертизы учебного материала

3. Отбор содержания учебного материала

Может быть отобран широкий спектр материала

Отбирается материал, который касается ограниченной тематики

4. Конструирование технологической матрицы и ее экспертиза

Могут быть использованы сложные матрицы

Сложность матрицы ограничивается выбранным для оценки критерием

5. Составление тестовых заданий и их экспертиза

Требования к составу и качеству заданий существенно не различается. Определяются общими требованиями к тестовым заданиям

6. Построение выборки для апробации заданий и тестов

Более жесткие требования к объему и балансу выборки, определяемые требованиями расчета статистических норм

Более мягкие требования к объему и балансу выборки, определяемые требованиями отработки качества тестовых заданий

7. Компоновка заданий для апробации

Требования к компоновке заданий для апробации существенно не отличаются. Определяются способом предъявления

8. Апробация тестовых заданий

В том числе для определения трудности и дискриминативности

Для отработки содержания заданий

9. Определение и расчет показателей качества тестовых заданий

Существенно не отличаются

10. Отбраковка заданий и составление теста

Отбираются задания с максимальной дискриминативностью. Слишком простые и слишком сложные задания отбрасываются

Отбираются задания, максимально покрывающие обследуемую область критерия. Сложные и простые задания включаются в тест

11. Апробация теста

Существенно не отличаются

12. Определение и расчет показателей качества теста

Существенно не отличаются

13. Составление окончательного

варианта теста

Отличия определяются целями и особенностями разработанных технологических матриц

14. Стандартизация теста

Определяется уровнем использования теста

15. Нормирование теста

Статистические нормы, рассчитываемые для нормативной выборки, или определения места испытуемого относительно других испытуемых, принимавших участие в тестировании

Описание критерия достижения результата или описание тех учебных задач, с которыми учащийся должен справиться

16. Оснащение теста

Определяется уровнем использования теста

         

 

Тест, созданный для проверки знаний обучаемых после изученной темы, и тест для итоговой аттестации обучающихся должны отличаться.

В зависимости от возможной широты использования применяются разные схемы составления тестов.

Этапы составления тестов учебных достижений для тестов разного уровня применения

 

 

 

 

Уровень применения

 

Используется педагогом для профессиональных нужд

Используется для внутренних нужд учреждения

Используется для проведения вступительных экзаменов и с административными целями

Используется для итоговой аттестации обучающихся, самое широкое административное использование

1. Определение целей тестирования

да

да

да

да

2. Определение ресурсных возможностей разработчиков

 

желательно

да

да

3. Отбор содержания учебного материала

да

да

да

да

4. Конструирование технологической матрицы

желательно

да

да

да

5. Составление

тестовых заданий

да

да

да

да

6. Построение выборки для апробации заданий и тестов

 

да

да

да

7. Компоновка заданий для апробации

да

да

да

да

8.

Апробация тестовых заданий

да

да

да

да

9. Определение и расчет показателей качества тестовых заданий

желательно

желательно

да

да

10. Отбраковка заданий и составление теста

да

да

да

да

11. Апробация теста

желательно

желательно

да

да

12. Определение и расчет показателей качества теста

 

 

да

да

13. Составление окончательного варианта теста

да

да

да

да

14. Стандартизация теста

 

да

да

да

15. Нормирование теста

 

 

 

да

16. Оснащение теста

 

желательно

да

да

 

1.3 Фактор времени в тестировании

При создании тестов учебных достижений одним из фундаментальных по значимости факторов является время.

Время является фактором, который определяет качество всего инструментария и качество получаемых в процессе тестирования результатов.

Каждый тест должен иметь оптимальное время тестирования. Уменьшение или превышение оптимального времени снижает качественные показатели теста.

Почему время, выделяемое на выполнение тестовой работы, должно быть ограничено? Создатели тестов стремятся включить в тест как можно больше тестовых заданий. Такое положение диктуется двумя обстоятельствами – чем больше количество заданий, тем более надежным будет создаваемый тест и тем больший объем информации мы можем получить.

С другой стороны, чем больше количество заданий, тем более продолжительной становится процедура тестирования.

Проектируя и разрабатывая тесты, необходимо стремиться к тому, чтобы мотивация обучающихся была устойчивой и положительной, а работа – максимально разнообразной.

Мы можем оказать влияние на снижение порога утомления, предусмотрев максимальное разнообразие выполняемой деятельности. Общее правило – сделать работу максимально разнообразной. И здесь есть две возможности, – во-первых, тест должен содержать задания, максимально разнообразные по форме. Во-вторых, сами задания должны быть максимально разнообразными по видам деятельности и невербальной поддержке.

Какие негативные последствия имеет нарушение оптимальности времени тестирования?

Время тестирования должно быть все-таки достаточно коротким для того, чтобы не провоцировать студентов на угадывание.

. В процессе апробации реальные сроки должны быть уточнены. Для апробации следует брать некоторый запас тестовых заданий и соответственно времени. Запас заданий должен обеспечить необходимое количество заданий взамен тех, что будут отбракованы, а запас времени позволит оценить верхнюю границу приемлемого времени выполнения.

Для тестов учебных достижений в отличие от других видов тестов чрезвычайно важным является зависимость результатов тестирования от календарного времени предъявления. Очевидно, что сравнение результатов тестирования, полученных с использованием одного и того же инструмента в январе и мае месяце, будет некорректно.

Срок в неделю после изучения темы не дает заметных смещений в результатах выполнения теста. Однако, срок в неделю после окончания семестра (каникулярный период) уже дает такие смещения.

Поэтому сроки тестирования должны быть оптимальны в зависимости от целей тестирования и отражаться в календарных планах и рабочих программах преподавателей.

1.4. Состав и характеристика тестовых заданий

С точки зрения разработчика минимальные требования к составу тестового задания состоят в наличии трех частей:

1. Инструкции.

2. Текста задания (вопроса).

3. Правильного ответа.

Инструкция должна содержать указания на то, что испытуемый должен сделать, каким образом выполнять задание. Это может быть фраза «Выбрать правильный ответ», «наиболее правильный ответ», «все правильные ответы», «хотя бы один правильный ответ» и др. Инструкция должна быть составлена так, чтобы задание и способ его выполнения были абсолютно ясны любому из испытуемых и не приводили к ошибкам.

Для разработчиков тестовых заданий подготовка инструкции для испытуемых в каждом задании является необходимой, поскольку это позволяет взглянуть на задание с точки зрения испытуемого.

Текст задания или вопроса представляет собой содержательное наполнение задания.

Ограничения ответа: вопрос должен быть высокого качества, чтобы предотвратить нежелательные интерпретации испытуемых, используя ограничения, такие как: «По мнению автора...» или «Вычислите до 2-х десятичных знаков».

Правильный ответ (эталон) или оценочная схема – обязательный атрибут любого тестового задания – без него задание теряет смысл, поскольку не может быть точно проанализировано и оценено.

 

Основное требование к тестовым заданиям – тестовое задание должно иметь однозначный правильный ответ. Понятие однозначности ответа трактуется не столько как требование единственности ответа, но обязательное наличие предполагаемого образца.

Ясная схема оценки должна обеспечить пользователя тестом аппаратом оценивания именно в рамках заложенной в тест оценки разработчика. Многие вопросы толкования могут быть сняты при разработке ясной и недвусмысленной схемы оценивания, которая содержит наиболее возможные варианты ответов, которые можно принять к рассмотрению и оценить как зачетные. Схема оценивания должна полностью соответствовать конкретному вопросу. Все формулировки ожидаемых ответов должны быть предельно ясными и недвусмысленными.

1.5. Проблемы составления тестовых заданий

Многие авторы настаивают на том, что тестовые задания должны создаваться в форме утверждений, введя в требования к тестовым заданиям логическую форму высказывания. Это связано, во-первых, со словесным составом задания в тестовой форме: смысл тестового утверждения улавливается всегда лучше, чем смысл вопроса, поскольку, в тестовых утверждениях нет ни одного лишнего слова и даже знака, в то время как вопрос требует ряда дополнительных слов и знаков для выражения требуемого смысла, значения и интонации.

Однако хорошо сформулированное задание в вопросительной форме ничем не уступает хорошо сформулированному вопросу в форме утверждения.. Мало того, в рекомендациях по составлению тестовых заданий Голландского института CITO дается такая рекомендация: «Используйте прямые вопросы. Предпочтительнее применять прямые вопросы, представляющие собой полное предложение с вопросительным знаком в конце». Кроме того, анализ заданий, используемых при аттестации обучающихся, показывает, что преимущественной формой заданий (более 90 процентов) является прямой вопрос. Выбор способа формулировки тестового задания, в форме утверждения или в форме вопроса должен определяться двумя обстоятельствами: во-первых, необходимо выбирать ту форму, которая будет максимально понятна для испытуемых, и, во-вторых, одна из форм заданий требует непременного формулирования вопроса в форме утверждения — это задания альтернативных ответов, поскольку они требуют ответа да или нет, которые лучше подходят к утверждениям.

2. Виды и типы тестовых заданий

В современных компьютерных адаптивных системах тестирования (например АСТ) наиболее часто используются 4 вида тестовых заданий.

1. Открытого типа.

2. Закрытого типа.

3. Задания на установление соответствия.

4. Задания на установление последовательности.

2.1. Задания открытого типа

К заданиям открытого типа относятся два вида – задания дополнения и задания свободного изложения. Отличительной особенностью заданий свободного изложения является то, что для их выполнения испытуемому необходимо самому записать одно или несколько слов (цифр, букв; возможно словосочетаний или даже предложений). Они предполагают свободные ответы испытуемых по сути задания. На ответы не накладываются ограничения. Однако формулировки заданий должны обеспечивать наличие только одного правильного ответа. Чаще всего задания со свободным изложением ответа используют в психологических, социологических тестах, а так же тестах интеллекта.

При компьютерном тестировании с целью определения уровня учебных достижений наличие эталонных вариантов ответов обязательно, более того – надо отметить особенность компьютерного тестирования – вводимый ответ испытуемого сравнивается с эталоном посимвольно, т. е. при наличии нескольких вариантов правильных ответов, синонимов и т. п. в эталонных ответах указываются все варианты.

2.2. Задания закрытого типа

К заданиям закрытого типа относятся задания нескольких видов: альтернативных ответов (АО), множественного выбора. Тестовые задания закрытого типа – предусматривают различные варианты ответа на поставленный вопрос: из ряда предлагаемых выбираются один или несколько правильных ответов, выбираются правильные (или неправильные) элементы списка и др. Это задания с предписанными ответами, что предполагает наличие ряда предварительно разработанных вариантов ответа на заданный вопрос. Неправильный, но правдоподобный ответ в американской тестовой литературе называется словом дистрактор, от английского глагола to distract – отвлекать.

Если к заданиям задаются готовые ответы на выбор (обычно один правильный, а остальные неправильные), то это задания с выбором одного правильного ответа. Логической основой этой формы является закон исключения третьего, впервые сформулированный Аристотелем. Выбор правильного ответа дает истинное суждение, а выбор неправильного – ложное суждение. Третьего не дано. Из этого закона следует методическое правило: в каждом задании с выбором одного правильного ответа последний должен быть, что придает однозначность замыслу самого задания и не допускает противоречивых толкований у испытуемых. Следование закону исключения третьего налагает логический запрет на применение таких ответов, как «правильного ответа нет», «все ответы правильные» или «все ответы неправильные», которые в практике еще встречаются.

2.3. Задания альтернативных ответов

В содержании всех учебных дисциплин имеется много таких элементов знаний, которые называются дихотомическими. Это знания, которые позволяют разделить мир надвое: определить правильность или неправильность фактов, методов, процессов; знания о том, что хорошо, что плохо, что можно, а чего нельзя делать ни при каких обстоятельствах. Для проверки именно таких знаний применяются задания в тестовой форме с двумя ответами.

К каждой задаче альтернативных ответов дается только два варианта ответов. Испытуемый должен выбрать один из них – «да – нет», «правильно – неправильно» и пр.

2.4. Задания множественного выбора

Задачи с множественным выбором предполагают наличие вариативности в выборе. Испытуемый должен выбрать один из предложенных вариантов, среди которых чаще всего только один правильный.

Обычный вопрос состоит из введения, самого вопроса и ряда альтернатив, каждая из которых представляет собой ответ на вопрос. Обычно трудно найти более 4 интересных и оригинальных альтернатив и к тому же на их чтение уйдет больше времени экзаменуемого. Вероятно, минимальное количество возможных альтернатив – это 3, максимальное количество альтернатив будет зависеть от объема теста. В том случае, если это цифровые выражения, то 5-6 вариантов не могут оказаться слишком длинными для чтения. Оптимальной можно считать 5 альтернативных ответов, при этом необходимо учитывать, что не всегда это возможно.

2.5. Задания с выбором нескольких правильных ответов

Кроме заданий, где имеется только один правильный ответ, а остальные – неправильные, есть и такие задания, в которых нужно выбрать несколько правильных ответов из числа предложенных. Особенность заданий с выбором нескольких правильных ответов является то, что испытуемому надо не только найти правильные ответы, но и определить полноту своего ответа. Следовательно, эти задания по форме труднее, чем задания с выбором одного правильного ответа.

2. 6. Задания на восстановление соответствия

В заданиях соответствия (восстановления соответствия) необходимо найти соответствие (или приравнять части, элементы, понятия) – между элементами двух списков (множеств).

Эта форма заданий достаточно разнообразна и может быть с успехом использована по всем учебным предметам и предметным областям. Практически в каждом предмете существует широкая возможность их использования. Задачи соответствия требуют подбора подходящего ответа.

2.7. Задания на восстановление последовательности

Задания на восстановление последовательности можно рассматривать как вариант задания на восстановление соответствия, когда одним из рядов является время, расстояние или иной континуальный конструкт, который подразумевается в виде ряда. Поскольку эта форма заданий требует особой инструкции, мы выделили ее в отдельный подраздел.

Задания на восстановление последовательности незаслуженно редко используются в тестах. На самом деле это очень качественная форма тестовых заданий, обладающая значительными преимуществами: краткостью и простотой проверки. Оно подходит для любого предмета, там, где присутствует алгоритмическая деятельность или временные события.

2.8. Задания исключения лишнего

Широко используемыми и результативными формами заданий являются задания типа исключения лишнего.

2.9. Задания на нахождение аналогии

Общий вид задания аналогии может быть представлен следующим образом: А так относится к В, как С относится к ..?

По форме это может быть задание как открытого типа – задания дополнения, так и закрытого. В случае применения открытой формы испытуемому предлагается самостоятельно вписать в предназначенное для этого места слово – ответ. В случае если применяется закрытая форма вопроса, то для испытуемого предлагается на выбор несколько вариантов ответов, так же как и в заданиях множественного выбора.

Инструкции для этих заданий зависят от того, какие ответы (закрытые или открытые) предусматриваются.

Аналогия – тип заданий, обычно присутствующий во всех тестах интеллекта. Он особенно может быть полезен потому, что, во-первых, легко изменять уровень сложности таких заданий (это касается самих отношений аналогии, а не сложности соотносимых объектов), что делает задания под­ходящими для всех возрастных групп и уровней развития. Во-вторых, практически нет ограничений, относящихся к материалу заданий, использующих принцип аналогии. Это означает, что аналогия подходит для тестов, измеряющих как gc, так и gf.

3. Правила составления тестовых заданий

Тестовые задания должны быть составлены с учетом определенных правил.

1. Начинайте формулировать вопрос с правильного ответа, этим Вы сведете к минимуму возможность столкнуться с часто встречающимися проблемами.

2. Содержание задания должно отвечать требованиям стандарта дисциплины и отражать содержание обучения.

3. Вопрос должен содержать одну законченную мысль.

Тестовое задание должно проверять один элемент знания. В том случае если это не так, то для преподавателя становится неясным, с каким элементом знаний обучаемый не справляется, в чем заключена причина невыполнения задания.

4. При составлении вопросов следует особенно внимательно использовать слова «иногда», «часто», «всегда», «все», «никогда».

5. Вопрос должен быть четко сформулирован, избегая слова «большой», «небольшой», «малый», «много», «мало», «меньше», «больше» и т. д.

6. Избегайте вводных фраз или предложений, имеющих мало связи с основной мыслью, не следует прибегать к пространным утверждениям, так как они приводят к правильному ответу, даже если обучающийся его не знает.

Предоставляйте только очень важную информацию, стараясь избегать материала, требующего дальнейших уточнений, а также детализированных или излишних описаний ситуаций или случаев.

7. Неправильные ответы должны быть разумны, умело подобраны, не должно быть явных неточностей, подсказок.

8. Не следует задавать вопросы с подвохом (скорее всего, в заблуждение будут введены наиболее способные или осведомленные обучающиеся, которые знают достаточно для того, чтобы попасться в ловушку, а также это противоречит цели – определение уровня знаний и понимания).

9. Все варианты ответов должны быть грамматически согласованы с основной частью задания; в любом случае следует использовать короткие, простые предложения, без зависимых или независимых оборотов.

10. Как можно реже использовать отрицание в основной части.

Отрицания имеют тенденцию усложнять сообщение, особенно двойные отрицания, которые аннулируют друг друга.

11. Правильные и неправильные ответы должны быть однозначны по содержанию, структуре и общему количеству слов; применяйте правдоподобные ошибочные варианты, взятые из опыта.

12. Не используйте варианты ответов «ни один из перечисленных» и «все перечисленные».

13. Убедитесь, что различия между вариантами ответов точны.

Чем больше варианты ответа походят друг на друга, тем труднее распознать правильный ответ и тем лучше тестируется умение понимать, например, прочитанный текст. Но когда различия не очень четки, то может случиться так, что тестируемый, зная правильный ответ, выберет правдоподобный.

14. Избегайте повторения в вариантах ответов.

15. Используйте ограничения в самом вопросе для того, чтобы снять неопределенность, которая может возникнуть при вводе ответа.

16. Не упрощайте вопросы.

17. Лучше использовать длинный вопрос и короткий ответ. В противоположной ситуации на прочтение ответов уходит больше времени и больше сил тратится на анализ высказываний.

18. Проанализируйте задания с точки зрения возможности неверного ответа наиболее подготовленных испытуемых.

4. Апробация тестовых заданий

После проведения экспертизы тестовых заданий, их доработки, с учетом результатов экспертизы можно перейти к следующему этапу разработки теста: необходимо упорядочить задания и провести апробацию тестовых заданий (другие названия: пробное тестирование, предварительное тестирование, испытание, эмпирическая проверка и т. п.).

При предварительном объединении заданий в тест следует сделать следующее.

1. Проверьте содержание и формулировку задач во взаимосвязи друг с другом.

2. При апробации теста следует включить в инструкцию пункт о том, что если испытуемому не удается справиться с заданием, его необходимо пропустить.

3. Не комплектуйте вместе такое количество заданий, что среднему испытуемому для их выполнения потребуется более часа. Примерно столько длится период сосредоточения у испытуемых.

4. Проверьте выполнение требований к пространственному и шрифтовому оформлению тестовых заданий.

5. Важные части инструкции, должны быть подчеркнуты или выделены особым шрифтом.

6. Подготовьте инструкции для испытуемых, инструкции для ведущих, инструкции по апробации тестовых заданий.

Целей апробации тестовых заданий (напомним, что в данном случае речь идет об апробации тестовых заданий, а не теста целиком) может быть несколько.

1. Определение трудности заданий с целью оценки его годности для испытуемых.

2. Определение тех заданий, в которых есть существенные недостатки.

3. Выявление случайных ошибок (опечаток, недостатков орфографии и пунктуации и т. д.).

4. Определение времени, необходимого на решения задания или всего теста целиком.

5. Анализ ответов на открытые вопросы с целью возможного уточнения формулировки правильных ответов или оценочной схемы.

6. Выявление недостатков в инструкциях.

5. Типичные ошибки при разработке тестовых заданий

1. Излишняя сложность, запутанность формулировки.

2. Неоднозначность условия.

3. Очевидность решения

4. Зависимость результата от памяти или от других индивидуальных особенностей испытуемого, а не от уровня развития тех умений и навыков, для оценки которых разрабатывается тест(кроме заданий, где необходима именно работа памяти). Как правило, это вопросы, которые выясняют оценки, мотивацию, мнения и т. д.

5. Абсурдность, нереальность вариантов ответов.

6. Появление двух и более правильных ответов, не оговоренное в условии.

7. Логические ошибки, вытекающие из несоответствия инструкции содержанию задания и содержанию ответов.

8. Нарушение правила подбора ответов по одному основанию (нарушение принципа однородности)

.9. Многословные формулировки задания и ответов, требующие слишком много времени на прочтение. Повторяющиеся формулировки.

10. Отрицательно сформулированные задания не сразу поддаются логическому анализу, тем более при дефиците времени.

11. Использование среди дистракторов вариантов «все ответы верные» или «все вышеперечисленное верно». При компьютерном тестировании варианты ответов при каждом предъявлении перемешиваются и «все вышеперечисленное верно» может попасть на первое место, т. е. выше него никаких вариантов нет. Недопустимо, чтобы ответ «все перечисленное верно» был верным ответом, так как, отмечая правильные ответы, испытуемый может начать отмечать по очереди все верные ответы, но они не входят в эталон, поэтому весь ответ на задание будет неверным.

12. В вопросах на установление соответствия используются не однородные объекты

13. Нарушено требование взаимно однозначного соответствия:

13. Отсутствие четкой инструкции в заданиях на установление последовательности. При этом задание искажается и превращается в нечто, похожее на выбор правильного ответа, например:

14. Наличие одинаковых элементов в списке для упорядочивания.

Литература:

1.  Аванесов, В. Определение педагогического теста.// Управление школой. – 1999.  № 29.

2.  Беспалько, В.П. Слагаемые педагогической технологии. – М.: Педагогика, 1989. – 190 с.:ил.

3.  Кузнецов А., Пугач В., другие. Тестовые задания. Информатика. Методическое пособие. М., Лаборатория Базовых знаний, 2002.

4. Майоров А.Н. Теория и практика создания тестов для системы образования. - М., "Интеллект центр", 2001. - 296 с.

5. Михайлычев, Е.А. Технология стандартизации дидактических тестов.// Школьные технологии. – 2001.  № 5. – С. 36 – 54.

6. Подласый И.П., профессор, доктор педагогических наук, Челябинского государственного педагогического университета,"Тестирование в учебном процессе: его история и возможности"

7. Челышкова М. Б. Теория и практика конструирования педагогических тестов. Уч. Пособие. — М.: Логос, 2002.

8. Орел Е., Прохоров А. Создание тестов и компьютерное тестирование. //Компьютер Пресс. - 2006 г. №7

9. Н.М. Опарина Г.Н. Полина

Р.М. Файзулин И.Г. Шрамкова  АДАПТИВНОЕ ТЕСТИРОВАНИЕ .Учебно-методическое пособие Хабаровск  Издательство ДВГУПС 2007

10. http://www.gumer.info/bibliotek_Buks/Pedagog/testing/index.php

Попытка физиологического обоснования поурочных тестов

 

Чему и как учить - вопрос, наверное, номер четыре по своему значению после трех хорошо известных: что делать? кто виноват? с чего начать?

Одни считают, что надо детей знакомить с разными предметами, постепенно усложняя материал по мере взросления. Это самый распространенный (классический) подход в обучении. Изредка раздаются призывы: "Не загружать детей фактами, а учить думать". Легко сказать, но как это сделать? Почти все люди думают, но почти все не знают, как это происходит. Слишком мало людей знакомо с физиологией высшей нервной деятельности, да и слишком плохо изучен наш головной мозг для ответа на такой вопрос

Так как же научить думать и возможно ли это? Может быть, в первую очередь надо ученика удивить? И он, удивленный, начнет задавать вопрос (себе или учителю): "Как же так получается?" Конечно, удивление удивлению рознь. . Можно удивить грязной обувью, а можно - тщательно подобранными необычными фактами или неожиданным поворотом мысли. Это можно рассматривать как главную задачу учителя, если ставить перед ним именно цель - научить детей размышлять. Это на первой половине урока. Но целый урок этому посвящать не стоит - дети быстро устают, после чего требуется переключить их мозг на другой режим работы. Вторую половину урока разумно посвящать самостоятельной работе. И если здесь тоже ставить цель научить думать, то могут пригодиться поурочные тесты к каждому параграфу учебника, которые вполне заменяют (или дополняют) ставшие давно привычными на каждом уроке задачи, например, по математике, физике или химии. Эти тесты тоже заставляют думать, размышлять, сомневаться, выбирая нужный ответ (или ответы) среди предложенных вариантов. К тому же оценка при их использовании получается, как правило, быстрее, так как многие задачи требуют значительного количества времени, а оценку желательно ставить быстро (все ведь любят, когда результат виден сразу, а не потом). И поурочные устные тесты здесь незаменимы, особенно при коллективном обучении. Поурочные тесты позволяют достаточно быстро и удобно тренировать способность думать. С их помощью при известном навыке за 10-20 минут можно поставить достаточно объективные оценки не 2-м или 3-м ученикам, как при обычном устном ответе (даже с места), а - 10-ти или 15-ти. И качество таких оценок выше, и количество их больше.Но это так называемый европейский подход к обучению. Известен и другой. Условно можно назвать его "азиатским". В соответствии с ним учеников, наоборот, учили "не думать". Их учили, полностью отключившись от внешних раздражителей, почувствовать(!) нужный ответ, результат или проблему. Методы отключения были различными: и химическое воздействие (например, реакция на запахи), и гипноз, и сосредоточение (медитация). Этот нерациональный, чувственный способ обучения связан с работой нашего правого полушария головного мозга. Именно оно способно к такому способу получения и обработки информации. Не об этом ли говорит тот факт, что у физиков, математиков встречается понятие красивой, изящной формулы, то есть верной, правильной. А объяснить, в чем заключается ее красота, они не могут. Часто говорят наоборот: "Чего-то в формуле не хватает, уродливая она" (значит, неправильная). По-видимому, у них работает в данном случае не только левое полушарие, но и правое.

Работа мозга по-прежнему остается большой Загадкой. Давно известно, что люди, у которых работает лучше правое полушарие (оно чаще включается), легко поддаются внушению (гипнозу) в отличие от тех, у которых левое полушарие является ведущим. Это значит, что мозг способен к получению информации и таким странным способом. А раз природа нам дала два "мозга" (правое полушарие и левое, которые работают по очереди), то, наверное, их надо тренировать в тех режимах, в которых им предназначено работать природой. И детей надо учить, особенно в раннем возрасте, как гуманитарным дисциплинам, так и техническим. И не спешить с ранней и модной сейчас специализацией, ожидая, когда оба полушария мозга потренируются и способности проявятся достаточно определенно. А способности стоит тренировать с помощью разнообразных тестов, предназначенных и для левого полушария (обычные тесты, требующие рассуждения и запоминания), и для правого ("эмоциональные" или "психологические"

И хотя современные системы "европейского" образования приспособлены только к левому полушарию (Р. Сперри, физиолог, нобелевский лауреат), для правого полушария тоже есть возможности "проявить себя". Даже привычные тесты позволяют это: опыт  показывает, что довольно часто ученики выбирают нужный ответ не потому, что знают или подумали, а потому, что, как они говорят, он им кажется "хорошим" или, наоборот, "плохим". Они все равно что-то чувствуют, даже когда просто пытаются угадать ответ. Вероятно, происходит неосознанный (чувственный) выбор, основанный на особенностях построения фразы. Играет роль даже такая мелочь, как различие в количестве слов в вариантах ответа. Ответ, отличающийся слишком малым или слишком большим количеством слов, кажется подозрительным. Другими словами, учится работать и правое полушарие тоже. А результаты обучения стоит оценивать опять с помощью тестов, только теперь с помощью зачетных, обобщающих (не поурочных, хотя и они годятся). Как гласит русская народная пословица, "кашу маслом не испортишь".

 

  1. 1. Из истории тестов

Сегодня тесты  активно используются в образовательном процессе. А задумывались ли вы над тем когда же появился первый тест? Как оказалось, история возникновения и использования тестирования как диагностического метода уходит в глубь веков. Есть сведения, что уже с III тысячелетия до н.э. в странах Древнего Востока использовались системы конкурсных испытаний интеллектуального характера, предназначенные для отбора персонала на правительственные должности. Однако всё вышеперечисленное нельзя назвать тестами в современном понимании этого термина.

Широкое развитие применение тестов в образовательном процессе получило за рубежом. В школьной практике тесты начали применяться Ф.Галтоном в 1892 году. В 1894 году впервые в школах появились тесты успешности (для проверки знаний, умений и навыков учащихся по отдельным учебным дисциплинам – первыми стали применяться тесты для проверки правописания). Американец В.А. Макколл разделил тесты на педагогические (Educational Test) и психологические (Intelligence Test) Макколл обосновал цель использования педагогических тестов – объединение в группы учащихся, усваивающих равный по объёму материал с одинаковой скоростью. Однако основоположником педагогических измерений считается американский психолог Э. Торндайк (1874—1949). Ему приписывают разработку первого педагогического теста.  В 1904 году вышла его книга «Введение в теорию психологии и социальных измерений».

Педагогика, развившаяся в России в начале века, безоговорочно приняла тестовую основу объективного школьного контроля. Первые научные труды по теории тестов появилась в начале ХХ века, на стыке психологии, социологии, педагогики и других так называемых поведенческих наук.

Распространение психолого-педагогической диагностики в России связано с возникновением в  20-е годы XX века новой науки – педологии, которую Л.С. Выготский определял как науку о целостном развитии ребенка

Однако, в последние годы мы наблюдаем активное внедрение тестов в образовательный процесс. И не смотря на недостатки, которые имеют место при использовании такой формы контроля и оценки знаний, тестирование занимает довольно прочную позицию.

1.1 Классификации тестов

Первое, на чем надо остановиться, рассматривая классификацию тестов – это два подхода, которые в настоящее время сложились в тестировании – тесты, ориентированные на критерий (критериально-ориентированные) и тесты, ориентированные на норму (нормативно-ориентированные). Появившись как разные подходы к анализу результатов тестирования, отражающие разные основания для сравнения, сейчас эти два подхода определяют разницу на большинстве этапов создания теста.

При критериально-ориентированной ориентации требуется несколько меньшее число заданий, посредством которых определяется – что испытуемый знает, а что не знает из заданного стандарта. Иначе говоря, здесь ответы оцениваются относительно не всей области требуемых заданий, а только из области, ограниченной конкретным стандартом или уровнем (критерием) знаний.

При нормативно-ориентированной интерпретации результатов задача определения точного объема и структуры освоенного учебного материала отступает на задний план. В тест отбирается такое минимально достаточное количество заданий, которое позволяет сравнительно точно определить, образно говоря, не «кто что знает», а «кто знает больше».

Каждый из перечисленных видов выполняет свою функцию, используется для достижения определенной цели.

 

1.2 Процедура разработки тестов

Для тестов учебных достижений существуют общие правила и этапы разработки.

В зависимости от тех целей, которые стоят перед разработчиками, процедура разработки тестов имеет некоторые особенности, однако перечень этапов создания тестового инструментария одинаков для всех видов тестов.

 

 

Нормативно-ориентированные

Критериально-ориентированные

1. Определение

целей тестирования

Оценка обучающегося относительно других испытуемых

Описание усвоенного или не усвоенного учебного материала. Оценка обучающегося относительно набора характеристик достаточного для

достижения результата

2. Определение ресурсных возможностей разработчиков (разница в необходимости привлечения разных специалистов)

Ориентация на статистические методы оценивания. Специалисты необходимы для статистической обработки результатов

Ориентация на экспертное оценивание, проведение работ по определению перечня и объема учебных задач, критерия достижения необходимого уровня подготовки. Специалисты для экспертизы учебного материала

3. Отбор содержания учебного материала

Может быть отобран широкий спектр материала

Отбирается материал, который касается ограниченной тематики

4. Конструирование технологической матрицы и ее экспертиза

Могут быть использованы сложные матрицы

Сложность матрицы ограничивается выбранным для оценки критерием

5. Составление тестовых заданий и их экспертиза

Требования к составу и качеству заданий существенно не различается. Определяются общими требованиями к тестовым заданиям

6. Построение выборки для апробации заданий и тестов

Более жесткие требования к объему и балансу выборки, определяемые требованиями расчета статистических норм

Более мягкие требования к объему и балансу выборки, определяемые требованиями отработки качества тестовых заданий

7. Компоновка заданий для апробации

Требования к компоновке заданий для апробации существенно не отличаются. Определяются способом предъявления

8. Апробация тестовых заданий

В том числе для определения трудности и дискриминативности

Для отработки содержания заданий

9. Определение и расчет показателей качества тестовых заданий

Существенно не отличаются

10. Отбраковка заданий и составление теста

Отбираются задания с максимальной дискриминативностью. Слишком простые и слишком сложные задания отбрасываются

Отбираются задания, максимально покрывающие обследуемую область критерия. Сложные и простые задания включаются в тест

11. Апробация теста

Существенно не отличаются

12. Определение и расчет показателей качества теста

Существенно не отличаются

13. Составление окончательного

варианта теста

Отличия определяются целями и особенностями разработанных технологических матриц

14. Стандартизация теста

Определяется уровнем использования теста

15. Нормирование теста

Статистические нормы, рассчитываемые для нормативной выборки, или определения места испытуемого относительно других испытуемых, принимавших участие в тестировании

Описание критерия достижения результата или описание тех учебных задач, с которыми учащийся должен справиться

16. Оснащение теста

Определяется уровнем использования теста

         

 

Тест, созданный для проверки знаний обучаемых после изученной темы, и тест для итоговой аттестации обучающихся должны отличаться.

В зависимости от возможной широты использования применяются разные схемы составления тестов.

Этапы составления тестов учебных достижений для тестов разного уровня применения

 

 

 

 

Уровень применения

 

Используется педагогом для профессиональных нужд

Используется для внутренних нужд учреждения

Используется для проведения вступительных экзаменов и с административными целями

Используется для итоговой аттестации обучающихся, самое широкое административное использование

1. Определение целей тестирования

да

да

да

да

2. Определение ресурсных возможностей разработчиков

 

желательно

да

да

3. Отбор содержания учебного материала

да

да

да

да

4. Конструирование технологической матрицы

желательно

да

да

да

5. Составление

тестовых заданий

да

да

да

да

6. Построение выборки для апробации заданий и тестов

 

да

да

да

7. Компоновка заданий для апробации

да

да

да

да

8.

Апробация тестовых заданий

да

да

да

да

9. Определение и расчет показателей качества тестовых заданий

желательно

желательно

да

да

10. Отбраковка заданий и составление теста

да

да

да

да

11. Апробация теста

желательно

желательно

да

да

12. Определение и расчет показателей качества теста

 

 

да

да

13. Составление окончательного варианта теста

да

да

да

да

14. Стандартизация теста

 

да

да

да

15. Нормирование теста

 

 

 

да

16. Оснащение теста

 

желательно

да

да

 

1.3 Фактор времени в тестировании

При создании тестов учебных достижений одним из фундаментальных по значимости факторов является время.

Время является фактором, который определяет качество всего инструментария и качество получаемых в процессе тестирования результатов.

Каждый тест должен иметь оптимальное время тестирования. Уменьшение или превышение оптимального времени снижает качественные показатели теста.

Почему время, выделяемое на выполнение тестовой работы, должно быть ограничено? Создатели тестов стремятся включить в тест как можно больше тестовых заданий. Такое положение диктуется двумя обстоятельствами – чем больше количество заданий, тем более надежным будет создаваемый тест и тем больший объем информации мы можем получить.

С другой стороны, чем больше количество заданий, тем более продолжительной становится процедура тестирования.

Проектируя и разрабатывая тесты, необходимо стремиться к тому, чтобы мотивация обучающихся была устойчивой и положительной, а работа – максимально разнообразной.

Мы можем оказать влияние на снижение порога утомления, предусмотрев максимальное разнообразие выполняемой деятельности. Общее правило – сделать работу максимально разнообразной. И здесь есть две возможности, – во-первых, тест должен содержать задания, максимально разнообразные по форме. Во-вторых, сами задания должны быть максимально разнообразными по видам деятельности и невербальной поддержке.

Какие негативные последствия имеет нарушение оптимальности времени тестирования?

Время тестирования должно быть все-таки достаточно коротким для того, чтобы не провоцировать студентов на угадывание.

. В процессе апробации реальные сроки должны быть уточнены. Для апробации следует брать некоторый запас тестовых заданий и соответственно времени. Запас заданий должен обеспечить необходимое количество заданий взамен тех, что будут отбракованы, а запас времени позволит оценить верхнюю границу приемлемого времени выполнения.

Для тестов учебных достижений в отличие от других видов тестов чрезвычайно важным является зависимость результатов тестирования от календарного времени предъявления. Очевидно, что сравнение результатов тестирования, полученных с использованием одного и того же инструмента в январе и мае месяце, будет некорректно.

Срок в неделю после изучения темы не дает заметных смещений в результатах выполнения теста. Однако, срок в неделю после окончания семестра (каникулярный период) уже дает такие смещения.

Поэтому сроки тестирования должны быть оптимальны в зависимости от целей тестирования и отражаться в календарных планах и рабочих программах преподавателей.

1.4. Состав и характеристика тестовых заданий

С точки зрения разработчика минимальные требования к составу тестового задания состоят в наличии трех частей:

1. Инструкции.

2. Текста задания (вопроса).

3. Правильного ответа.

Инструкция должна содержать указания на то, что испытуемый должен сделать, каким образом выполнять задание. Это может быть фраза «Выбрать правильный ответ», «наиболее правильный ответ», «все правильные ответы», «хотя бы один правильный ответ» и др. Инструкция должна быть составлена так, чтобы задание и способ его выполнения были абсолютно ясны любому из испытуемых и не приводили к ошибкам.

Для разработчиков тестовых заданий подготовка инструкции для испытуемых в каждом задании является необходимой, поскольку это позволяет взглянуть на задание с точки зрения испытуемого.

Текст задания или вопроса представляет собой содержательное наполнение задания.

Ограничения ответа: вопрос должен быть высокого качества, чтобы предотвратить нежелательные интерпретации испытуемых, используя ограничения, такие как: «По мнению автора...» или «Вычислите до 2-х десятичных знаков».

Правильный ответ (эталон) или оценочная схема – обязательный атрибут любого тестового задания – без него задание теряет смысл, поскольку не может быть точно проанализировано и оценено.

 

Основное требование к тестовым заданиям – тестовое задание должно иметь однозначный правильный ответ. Понятие однозначности ответа трактуется не столько как требование единственности ответа, но обязательное наличие предполагаемого образца.

Ясная схема оценки должна обеспечить пользователя тестом аппаратом оценивания именно в рамках заложенной в тест оценки разработчика. Многие вопросы толкования могут быть сняты при разработке ясной и недвусмысленной схемы оценивания, которая содержит наиболее возможные варианты ответов, которые можно принять к рассмотрению и оценить как зачетные. Схема оценивания должна полностью соответствовать конкретному вопросу. Все формулировки ожидаемых ответов должны быть предельно ясными и недвусмысленными.

1.5. Проблемы составления тестовых заданий

Многие авторы настаивают на том, что тестовые задания должны создаваться в форме утверждений, введя в требования к тестовым заданиям логическую форму высказывания. Это связано, во-первых, со словесным составом задания в тестовой форме: смысл тестового утверждения улавливается всегда лучше, чем смысл вопроса, поскольку, в тестовых утверждениях нет ни одного лишнего слова и даже знака, в то время как вопрос требует ряда дополнительных слов и знаков для выражения требуемого смысла, значения и интонации.

Однако хорошо сформулированное задание в вопросительной форме ничем не уступает хорошо сформулированному вопросу в форме утверждения.. Мало того, в рекомендациях по составлению тестовых заданий Голландского института CITO дается такая рекомендация: «Используйте прямые вопросы. Предпочтительнее применять прямые вопросы, представляющие собой полное предложение с вопросительным знаком в конце». Кроме того, анализ заданий, используемых при аттестации обучающихся, показывает, что преимущественной формой заданий (более 90 процентов) является прямой вопрос. Выбор способа формулировки тестового задания, в форме утверждения или в форме вопроса должен определяться двумя обстоятельствами: во-первых, необходимо выбирать ту форму, которая будет максимально понятна для испытуемых, и, во-вторых, одна из форм заданий требует непременного формулирования вопроса в форме утверждения — это задания альтернативных ответов, поскольку они требуют ответа да или нет, которые лучше подходят к утверждениям.

2. Виды и типы тестовых заданий

В современных компьютерных адаптивных системах тестирования (например АСТ) наиболее часто используются 4 вида тестовых заданий.

1. Открытого типа.

2. Закрытого типа.

3. Задания на установление соответствия.

4. Задания на установление последовательности.

2.1. Задания открытого типа

К заданиям открытого типа относятся два вида – задания дополнения и задания свободного изложения. Отличительной особенностью заданий свободного изложения является то, что для их выполнения испытуемому необходимо самому записать одно или несколько слов (цифр, букв; возможно словосочетаний или даже предложений). Они предполагают свободные ответы испытуемых по сути задания. На ответы не накладываются ограничения. Однако формулировки заданий должны обеспечивать наличие только одного правильного ответа. Чаще всего задания со свободным изложением ответа используют в психологических, социологических тестах, а так же тестах интеллекта.

При компьютерном тестировании с целью определения уровня учебных достижений наличие эталонных вариантов ответов обязательно, более того – надо отметить особенность компьютерного тестирования – вводимый ответ испытуемого сравнивается с эталоном посимвольно, т. е. при наличии нескольких вариантов правильных ответов, синонимов и т. п. в эталонных ответах указываются все варианты.

2.2. Задания закрытого типа

К заданиям закрытого типа относятся задания нескольких видов: альтернативных ответов (АО), множественного выбора. Тестовые задания закрытого типа – предусматривают различные варианты ответа на поставленный вопрос: из ряда предлагаемых выбираются один или несколько правильных ответов, выбираются правильные (или неправильные) элементы списка и др. Это задания с предписанными ответами, что предполагает наличие ряда предварительно разработанных вариантов ответа на заданный вопрос. Неправильный, но правдоподобный ответ в американской тестовой литературе называется словом дистрактор, от английского глагола to distract – отвлекать.

Если к заданиям задаются готовые ответы на выбор (обычно один правильный, а остальные неправильные), то это задания с выбором одного правильного ответа. Логической основой этой формы является закон исключения третьего, впервые сформулированный Аристотелем. Выбор правильного ответа дает истинное суждение, а выбор неправильного – ложное суждение. Третьего не дано. Из этого закона следует методическое правило: в каждом задании с выбором одного правильного ответа последний должен быть, что придает однозначность замыслу самого задания и не допускает противоречивых толкований у испытуемых. Следование закону исключения третьего налагает логический запрет на применение таких ответов, как «правильного ответа нет», «все ответы правильные» или «все ответы неправильные», которые в практике еще встречаются.

2.3. Задания альтернативных ответов

В содержании всех учебных дисциплин имеется много таких элементов знаний, которые называются дихотомическими. Это знания, которые позволяют разделить мир надвое: определить правильность или неправильность фактов, методов, процессов; знания о том, что хорошо, что плохо, что можно, а чего нельзя делать ни при каких обстоятельствах. Для проверки именно таких знаний применяются задания в тестовой форме с двумя ответами.

К каждой задаче альтернативных ответов дается только два варианта ответов. Испытуемый должен выбрать один из них – «да – нет», «правильно – неправильно» и пр.

2.4. Задания множественного выбора

Задачи с множественным выбором предполагают наличие вариативности в выборе. Испытуемый должен выбрать один из предложенных вариантов, среди которых чаще всего только один правильный.

Обычный вопрос состоит из введения, самого вопроса и ряда альтернатив, каждая из которых представляет собой ответ на вопрос. Обычно трудно найти более 4 интересных и оригинальных альтернатив и к тому же на их чтение уйдет больше времени экзаменуемого. Вероятно, минимальное количество возможных альтернатив – это 3, максимальное количество альтернатив будет зависеть от объема теста. В том случае, если это цифровые выражения, то 5-6 вариантов не могут оказаться слишком длинными для чтения. Оптимальной можно считать 5 альтернативных ответов, при этом необходимо учитывать, что не всегда это возможно.

2.5. Задания с выбором нескольких правильных ответов

Кроме заданий, где имеется только один правильный ответ, а остальные – неправильные, есть и такие задания, в которых нужно выбрать несколько правильных ответов из числа предложенных. Особенность заданий с выбором нескольких правильных ответов является то, что испытуемому надо не только найти правильные ответы, но и определить полноту своего ответа. Следовательно, эти задания по форме труднее, чем задания с выбором одного правильного ответа.

2. 6. Задания на восстановление соответствия

В заданиях соответствия (восстановления соответствия) необходимо найти соответствие (или приравнять части, элементы, понятия) – между элементами двух списков (множеств).

Эта форма заданий достаточно разнообразна и может быть с успехом использована по всем учебным предметам и предметным областям. Практически в каждом предмете существует широкая возможность их использования. Задачи соответствия требуют подбора подходящего ответа.

2.7. Задания на восстановление последовательности

Задания на восстановление последовательности можно рассматривать как вариант задания на восстановление соответствия, когда одним из рядов является время, расстояние или иной континуальный конструкт, который подразумевается в виде ряда. Поскольку эта форма заданий требует особой инструкции, мы выделили ее в отдельный подраздел.

Задания на восстановление последовательности незаслуженно редко используются в тестах. На самом деле это очень качественная форма тестовых заданий, обладающая значительными преимуществами: краткостью и простотой проверки. Оно подходит для любого предмета, там, где присутствует алгоритмическая деятельность или временные события.

2.8. Задания исключения лишнего

Широко используемыми и результативными формами заданий являются задания типа исключения лишнего.

2.9. Задания на нахождение аналогии

Общий вид задания аналогии может быть представлен следующим образом: А так относится к В, как С относится к ..?

По форме это может быть задание как открытого типа – задания дополнения, так и закрытого. В случае применения открытой формы испытуемому предлагается самостоятельно вписать в предназначенное для этого места слово – ответ. В случае если применяется закрытая форма вопроса, то для испытуемого предлагается на выбор несколько вариантов ответов, так же как и в заданиях множественного выбора.

Инструкции для этих заданий зависят от того, какие ответы (закрытые или открытые) предусматриваются.

Аналогия – тип заданий, обычно присутствующий во всех тестах интеллекта. Он особенно может быть полезен потому, что, во-первых, легко изменять уровень сложности таких заданий (это касается самих отношений аналогии, а не сложности соотносимых объектов), что делает задания под­ходящими для всех возрастных групп и уровней развития. Во-вторых, практически нет ограничений, относящихся к материалу заданий, использующих принцип аналогии. Это означает, что аналогия подходит для тестов, измеряющих как gc, так и gf.

3. Правила составления тестовых заданий

Тестовые задания должны быть составлены с учетом определенных правил.

1. Начинайте формулировать вопрос с правильного ответа, этим Вы сведете к минимуму возможность столкнуться с часто встречающимися проблемами.

2. Содержание задания должно отвечать требованиям стандарта дисциплины и отражать содержание обучения.

3. Вопрос должен содержать одну законченную мысль.

Тестовое задание должно проверять один элемент знания. В том случае если это не так, то для преподавателя становится неясным, с каким элементом знаний обучаемый не справляется, в чем заключена причина невыполнения задания.

4. При составлении вопросов следует особенно внимательно использовать слова «иногда», «часто», «всегда», «все», «никогда».

5. Вопрос должен быть четко сформулирован, избегая слова «большой», «небольшой», «малый», «много», «мало», «меньше», «больше» и т. д.

6. Избегайте вводных фраз или предложений, имеющих мало связи с основной мыслью, не следует прибегать к пространным утверждениям, так как они приводят к правильному ответу, даже если обучающийся его не знает.

Предоставляйте только очень важную информацию, стараясь избегать материала, требующего дальнейших уточнений, а также детализированных или излишних описаний ситуаций или случаев.

7. Неправильные ответы должны быть разумны, умело подобраны, не должно быть явных неточностей, подсказок.

8. Не следует задавать вопросы с подвохом (скорее всего, в заблуждение будут введены наиболее способные или осведомленные обучающиеся, которые знают достаточно для того, чтобы попасться в ловушку, а также это противоречит цели – определение уровня знаний и понимания).

9. Все варианты ответов должны быть грамматически согласованы с основной частью задания; в любом случае следует использовать короткие, простые предложения, без зависимых или независимых оборотов.

10. Как можно реже использовать отрицание в основной части.

Отрицания имеют тенденцию усложнять сообщение, особенно двойные отрицания, которые аннулируют друг друга.

11. Правильные и неправильные ответы должны быть однозначны по содержанию, структуре и общему количеству слов; применяйте правдоподобные ошибочные варианты, взятые из опыта.

12. Не используйте варианты ответов «ни один из перечисленных» и «все перечисленные».

13. Убедитесь, что различия между вариантами ответов точны.

Чем больше варианты ответа походят друг на друга, тем труднее распознать правильный ответ и тем лучше тестируется умение понимать, например, прочитанный текст. Но когда различия не очень четки, то может случиться так, что тестируемый, зная правильный ответ, выберет правдоподобный.

14. Избегайте повторения в вариантах ответов.

15. Используйте ограничения в самом вопросе для того, чтобы снять неопределенность, которая может возникнуть при вводе ответа.

16. Не упрощайте вопросы.

17. Лучше использовать длинный вопрос и короткий ответ. В противоположной ситуации на прочтение ответов уходит больше времени и больше сил тратится на анализ высказываний.

18. Проанализируйте задания с точки зрения возможности неверного ответа наиболее подготовленных испытуемых.

4. Апробация тестовых заданий

После проведения экспертизы тестовых заданий, их доработки, с учетом результатов экспертизы можно перейти к следующему этапу разработки теста: необходимо упорядочить задания и провести апробацию тестовых заданий (другие названия: пробное тестирование, предварительное тестирование, испытание, эмпирическая проверка и т. п.).

При предварительном объединении заданий в тест следует сделать следующее.

1. Проверьте содержание и формулировку задач во взаимосвязи друг с другом.

2. При апробации теста следует включить в инструкцию пункт о том, что если испытуемому не удается справиться с заданием, его необходимо пропустить.

3. Не комплектуйте вместе такое количество заданий, что среднему испытуемому для их выполнения потребуется более часа. Примерно столько длится период сосредоточения у испытуемых.

4. Проверьте выполнение требований к пространственному и шрифтовому оформлению тестовых заданий.

5. Важные части инструкции, должны быть подчеркнуты или выделены особым шрифтом.

6. Подготовьте инструкции для испытуемых, инструкции для ведущих, инструкции по апробации тестовых заданий.

Целей апробации тестовых заданий (напомним, что в данном случае речь идет об апробации тестовых заданий, а не теста целиком) может быть несколько.

1. Определение трудности заданий с целью оценки его годности для испытуемых.

2. Определение тех заданий, в которых есть существенные недостатки.

3. Выявление случайных ошибок (опечаток, недостатков орфографии и пунктуации и т. д.).

4. Определение времени, необходимого на решения задания или всего теста целиком.

5. Анализ ответов на открытые вопросы с целью возможного уточнения формулировки правильных ответов или оценочной схемы.

6. Выявление недостатков в инструкциях.

5. Типичные ошибки при разработке тестовых заданий

1. Излишняя сложность, запутанность формулировки.

2. Неоднозначность условия.

3. Очевидность решения

4. Зависимость результата от памяти или от других индивидуальных особенностей испытуемого, а не от уровня развития тех умений и навыков, для оценки которых разрабатывается тест(кроме заданий, где необходима именно работа памяти). Как правило, это вопросы, которые выясняют оценки, мотивацию, мнения и т. д.

5. Абсурдность, нереальность вариантов ответов.

6. Появление двух и более правильных ответов, не оговоренное в условии.

7. Логические ошибки, вытекающие из несоответствия инструкции содержанию задания и содержанию ответов.

8. Нарушение правила подбора ответов по одному основанию (нарушение принципа однородности)

.9. Многословные формулировки задания и ответов, требующие слишком много времени на прочтение. Повторяющиеся формулировки.

10. Отрицательно сформулированные задания не сразу поддаются логическому анализу, тем более при дефиците времени.

11. Использование среди дистракторов вариантов «все ответы верные» или «все вышеперечисленное верно». При компьютерном тестировании варианты ответов при каждом предъявлении перемешиваются и «все вышеперечисленное верно» может попасть на первое место, т. е. выше него никаких вариантов нет. Недопустимо, чтобы ответ «все перечисленное верно» был верным ответом, так как, отмечая правильные ответы, испытуемый может начать отмечать по очереди все верные ответы, но они не входят в эталон, поэтому весь ответ на задание будет неверным.

12. В вопросах на установление соответствия используются не однородные объекты

13. Нарушено требование взаимно однозначного соответствия:

13. Отсутствие четкой инструкции в заданиях на установление последовательности. При этом задание искажается и превращается в нечто, похожее на выбор правильного ответа, например:

14. Наличие одинаковых элементов в списке для упорядочивания.

Литература:

1.  Аванесов, В. Определение педагогического теста.// Управление школой. – 1999.  № 29.

2.  Беспалько, В.П. Слагаемые педагогической технологии. – М.: Педагогика, 1989. – 190 с.:ил.

3.  Кузнецов А., Пугач В., другие. Тестовые задания. Информатика. Методическое пособие. М., Лаборатория Базовых знаний, 2002.

4. Майоров А.Н. Теория и практика создания тестов для системы образования. - М., "Интеллект центр", 2001. - 296 с.

5. Михайлычев, Е.А. Технология стандартизации дидактических тестов.// Школьные технологии. – 2001.  № 5. – С. 36 – 54.

6. Подласый И.П., профессор, доктор педагогических наук, Челябинского государственного педагогического университета,"Тестирование в учебном процессе: его история и возможности"

7. Челышкова М. Б. Теория и практика конструирования педагогических тестов. Уч. Пособие. — М.: Логос, 2002.

8. Орел Е., Прохоров А. Создание тестов и компьютерное тестирование. //Компьютер Пресс. - 2006 г. №7

9. Н.М. Опарина Г.Н. Полина

Р.М. Файзулин И.Г. Шрамкова  АДАПТИВНОЕ ТЕСТИРОВАНИЕ .Учебно-методическое пособие Хабаровск  Издательство ДВГУПС 2007

10. http://www.gumer.info/bibliotek_Buks/Pedagog/testing/index.phpПопытка физиологического обоснования поурочных тестов

 

Чему и как учить - вопрос, наверное, номер четыре по своему значению после трех хорошо известных: что делать? кто виноват? с чего начать?

Одни считают, что надо детей знакомить с разными предметами, постепенно усложняя материал по мере взросления. Это самый распространенный (классический) подход в обучении. Изредка раздаются призывы: "Не загружать детей фактами, а учить думать". Легко сказать, но как это сделать? Почти все люди думают, но почти все не знают, как это происходит. Слишком мало людей знакомо с физиологией высшей нервной деятельности, да и слишком плохо изучен наш головной мозг для ответа на такой вопрос

Так как же научить думать и возможно ли это? Может быть, в первую очередь надо ученика удивить? И он, удивленный, начнет задавать вопрос (себе или учителю): "Как же так получается?" Конечно, удивление удивлению рознь. . Можно удивить грязной обувью, а можно - тщательно подобранными необычными фактами или неожиданным поворотом мысли. Это можно рассматривать как главную задачу учителя, если ставить перед ним именно цель - научить детей размышлять. Это на первой половине урока. Но целый урок этому посвящать не стоит - дети быстро устают, после чего требуется переключить их мозг на другой режим работы. Вторую половину урока разумно посвящать самостоятельной работе. И если здесь тоже ставить цель научить думать, то могут пригодиться поурочные тесты к каждому параграфу учебника, которые вполне заменяют (или дополняют) ставшие давно привычными на каждом уроке задачи, например, по математике, физике или химии. Эти тесты тоже заставляют думать, размышлять, сомневаться, выбирая нужный ответ (или ответы) среди предложенных вариантов. К тому же оценка при их использовании получается, как правило, быстрее, так как многие задачи требуют значительного количества времени, а оценку желательно ставить быстро (все ведь любят, когда результат виден сразу, а не потом). И поурочные устные тесты здесь незаменимы, особенно при коллективном обучении. Поурочные тесты позволяют достаточно быстро и удобно тренировать способность думать. С их помощью при известном навыке за 10-20 минут можно поставить достаточно объективные оценки не 2-м или 3-м ученикам, как при обычном устном ответе (даже с места), а - 10-ти или 15-ти. И качество таких оценок выше, и количество их больше.Но это так называемый европейский подход к обучению. Известен и другой. Условно можно назвать его "азиатским". В соответствии с ним учеников, наоборот, учили "не думать". Их учили, полностью отключившись от внешних раздражителей, почувствовать(!) нужный ответ, результат или проблему. Методы отключения были различными: и химическое воздействие (например, реакция на запахи), и гипноз, и сосредоточение (медитация). Этот нерациональный, чувственный способ обучения связан с работой нашего правого полушария головного мозга. Именно оно способно к такому способу получения и обработки информации. Не об этом ли говорит тот факт, что у физиков, математиков встречается понятие красивой, изящной формулы, то есть верной, правильной. А объяснить, в чем заключается ее красота, они не могут. Часто говорят наоборот: "Чего-то в формуле не хватает, уродливая она" (значит, неправильная). По-видимому, у них работает в данном случае не только левое полушарие, но и правое.

Работа мозга по-прежнему остается большой Загадкой. Давно известно, что люди, у которых работает лучше правое полушарие (оно чаще включается), легко поддаются внушению (гипнозу) в отличие от тех, у которых левое полушарие является ведущим. Это значит, что мозг способен к получению информации и таким странным способом. А раз природа нам дала два "мозга" (правое полушарие и левое, которые работают по очереди), то, наверное, их надо тренировать в тех режимах, в которых им предназначено работать природой. И детей надо учить, особенно в раннем возрасте, как гуманитарным дисциплинам, так и техническим. И не спешить с ранней и модной сейчас специализацией, ожидая, когда оба полушария мозга потренируются и способности проявятся достаточно определенно. А способности стоит тренировать с помощью разнообразных тестов, предназначенных и для левого полушария (обычные тесты, требующие рассуждения и запоминания), и для правого ("эмоциональные" или "психологические"

И хотя современные системы "европейского" образования приспособлены только к левому полушарию (Р. Сперри, физиолог, нобелевский лауреат), для правого полушария тоже есть возможности "проявить себя". Даже привычные тесты позволяют это: опыт  показывает, что довольно часто ученики выбирают нужный ответ не потому, что знают или подумали, а потому, что, как они говорят, он им кажется "хорошим" или, наоборот, "плохим". Они все равно что-то чувствуют, даже когда просто пытаются угадать ответ. Вероятно, происходит неосознанный (чувственный) выбор, основанный на особенностях построения фразы. Играет роль даже такая мелочь, как различие в количестве слов в вариантах ответа. Ответ, отличающийся слишком малым или слишком большим количеством слов, кажется подозрительным. Другими словами, учится работать и правое полушарие тоже. А результаты обучения стоит оценивать опять с помощью тестов, только теперь с помощью зачетных, обобщающих (не поурочных, хотя и они годятся). Как гласит русская народная пословица, "кашу маслом не испортишь".

 

  1. 1. Из истории тестов

Сегодня тесты  активно используются в образовательном процессе. А задумывались ли вы над тем когда же появился первый тест? Как оказалось, история возникновения и использования тестирования как диагностического метода уходит в глубь веков. Есть сведения, что уже с III тысячелетия до н.э. в странах Древнего Востока использовались системы конкурсных испытаний интеллектуального характера, предназначенные для отбора персонала на правительственные должности. Однако всё вышеперечисленное нельзя назвать тестами в современном понимании этого термина.

Широкое развитие применение тестов в образовательном процессе получило за рубежом. В школьной практике тесты начали применяться Ф.Галтоном в 1892 году. В 1894 году впервые в школах появились тесты успешности (для проверки знаний, умений и навыков учащихся по отдельным учебным дисциплинам – первыми стали применяться тесты для проверки правописания). Американец В.А. Макколл разделил тесты на педагогические (Educational Test) и психологические (Intelligence Test) Макколл обосновал цель использования педагогических тестов – объединение в группы учащихся, усваивающих равный по объёму материал с одинаковой скоростью. Однако основоположником педагогических измерений считается американский психолог Э. Торндайк (1874—1949). Ему приписывают разработку первого педагогического теста.  В 1904 году вышла его книга «Введение в теорию психологии и социальных измерений».

Педагогика, развившаяся в России в начале века, безоговорочно приняла тестовую основу объективного школьного контроля. Первые научные труды по теории тестов появилась в начале ХХ века, на стыке психологии, социологии, педагогики и других так называемых поведенческих наук.

Распространение психолого-педагогической диагностики в России связано с возникновением в  20-е годы XX века новой науки – педологии, которую Л.С. Выготский определял как науку о целостном развитии ребенка

Однако, в последние годы мы наблюдаем активное внедрение тестов в образовательный процесс. И не смотря на недостатки, которые имеют место при использовании такой формы контроля и оценки знаний, тестирование занимает довольно прочную позицию.

1.1 Классификации тестов

Первое, на чем надо остановиться, рассматривая классификацию тестов – это два подхода, которые в настоящее время сложились в тестировании – тесты, ориентированные на критерий (критериально-ориентированные) и тесты, ориентированные на норму (нормативно-ориентированные). Появившись как разные подходы к анализу результатов тестирования, отражающие разные основания для сравнения, сейчас эти два подхода определяют разницу на большинстве этапов создания теста.

При критериально-ориентированной ориентации требуется несколько меньшее число заданий, посредством которых определяется – что испытуемый знает, а что не знает из заданного стандарта. Иначе говоря, здесь ответы оцениваются относительно не всей области требуемых заданий, а только из области, ограниченной конкретным стандартом или уровнем (критерием) знаний.

При нормативно-ориентированной интерпретации результатов задача определения точного объема и структуры освоенного учебного материала отступает на задний план. В тест отбирается такое минимально достаточное количество заданий, которое позволяет сравнительно точно определить, образно говоря, не «кто что знает», а «кто знает больше».

Каждый из перечисленных видов выполняет свою функцию, используется для достижения определенной цели.

 

1.2 Процедура разработки тестов

Для тестов учебных достижений существуют общие правила и этапы разработки.

В зависимости от тех целей, которые стоят перед разработчиками, процедура разработки тестов имеет некоторые особенности, однако перечень этапов создания тестового инструментария одинаков для всех видов тестов.

 

 

Нормативно-ориентированные

Критериально-ориентированные

1. Определение

целей тестирования

Оценка обучающегося относительно других испытуемых

Описание усвоенного или не усвоенного учебного материала. Оценка обучающегося относительно набора характеристик достаточного для

достижения результата

2. Определение ресурсных возможностей разработчиков (разница в необходимости привлечения разных специалистов)

Ориентация на статистические методы оценивания. Специалисты необходимы для статистической обработки результатов

Ориентация на экспертное оценивание, проведение работ по определению перечня и объема учебных задач, критерия достижения необходимого уровня подготовки. Специалисты для экспертизы учебного материала

3. Отбор содержания учебного материала

Может быть отобран широкий спектр материала

Отбирается материал, который касается ограниченной тематики

4. Конструирование технологической матрицы и ее экспертиза

Могут быть использованы сложные матрицы

Сложность матрицы ограничивается выбранным для оценки критерием

5. Составление тестовых заданий и их экспертиза

Требования к составу и качеству заданий существенно не различается. Определяются общими требованиями к тестовым заданиям

6. Построение выборки для апробации заданий и тестов

Более жесткие требования к объему и балансу выборки, определяемые требованиями расчета статистических норм

Более мягкие требования к объему и балансу выборки, определяемые требованиями отработки качества тестовых заданий

7. Компоновка заданий для апробации

Требования к компоновке заданий для апробации существенно не отличаются. Определяются способом предъявления

8. Апробация тестовых заданий

В том числе для определения трудности и дискриминативности

Для отработки содержания заданий

9. Определение и расчет показателей качества тестовых заданий

Существенно не отличаются

10. Отбраковка заданий и составление теста

Отбираются задания с максимальной дискриминативностью. Слишком простые и слишком сложные задания отбрасываются

Отбираются задания, максимально покрывающие обследуемую область критерия. Сложные и простые задания включаются в тест

11. Апробация теста

Существенно не отличаются

12. Определение и расчет показателей качества теста

Существенно не отличаются

13. Составление окончательного

варианта теста

Отличия определяются целями и особенностями разработанных технологических матриц

14. Стандартизация теста

Определяется уровнем использования теста

15. Нормирование теста

Статистические нормы, рассчитываемые для нормативной выборки, или определения места испытуемого относительно других испытуемых, принимавших участие в тестировании

Описание критерия достижения результата или описание тех учебных задач, с которыми учащийся должен справиться

16. Оснащение теста

Определяется уровнем использования теста

         

 

Тест, созданный для проверки знаний обучаемых после изученной темы, и тест для итоговой аттестации обучающихся должны отличаться.

В зависимости от возможной широты использования применяются разные схемы составления тестов.

Этапы составления тестов учебных достижений для тестов разного уровня применения

 

 

 

 

Уровень применения

 

Используется педагогом для профессиональных нужд

Используется для внутренних нужд учреждения

Используется для проведения вступительных экзаменов и с административными целями

Используется для итоговой аттестации обучающихся, самое широкое административное использование

1. Определение целей тестирования

да

да

да

да

2. Определение ресурсных возможностей разработчиков

 

желательно

да

да

3. Отбор содержания учебного материала

да

да

да

да

4. Конструирование технологической матрицы

желательно

да

да

да

5. Составление

тестовых заданий

да

да

да

да

6. Построение выборки для апробации заданий и тестов

 

да

да

да

7. Компоновка заданий для апробации

да

да

да

да

8.

Апробация тестовых заданий

да

да

да

да

9. Определение и расчет показателей качества тестовых заданий

желательно

желательно

да

да

10. Отбраковка заданий и составление теста

да

да

да

да

11. Апробация теста

желательно

желательно

да

да

12. Определение и расчет показателей качества теста

 

 

да

да

13. Составление окончательного варианта теста

да

да

да

да

14. Стандартизация теста

 

да

да

да

15. Нормирование теста

 

 

 

да

16. Оснащение теста

 

желательно

да

да

 

1.3 Фактор времени в тестировании

При создании тестов учебных достижений одним из фундаментальных по значимости факторов является время.

Время является фактором, который определяет качество всего инструментария и качество получаемых в процессе тестирования результатов.

Каждый тест должен иметь оптимальное время тестирования. Уменьшение или превышение оптимального времени снижает качественные показатели теста.

Почему время, выделяемое на выполнение тестовой работы, должно быть ограничено? Создатели тестов стремятся включить в тест как можно больше тестовых заданий. Такое положение диктуется двумя обстоятельствами – чем больше количество заданий, тем более надежным будет создаваемый тест и тем больший объем информации мы можем получить.

С другой стороны, чем больше количество заданий, тем более продолжительной становится процедура тестирования.

Проектируя и разрабатывая тесты, необходимо стремиться к тому, чтобы мотивация обучающихся была устойчивой и положительной, а работа – максимально разнообразной.

Мы можем оказать влияние на снижение порога утомления, предусмотрев максимальное разнообразие выполняемой деятельности. Общее правило – сделать работу максимально разнообразной. И здесь есть две возможности, – во-первых, тест должен содержать задания, максимально разнообразные по форме. Во-вторых, сами задания должны быть максимально разнообразными по видам деятельности и невербальной поддержке.

Какие негативные последствия имеет нарушение оптимальности времени тестирования?

Время тестирования должно быть все-таки достаточно коротким для того, чтобы не провоцировать студентов на угадывание.

. В процессе апробации реальные сроки должны быть уточнены. Для апробации следует брать некоторый запас тестовых заданий и соответственно времени. Запас заданий должен обеспечить необходимое количество заданий взамен тех, что будут отбракованы, а запас времени позволит оценить верхнюю границу приемлемого времени выполнения.

Для тестов учебных достижений в отличие от других видов тестов чрезвычайно важным является зависимость результатов тестирования от календарного времени предъявления. Очевидно, что сравнение результатов тестирования, полученных с использованием одного и того же инструмента в январе и мае месяце, будет некорректно.

Срок в неделю после изучения темы не дает заметных смещений в результатах выполнения теста. Однако, срок в неделю после окончания семестра (каникулярный период) уже дает такие смещения.

Поэтому сроки тестирования должны быть оптимальны в зависимости от целей тестирования и отражаться в календарных планах и рабочих программах преподавателей.

1.4. Состав и характеристика тестовых заданий

С точки зрения разработчика минимальные требования к составу тестового задания состоят в наличии трех частей:

1. Инструкции.

2. Текста задания (вопроса).

3. Правильного ответа.

Инструкция должна содержать указания на то, что испытуемый должен сделать, каким образом выполнять задание. Это может быть фраза «Выбрать правильный ответ», «наиболее правильный ответ», «все правильные ответы», «хотя бы один правильный ответ» и др. Инструкция должна быть составлена так, чтобы задание и способ его выполнения были абсолютно ясны любому из испытуемых и не приводили к ошибкам.

Для разработчиков тестовых заданий подготовка инструкции для испытуемых в каждом задании является необходимой, поскольку это позволяет взглянуть на задание с точки зрения испытуемого.

Текст задания или вопроса представляет собой содержательное наполнение задания.

Ограничения ответа: вопрос должен быть высокого качества, чтобы предотвратить нежелательные интерпретации испытуемых, используя ограничения, такие как: «По мнению автора...» или «Вычислите до 2-х десятичных знаков».

Правильный ответ (эталон) или оценочная схема – обязательный атрибут любого тестового задания – без него задание теряет смысл, поскольку не может быть точно проанализировано и оценено.

 

Основное требование к тестовым заданиям – тестовое задание должно иметь однозначный правильный ответ. Понятие однозначности ответа трактуется не столько как требование единственности ответа, но обязательное наличие предполагаемого образца.

Ясная схема оценки должна обеспечить пользователя тестом аппаратом оценивания именно в рамках заложенной в тест оценки разработчика. Многие вопросы толкования могут быть сняты при разработке ясной и недвусмысленной схемы оценивания, которая содержит наиболее возможные варианты ответов, которые можно принять к рассмотрению и оценить как зачетные. Схема оценивания должна полностью соответствовать конкретному вопросу. Все формулировки ожидаемых ответов должны быть предельно ясными и недвусмысленными.

1.5. Проблемы составления тестовых заданий

Многие авторы настаивают на том, что тестовые задания должны создаваться в форме утверждений, введя в требования к тестовым заданиям логическую форму высказывания. Это связано, во-первых, со словесным составом задания в тестовой форме: смысл тестового утверждения улавливается всегда лучше, чем смысл вопроса, поскольку, в тестовых утверждениях нет ни одного лишнего слова и даже знака, в то время как вопрос требует ряда дополнительных слов и знаков для выражения требуемого смысла, значения и интонации.

Однако хорошо сформулированное задание в вопросительной форме ничем не уступает хорошо сформулированному вопросу в форме утверждения.. Мало того, в рекомендациях по составлению тестовых заданий Голландского института CITO дается такая рекомендация: «Используйте прямые вопросы. Предпочтительнее применять прямые вопросы, представляющие собой полное предложение с вопросительным знаком в конце». Кроме того, анализ заданий, используемых при аттестации обучающихся, показывает, что преимущественной формой заданий (более 90 процентов) является прямой вопрос. Выбор способа формулировки тестового задания, в форме утверждения или в форме вопроса должен определяться двумя обстоятельствами: во-первых, необходимо выбирать ту форму, которая будет максимально понятна для испытуемых, и, во-вторых, одна из форм заданий требует непременного формулирования вопроса в форме утверждения — это задания альтернативных ответов, поскольку они требуют ответа да или нет, которые лучше подходят к утверждениям.

2. Виды и типы тестовых заданий

В современных компьютерных адаптивных системах тестирования (например АСТ) наиболее часто используются 4 вида тестовых заданий.

1. Открытого типа.

2. Закрытого типа.

3. Задания на установление соответствия.

4. Задания на установление последовательности.

2.1. Задания открытого типа

К заданиям открытого типа относятся два вида – задания дополнения и задания свободного изложения. Отличительной особенностью заданий свободного изложения является то, что для их выполнения испытуемому необходимо самому записать одно или несколько слов (цифр, букв; возможно словосочетаний или даже предложений). Они предполагают свободные ответы испытуемых по сути задания. На ответы не накладываются ограничения. Однако формулировки заданий должны обеспечивать наличие только одного правильного ответа. Чаще всего задания со свободным изложением ответа используют в психологических, социологических тестах, а так же тестах интеллекта.

При компьютерном тестировании с целью определения уровня учебных достижений наличие эталонных вариантов ответов обязательно, более того – надо отметить особенность компьютерного тестирования – вводимый ответ испытуемого сравнивается с эталоном посимвольно, т. е. при наличии нескольких вариантов правильных ответов, синонимов и т. п. в эталонных ответах указываются все варианты.

2.2. Задания закрытого типа

К заданиям закрытого типа относятся задания нескольких видов: альтернативных ответов (АО), множественного выбора. Тестовые задания закрытого типа – предусматривают различные варианты ответа на поставленный вопрос: из ряда предлагаемых выбираются один или несколько правильных ответов, выбираются правильные (или неправильные) элементы списка и др. Это задания с предписанными ответами, что предполагает наличие ряда предварительно разработанных вариантов ответа на заданный вопрос. Неправильный, но правдоподобный ответ в американской тестовой литературе называется словом дистрактор, от английского глагола to distract – отвлекать.

Если к заданиям задаются готовые ответы на выбор (обычно один правильный, а остальные неправильные), то это задания с выбором одного правильного ответа. Логической основой этой формы является закон исключения третьего, впервые сформулированный Аристотелем. Выбор правильного ответа дает истинное суждение, а выбор неправильного – ложное суждение. Третьего не дано. Из этого закона следует методическое правило: в каждом задании с выбором одного правильного ответа последний должен быть, что придает однозначность замыслу самого задания и не допускает противоречивых толкований у испытуемых. Следование закону исключения третьего налагает логический запрет на применение таких ответов, как «правильного ответа нет», «все ответы правильные» или «все ответы неправильные», которые в практике еще встречаются.

2.3. Задания альтернативных ответов

В содержании всех учебных дисциплин имеется много таких элементов знаний, которые называются дихотомическими. Это знания, которые позволяют разделить мир надвое: определить правильность или неправильность фактов, методов, процессов; знания о том, что хорошо, что плохо, что можно, а чего нельзя делать ни при каких обстоятельствах. Для проверки именно таких знаний применяются задания в тестовой форме с двумя ответами.

К каждой задаче альтернативных ответов дается только два варианта ответов. Испытуемый должен выбрать один из них – «да – нет», «правильно – неправильно» и пр.

2.4. Задания множественного выбора

Задачи с множественным выбором предполагают наличие вариативности в выборе. Испытуемый должен выбрать один из предложенных вариантов, среди которых чаще всего только один правильный.

Обычный вопрос состоит из введения, самого вопроса и ряда альтернатив, каждая из которых представляет собой ответ на вопрос. Обычно трудно найти более 4 интересных и оригинальных альтернатив и к тому же на их чтение уйдет больше времени экзаменуемого. Вероятно, минимальное количество возможных альтернатив – это 3, максимальное количество альтернатив будет зависеть от объема теста. В том случае, если это цифровые выражения, то 5-6 вариантов не могут оказаться слишком длинными для чтения. Оптимальной можно считать 5 альтернативных ответов, при этом необходимо учитывать, что не всегда это возможно.

2.5. Задания с выбором нескольких правильных ответов

Кроме заданий, где имеется только один правильный ответ, а остальные – неправильные, есть и такие задания, в которых нужно выбрать несколько правильных ответов из числа предложенных. Особенность заданий с выбором нескольких правильных ответов является то, что испытуемому надо не только найти правильные ответы, но и определить полноту своего ответа. Следовательно, эти задания по форме труднее, чем задания с выбором одного правильного ответа.

2. 6. Задания на восстановление соответствия

В заданиях соответствия (восстановления соответствия) необходимо найти соответствие (или приравнять части, элементы, понятия) – между элементами двух списков (множеств).

Эта форма заданий достаточно разнообразна и может быть с успехом использована по всем учебным предметам и предметным областям. Практически в каждом предмете существует широкая возможность их использования. Задачи соответствия требуют подбора подходящего ответа.

2.7. Задания на восстановление последовательности

Задания на восстановление последовательности можно рассматривать как вариант задания на восстановление соответствия, когда одним из рядов является время, расстояние или иной континуальный конструкт, который подразумевается в виде ряда. Поскольку эта форма заданий требует особой инструкции, мы выделили ее в отдельный подраздел.

Задания на восстановление последовательности незаслуженно редко используются в тестах. На самом деле это очень качественная форма тестовых заданий, обладающая значительными преимуществами: краткостью и простотой проверки. Оно подходит для любого предмета, там, где присутствует алгоритмическая деятельность или временные события.

2.8. Задания исключения лишнего

Широко используемыми и результативными формами заданий являются задания типа исключения лишнего.

2.9. Задания на нахождение аналогии

Общий вид задания аналогии может быть представлен следующим образом: А так относится к В, как С относится к ..?

По форме это может быть задание как открытого типа – задания дополнения, так и закрытого. В случае применения открытой формы испытуемому предлагается самостоятельно вписать в предназначенное для этого места слово – ответ. В случае если применяется закрытая форма вопроса, то для испытуемого предлагается на выбор несколько вариантов ответов, так же как и в заданиях множественного выбора.

Инструкции для этих заданий зависят от того, какие ответы (закрытые или открытые) предусматриваются.

Аналогия – тип заданий, обычно присутствующий во всех тестах интеллекта. Он особенно может быть полезен потому, что, во-первых, легко изменять уровень сложности таких заданий (это касается самих отношений аналогии, а не сложности соотносимых объектов), что делает задания под­ходящими для всех возрастных групп и уровней развития. Во-вторых, практически нет ограничений, относящихся к материалу заданий, использующих принцип аналогии. Это означает, что аналогия подходит для тестов, измеряющих как gc, так и gf.

3. Правила составления тестовых заданий

Тестовые задания должны быть составлены с учетом определенных правил.

1. Начинайте формулировать вопрос с правильного ответа, этим Вы сведете к минимуму возможность столкнуться с часто встречающимися проблемами.

2. Содержание задания должно отвечать требованиям стандарта дисциплины и отражать содержание обучения.

3. Вопрос должен содержать одну законченную мысль.

Тестовое задание должно проверять один элемент знания. В том случае если это не так, то для преподавателя становится неясным, с каким элементом знаний обучаемый не справляется, в чем заключена причина невыполнения задания.

4. При составлении вопросов следует особенно внимательно использовать слова «иногда», «часто», «всегда», «все», «никогда».

5. Вопрос должен быть четко сформулирован, избегая слова «большой», «небольшой», «малый», «много», «мало», «меньше», «больше» и т. д.

6. Избегайте вводных фраз или предложений, имеющих мало связи с основной мыслью, не следует прибегать к пространным утверждениям, так как они приводят к правильному ответу, даже если обучающийся его не знает.

Предоставляйте только очень важную информацию, стараясь избегать материала, требующего дальнейших уточнений, а также детализированных или излишних описаний ситуаций или случаев.

7. Неправильные ответы должны быть разумны, умело подобраны, не должно быть явных неточностей, подсказок.

8. Не следует задавать вопросы с подвохом (скорее всего, в заблуждение будут введены наиболее способные или осведомленные обучающиеся, которые знают достаточно для того, чтобы попасться в ловушку, а также это противоречит цели – определение уровня знаний и понимания).

9. Все варианты ответов должны быть грамматически согласованы с основной частью задания; в любом случае следует использовать короткие, простые предложения, без зависимых или независимых оборотов.

10. Как можно реже использовать отрицание в основной части.

Отрицания имеют тенденцию усложнять сообщение, особенно двойные отрицания, которые аннулируют друг друга.

11. Правильные и неправильные ответы должны быть однозначны по содержанию, структуре и общему количеству слов; применяйте правдоподобные ошибочные варианты, взятые из опыта.

12. Не используйте варианты ответов «ни один из перечисленных» и «все перечисленные».

13. Убедитесь, что различия между вариантами ответов точны.

Чем больше варианты ответа походят друг на друга, тем труднее распознать правильный ответ и тем лучше тестируется умение понимать, например, прочитанный текст. Но когда различия не очень четки, то может случиться так, что тестируемый, зная правильный ответ, выберет правдоподобный.

14. Избегайте повторения в вариантах ответов.

15. Используйте ограничения в самом вопросе для того, чтобы снять неопределенность, которая может возникнуть при вводе ответа.

16. Не упрощайте вопросы.

17. Лучше использовать длинный вопрос и короткий ответ. В противоположной ситуации на прочтение ответов уходит больше времени и больше сил тратится на анализ высказываний.

18. Проанализируйте задания с точки зрения возможности неверного ответа наиболее подготовленных испытуемых.

4. Апробация тестовых заданий

После проведения экспертизы тестовых заданий, их доработки, с учетом результатов экспертизы можно перейти к следующему этапу разработки теста: необходимо упорядочить задания и провести апробацию тестовых заданий (другие названия: пробное тестирование, предварительное тестирование, испытание, эмпирическая проверка и т. п.).

При предварительном объединении заданий в тест следует сделать следующее.

1. Проверьте содержание и формулировку задач во взаимосвязи друг с другом.

2. При апробации теста следует включить в инструкцию пункт о том, что если испытуемому не удается справиться с заданием, его необходимо пропустить.

3. Не комплектуйте вместе такое количество заданий, что среднему испытуемому для их выполнения потребуется более часа. Примерно столько длится период сосредоточения у испытуемых.

4. Проверьте выполнение требований к пространственному и шрифтовому оформлению тестовых заданий.

5. Важные части инструкции, должны быть подчеркнуты или выделены особым шрифтом.

6. Подготовьте инструкции для испытуемых, инструкции для ведущих, инструкции по апробации тестовых заданий.

Целей апробации тестовых заданий (напомним, что в данном случае речь идет об апробации тестовых заданий, а не теста целиком) может быть несколько.

1. Определение трудности заданий с целью оценки его годности для испытуемых.

2. Определение тех заданий, в которых есть существенные недостатки.

3. Выявление случайных ошибок (опечаток, недостатков орфографии и пунктуации и т. д.).

4. Определение времени, необходимого на решения задания или всего теста целиком.

5. Анализ ответов на открытые вопросы с целью возможного уточнения формулировки правильных ответов или оценочной схемы.

6. Выявление недостатков в инструкциях.

5. Типичные ошибки при разработке тестовых заданий

1. Излишняя сложность, запутанность формулировки.

2. Неоднозначность условия.

3. Очевидность решения

4. Зависимость результата от памяти или от других индивидуальных особенностей испытуемого, а не от уровня развития тех умений и навыков, для оценки которых разрабатывается тест(кроме заданий, где необходима именно работа памяти). Как правило, это вопросы, которые выясняют оценки, мотивацию, мнения и т. д.

5. Абсурдность, нереальность вариантов ответов.

6. Появление двух и более правильных ответов, не оговоренное в условии.

7. Логические ошибки, вытекающие из несоответствия инструкции содержанию задания и содержанию ответов.

8. Нарушение правила подбора ответов по одному основанию (нарушение принципа однородности)

.9. Многословные формулировки задания и ответов, требующие слишком много времени на прочтение. Повторяющиеся формулировки.

10. Отрицательно сформулированные задания не сразу поддаются логическому анализу, тем более при дефиците времени.

11. Использование среди дистракторов вариантов «все ответы верные» или «все вышеперечисленное верно». При компьютерном тестировании варианты ответов при каждом предъявлении перемешиваются и «все вышеперечисленное верно» может попасть на первое место, т. е. выше него никаких вариантов нет. Недопустимо, чтобы ответ «все перечисленное верно» был верным ответом, так как, отмечая правильные ответы, испытуемый может начать отмечать по очереди все верные ответы, но они не входят в эталон, поэтому весь ответ на задание будет неверным.

12. В вопросах на установление соответствия используются не однородные объекты

13. Нарушено требование взаимно однозначного соответствия:

13. Отсутствие четкой инструкции в заданиях на установление последовательности. При этом задание искажается и превращается в нечто, похожее на выбор правильного ответа, например:

14. Наличие одинаковых элементов в списке для упорядочивания.

Литература:

1.  Аванесов, В. Определение педагогического теста.// Управление школой. – 1999.  № 29.

2.  Беспалько, В.П. Слагаемые педагогической технологии. – М.: Педагогика, 1989. – 190 с.:ил.

3.  Кузнецов А., Пугач В., другие. Тестовые задания. Информатика. Методическое пособие. М., Лаборатория Базовых знаний, 2002.

4. Майоров А.Н. Теория и практика создания тестов для системы образования. - М., "Интеллект центр", 2001. - 296 с.

5. Михайлычев, Е.А. Технология стандартизации дидактических тестов.// Школьные технологии. – 2001.  № 5. – С. 36 – 54.

6. Подласый И.П., профессор, доктор педагогических наук, Челябинского государственного педагогического университета,"Тестирование в учебном процессе: его история и возможности"

7. Челышкова М. Б. Теория и практика конструирования педагогических тестов. Уч. Пособие. — М.: Логос, 2002.

8. Орел Е., Прохоров А. Создание тестов и компьютерное тестирование. //Компьютер Пресс. - 2006 г. №7

9. Н.М. Опарина Г.Н. Полина

Р.М. Файзулин И.Г. Шрамкова  АДАПТИВНОЕ ТЕСТИРОВАНИЕ .Учебно-методическое пособие Хабаровск  Издательство ДВГУПС 2007

10. http://www.gumer.info/bibliotek_Buks/Pedagog/testing/index.php

Попытка физиологического обоснования поурочных тестов

 

Чему и как учить - вопрос, наверное, номер четыре по своему значению после трех хорошо известных: что делать? кто виноват? с чего начать?

Одни считают, что надо детей знакомить с разными предметами, постепенно усложняя материал по мере взросления. Это самый распространенный (классический) подход в обучении. Изредка раздаются призывы: "Не загружать детей фактами, а учить думать". Легко сказать, но как это сделать? Почти все люди думают, но почти все не знают, как это происходит. Слишком мало людей знакомо с физиологией высшей нервной деятельности, да и слишком плохо изучен наш головной мозг для ответа на такой вопрос

Так как же научить думать и возможно ли это? Может быть, в первую очередь надо ученика удивить? И он, удивленный, начнет задавать вопрос (себе или учителю): "Как же так получается?" Конечно, удивление удивлению рознь. . Можно удивить грязной обувью, а можно - тщательно подобранными необычными фактами или неожиданным поворотом мысли. Это можно рассматривать как главную задачу учителя, если ставить перед ним именно цель - научить детей размышлять. Это на первой половине урока. Но целый урок этому посвящать не стоит - дети быстро устают, после чего требуется переключить их мозг на другой режим работы. Вторую половину урока разумно посвящать самостоятельной работе. И если здесь тоже ставить цель научить думать, то могут пригодиться поурочные тесты к каждому параграфу учебника, которые вполне заменяют (или дополняют) ставшие давно привычными на каждом уроке задачи, например, по математике, физике или химии. Эти тесты тоже заставляют думать, размышлять, сомневаться, выбирая нужный ответ (или ответы) среди предложенных вариантов. К тому же оценка при их использовании получается, как правило, быстрее, так как многие задачи требуют значительного количества времени, а оценку желательно ставить быстро (все ведь любят, когда результат виден сразу, а не потом). И поурочные устные тесты здесь незаменимы, особенно при коллективном обучении. Поурочные тесты позволяют достаточно быстро и удобно тренировать способность думать. С их помощью при известном навыке за 10-20 минут можно поставить достаточно объективные оценки не 2-м или 3-м ученикам, как при обычном устном ответе (даже с места), а - 10-ти или 15-ти. И качество таких оценок выше, и количество их больше.Но это так называемый европейский подход к обучению. Известен и другой. Условно можно назвать его "азиатским". В соответствии с ним учеников, наоборот, учили "не думать". Их учили, полностью отключившись от внешних раздражителей, почувствовать(!) нужный ответ, результат или проблему. Методы отключения были различными: и химическое воздействие (например, реакция на запахи), и гипноз, и сосредоточение (медитация). Этот нерациональный, чувственный способ обучения связан с работой нашего правого полушария головного мозга. Именно оно способно к такому способу получения и обработки информации. Не об этом ли говорит тот факт, что у физиков, математиков встречается понятие красивой, изящной формулы, то есть верной, правильной. А объяснить, в чем заключается ее красота, они не могут. Часто говорят наоборот: "Чего-то в формуле не хватает, уродливая она" (значит, неправильная). По-видимому, у них работает в данном случае не только левое полушарие, но и правое.

Работа мозга по-прежнему остается большой Загадкой. Давно известно, что люди, у которых работает лучше правое полушарие (оно чаще включается), легко поддаются внушению (гипнозу) в отличие от тех, у которых левое полушарие является ведущим. Это значит, что мозг способен к получению информации и таким странным способом. А раз природа нам дала два "мозга" (правое полушарие и левое, которые работают по очереди), то, наверное, их надо тренировать в тех режимах, в которых им предназначено работать природой. И детей надо учить, особенно в раннем возрасте, как гуманитарным дисциплинам, так и техническим. И не спешить с ранней и модной сейчас специализацией, ожидая, когда оба полушария мозга потренируются и способности проявятся достаточно определенно. А способности стоит тренировать с помощью разнообразных тестов, предназначенных и для левого полушария (обычные тесты, требующие рассуждения и запоминания), и для правого ("эмоциональные" или "психологические"

И хотя современные системы "европейского" образования приспособлены только к левому полушарию (Р. Сперри, физиолог, нобелевский лауреат), для правого полушария тоже есть возможности "проявить себя". Даже привычные тесты позволяют это: опыт  показывает, что довольно часто ученики выбирают нужный ответ не потому, что знают или подумали, а потому, что, как они говорят, он им кажется "хорошим" или, наоборот, "плохим". Они все равно что-то чувствуют, даже когда просто пытаются угадать ответ. Вероятно, происходит неосознанный (чувственный) выбор, основанный на особенностях построения фразы. Играет роль даже такая мелочь, как различие в количестве слов в вариантах ответа. Ответ, отличающийся слишком малым или слишком большим количеством слов, кажется подозрительным. Другими словами, учится работать и правое полушарие тоже. А результаты обучения стоит оценивать опять с помощью тестов, только теперь с помощью зачетных, обобщающих (не поурочных, хотя и они годятся). Как гласит русская народная пословица, "кашу маслом не испортишь".

 

  1. 1. Из истории тестов

Сегодня тесты  активно используются в образовательном процессе. А задумывались ли вы над тем когда же появился первый тест? Как оказалось, история возникновения и использования тестирования как диагностического метода уходит в глубь веков. Есть сведения, что уже с III тысячелетия до н.э. в странах Древнего Востока использовались системы конкурсных испытаний интеллектуального характера, предназначенные для отбора персонала на правительственные должности. Однако всё вышеперечисленное нельзя назвать тестами в современном понимании этого термина.

Широкое развитие применение тестов в образовательном процессе получило за рубежом. В школьной практике тесты начали применяться Ф.Галтоном в 1892 году. В 1894 году впервые в школах появились тесты успешности (для проверки знаний, умений и навыков учащихся по отдельным учебным дисциплинам – первыми стали применяться тесты для проверки правописания). Американец В.А. Макколл разделил тесты на педагогические (Educational Test) и психологические (Intelligence Test) Макколл обосновал цель использования педагогических тестов – объединение в группы учащихся, усваивающих равный по объёму материал с одинаковой скоростью. Однако основоположником педагогических измерений считается американский психолог Э. Торндайк (1874—1949). Ему приписывают разработку первого педагогического теста.  В 1904 году вышла его книга «Введение в теорию психологии и социальных измерений».

Педагогика, развившаяся в России в начале века, безоговорочно приняла тестовую основу объективного школьного контроля. Первые научные труды по теории тестов появилась в начале ХХ века, на стыке психологии, социологии, педагогики и других так называемых поведенческих наук.

Распространение психолого-педагогической диагностики в России связано с возникновением в  20-е годы XX века новой науки – педологии, которую Л.С. Выготский определял как науку о целостном развитии ребенка

Однако, в последние годы мы наблюдаем активное внедрение тестов в образовательный процесс. И не смотря на недостатки, которые имеют место при использовании такой формы контроля и оценки знаний, тестирование занимает довольно прочную позицию.

1.1 Классификации тестов

Первое, на чем надо остановиться, рассматривая классификацию тестов – это два подхода, которые в настоящее время сложились в тестировании – тесты, ориентированные на критерий (критериально-ориентированные) и тесты, ориентированные на норму (нормативно-ориентированные). Появившись как разные подходы к анализу результатов тестирования, отражающие разные основания для сравнения, сейчас эти два подхода определяют разницу на большинстве этапов создания теста.

При критериально-ориентированной ориентации требуется несколько меньшее число заданий, посредством которых определяется – что испытуемый знает, а что не знает из заданного стандарта. Иначе говоря, здесь ответы оцениваются относительно не всей области требуемых заданий, а только из области, ограниченной конкретным стандартом или уровнем (критерием) знаний.

При нормативно-ориентированной интерпретации результатов задача определения точного объема и структуры освоенного учебного материала отступает на задний план. В тест отбирается такое минимально достаточное количество заданий, которое позволяет сравнительно точно определить, образно говоря, не «кто что знает», а «кто знает больше».

Каждый из перечисленных видов выполняет свою функцию, используется для достижения определенной цели.

 

1.2 Процедура разработки тестов

Для тестов учебных достижений существуют общие правила и этапы разработки.

В зависимости от тех целей, которые стоят перед разработчиками, процедура разработки тестов имеет некоторые особенности, однако перечень этапов создания тестового инструментария одинаков для всех видов тестов.

 

 

Нормативно-ориентированные

Критериально-ориентированные

1. Определение

целей тестирования

Оценка обучающегося относительно других испытуемых

Описание усвоенного или не усвоенного учебного материала. Оценка обучающегося относительно набора характеристик достаточного для

достижения результата

2. Определение ресурсных возможностей разработчиков (разница в необходимости привлечения разных специалистов)

Ориентация на статистические методы оценивания. Специалисты необходимы для статистической обработки результатов

Ориентация на экспертное оценивание, проведение работ по определению перечня и объема учебных задач, критерия достижения необходимого уровня подготовки. Специалисты для экспертизы учебного материала

3. Отбор содержания учебного материала

Может быть отобран широкий спектр материала

Отбирается материал, который касается ограниченной тематики

4. Конструирование технологической матрицы и ее экспертиза

Могут быть использованы сложные матрицы

Сложность матрицы ограничивается выбранным для оценки критерием

5. Составление тестовых заданий и их экспертиза

Требования к составу и качеству заданий существенно не различается. Определяются общими требованиями к тестовым заданиям

6. Построение выборки для апробации заданий и тестов

Более жесткие требования к объему и балансу выборки, определяемые требованиями расчета статистических норм

Более мягкие требования к объему и балансу выборки, определяемые требованиями отработки качества тестовых заданий

7. Компоновка заданий для апробации

Требования к компоновке заданий для апробации существенно не отличаются. Определяются способом предъявления

8. Апробация тестовых заданий

В том числе для определения трудности и дискриминативности

Для отработки содержания заданий

9. Определение и расчет показателей качества тестовых заданий

Существенно не отличаются

10. Отбраковка заданий и составление теста

Отбираются задания с максимальной дискриминативностью. Слишком простые и слишком сложные задания отбрасываются

Отбираются задания, максимально покрывающие обследуемую область критерия. Сложные и простые задания включаются в тест

11. Апробация теста

Существенно не отличаются

12. Определение и расчет показателей качества теста

Существенно не отличаются

13. Составление окончательного

варианта теста

Отличия определяются целями и особенностями разработанных технологических матриц

14. Стандартизация теста

Определяется уровнем использования теста

15. Нормирование теста

Статистические нормы, рассчитываемые для нормативной выборки, или определения места испытуемого относительно других испытуемых, принимавших участие в тестировании

Описание критерия достижения результата или описание тех учебных задач, с которыми учащийся должен справиться

16. Оснащение теста

Определяется уровнем использования теста

         

 

Тест, созданный для проверки знаний обучаемых после изученной темы, и тест для итоговой аттестации обучающихся должны отличаться.

В зависимости от возможной широты использования применяются разные схемы составления тестов.

Этапы составления тестов учебных достижений для тестов разного уровня применения

 

 

 

 

Уровень применения

 

Используется педагогом для профессиональных нужд

Используется для внутренних нужд учреждения

Используется для проведения вступительных экзаменов и с административными целями

Используется для итоговой аттестации обучающихся, самое широкое административное использование

1. Определение целей тестирования

да

да

да

да

2. Определение ресурсных возможностей разработчиков

 

желательно

да

да

3. Отбор содержания учебного материала

да

да

да

да

4. Конструирование технологической матрицы

желательно

да

да

да

5. Составление

тестовых заданий

да

да

да

да

6. Построение выборки для апробации заданий и тестов

 

да

да

да

7. Компоновка заданий для апробации

да

да

да

да

8.

Апробация тестовых заданий

да

да

да

да

9. Определение и расчет показателей качества тестовых заданий

желательно

желательно

да

да

10. Отбраковка заданий и составление теста

да

да

да

да

11. Апробация теста

желательно

желательно

да

да

12. Определение и расчет показателей качества теста

 

 

да

да

13. Составление окончательного варианта теста

да

да

да

да

14. Стандартизация теста

 

да

да

да

15. Нормирование теста

 

 

 

да

16. Оснащение теста

 

желательно

да

да

 

1.3 Фактор времени в тестировании

При создании тестов учебных достижений одним из фундаментальных по значимости факторов является время.

Время является фактором, который определяет качество всего инструментария и качество получаемых в процессе тестирования результатов.

Каждый тест должен иметь оптимальное время тестирования. Уменьшение или превышение оптимального времени снижает качественные показатели теста.

Почему время, выделяемое на выполнение тестовой работы, должно быть ограничено? Создатели тестов стремятся включить в тест как можно больше тестовых заданий. Такое положение диктуется двумя обстоятельствами – чем больше количество заданий, тем более надежным будет создаваемый тест и тем больший объем информации мы можем получить.

С другой стороны, чем больше количество заданий, тем более продолжительной становится процедура тестирования.

Проектируя и разрабатывая тесты, необходимо стремиться к тому, чтобы мотивация обучающихся была устойчивой и положительной, а работа – максимально разнообразной.

Мы можем оказать влияние на снижение порога утомления, предусмотрев максимальное разнообразие выполняемой деятельности. Общее правило – сделать работу максимально разнообразной. И здесь есть две возможности, – во-первых, тест должен содержать задания, максимально разнообразные по форме. Во-вторых, сами задания должны быть максимально разнообразными по видам деятельности и невербальной поддержке.

Какие негативные последствия имеет нарушение оптимальности времени тестирования?

Время тестирования должно быть все-таки достаточно коротким для того, чтобы не провоцировать студентов на угадывание.

. В процессе апробации реальные сроки должны быть уточнены. Для апробации следует брать некоторый запас тестовых заданий и соответственно времени. Запас заданий должен обеспечить необходимое количество заданий взамен тех, что будут отбракованы, а запас времени позволит оценить верхнюю границу приемлемого времени выполнения.

Для тестов учебных достижений в отличие от других видов тестов чрезвычайно важным является зависимость результатов тестирования от календарного времени предъявления. Очевидно, что сравнение результатов тестирования, полученных с использованием одного и того же инструмента в январе и мае месяце, будет некорректно.

Срок в неделю после изучения темы не дает заметных смещений в результатах выполнения теста. Однако, срок в неделю после окончания семестра (каникулярный период) уже дает такие смещения.

Поэтому сроки тестирования должны быть оптимальны в зависимости от целей тестирования и отражаться в календарных планах и рабочих программах преподавателей.

1.4. Состав и характеристика тестовых заданий

С точки зрения разработчика минимальные требования к составу тестового задания состоят в наличии трех частей:

1. Инструкции.

2. Текста задания (вопроса).

3. Правильного ответа.

Инструкция должна содержать указания на то, что испытуемый должен сделать, каким образом выполнять задание. Это может быть фраза «Выбрать правильный ответ», «наиболее правильный ответ», «все правильные ответы», «хотя бы один правильный ответ» и др. Инструкция должна быть составлена так, чтобы задание и способ его выполнения были абсолютно ясны любому из испытуемых и не приводили к ошибкам.

Для разработчиков тестовых заданий подготовка инструкции для испытуемых в каждом задании является необходимой, поскольку это позволяет взглянуть на задание с точки зрения испытуемого.

Текст задания или вопроса представляет собой содержательное наполнение задания.

Ограничения ответа: вопрос должен быть высокого качества, чтобы предотвратить нежелательные интерпретации испытуемых, используя ограничения, такие как: «По мнению автора...» или «Вычислите до 2-х десятичных знаков».

Правильный ответ (эталон) или оценочная схема – обязательный атрибут любого тестового задания – без него задание теряет смысл, поскольку не может быть точно проанализировано и оценено.

 

Основное требование к тестовым заданиям – тестовое задание должно иметь однозначный правильный ответ. Понятие однозначности ответа трактуется не столько как требование единственности ответа, но обязательное наличие предполагаемого образца.

Ясная схема оценки должна обеспечить пользователя тестом аппаратом оценивания именно в рамках заложенной в тест оценки разработчика. Многие вопросы толкования могут быть сняты при разработке ясной и недвусмысленной схемы оценивания, которая содержит наиболее возможные варианты ответов, которые можно принять к рассмотрению и оценить как зачетные. Схема оценивания должна полностью соответствовать конкретному вопросу. Все формулировки ожидаемых ответов должны быть предельно ясными и недвусмысленными.

1.5. Проблемы составления тестовых заданий

Многие авторы настаивают на том, что тестовые задания должны создаваться в форме утверждений, введя в требования к тестовым заданиям логическую форму высказывания. Это связано, во-первых, со словесным составом задания в тестовой форме: смысл тестового утверждения улавливается всегда лучше, чем смысл вопроса, поскольку, в тестовых утверждениях нет ни одного лишнего слова и даже знака, в то время как вопрос требует ряда дополнительных слов и знаков для выражения требуемого смысла, значения и интонации.

Однако хорошо сформулированное задание в вопросительной форме ничем не уступает хорошо сформулированному вопросу в форме утверждения.. Мало того, в рекомендациях по составлению тестовых заданий Голландского института CITO дается такая рекомендация: «Используйте прямые вопросы. Предпочтительнее применять прямые вопросы, представляющие собой полное предложение с вопросительным знаком в конце». Кроме того, анализ заданий, используемых при аттестации обучающихся, показывает, что преимущественной формой заданий (более 90 процентов) является прямой вопрос. Выбор способа формулировки тестового задания, в форме утверждения или в форме вопроса должен определяться двумя обстоятельствами: во-первых, необходимо выбирать ту форму, которая будет максимально понятна для испытуемых, и, во-вторых, одна из форм заданий требует непременного формулирования вопроса в форме утверждения — это задания альтернативных ответов, поскольку они требуют ответа да или нет, которые лучше подходят к утверждениям.

2. Виды и типы тестовых заданий

В современных компьютерных адаптивных системах тестирования (например АСТ) наиболее часто используются 4 вида тестовых заданий.

1. Открытого типа.

2. Закрытого типа.

3. Задания на установление соответствия.

4. Задания на установление последовательности.

2.1. Задания открытого типа

К заданиям открытого типа относятся два вида – задания дополнения и задания свободного изложения. Отличительной особенностью заданий свободного изложения является то, что для их выполнения испытуемому необходимо самому записать одно или несколько слов (цифр, букв; возможно словосочетаний или даже предложений). Они предполагают свободные ответы испытуемых по сути задания. На ответы не накладываются ограничения. Однако формулировки заданий должны обеспечивать наличие только одного правильного ответа. Чаще всего задания со свободным изложением ответа используют в психологических, социологических тестах, а так же тестах интеллекта.

При компьютерном тестировании с целью определения уровня учебных достижений наличие эталонных вариантов ответов обязательно, более того – надо отметить особенность компьютерного тестирования – вводимый ответ испытуемого сравнивается с эталоном посимвольно, т. е. при наличии нескольких вариантов правильных ответов, синонимов и т. п. в эталонных ответах указываются все варианты.

2.2. Задания закрытого типа

К заданиям закрытого типа относятся задания нескольких видов: альтернативных ответов (АО), множественного выбора. Тестовые задания закрытого типа – предусматривают различные варианты ответа на поставленный вопрос: из ряда предлагаемых выбираются один или несколько правильных ответов, выбираются правильные (или неправильные) элементы списка и др. Это задания с предписанными ответами, что предполагает наличие ряда предварительно разработанных вариантов ответа на заданный вопрос. Неправильный, но правдоподобный ответ в американской тестовой литературе называется словом дистрактор, от английского глагола to distract – отвлекать.

Если к заданиям задаются готовые ответы на выбор (обычно один правильный, а остальные неправильные), то это задания с выбором одного правильного ответа. Логической основой этой формы является закон исключения третьего, впервые сформулированный Аристотелем. Выбор правильного ответа дает истинное суждение, а выбор неправильного – ложное суждение. Третьего не дано. Из этого закона следует методическое правило: в каждом задании с выбором одного правильного ответа последний должен быть, что придает однозначность замыслу самого задания и не допускает противоречивых толкований у испытуемых. Следование закону исключения третьего налагает логический запрет на применение таких ответов, как «правильного ответа нет», «все ответы правильные» или «все ответы неправильные», которые в практике еще встречаются.

2.3. Задания альтернативных ответов

В содержании всех учебных дисциплин имеется много таких элементов знаний, которые называются дихотомическими. Это знания, которые позволяют разделить мир надвое: определить правильность или неправильность фактов, методов, процессов; знания о том, что хорошо, что плохо, что можно, а чего нельзя делать ни при каких обстоятельствах. Для проверки именно таких знаний применяются задания в тестовой форме с двумя ответами.

К каждой задаче альтернативных ответов дается только два варианта ответов. Испытуемый должен выбрать один из них – «да – нет», «правильно – неправильно» и пр.

2.4. Задания множественного выбора

Задачи с множественным выбором предполагают наличие вариативности в выборе. Испытуемый должен выбрать один из предложенных вариантов, среди которых чаще всего только один правильный.

Обычный вопрос состоит из введения, самого вопроса и ряда альтернатив, каждая из которых представляет собой ответ на вопрос. Обычно трудно найти более 4 интересных и оригинальных альтернатив и к тому же на их чтение уйдет больше времени экзаменуемого. Вероятно, минимальное количество возможных альтернатив – это 3, максимальное количество альтернатив будет зависеть от объема теста. В том случае, если это цифровые выражения, то 5-6 вариантов не могут оказаться слишком длинными для чтения. Оптимальной можно считать 5 альтернативных ответов, при этом необходимо учитывать, что не всегда это возможно.

2.5. Задания с выбором нескольких правильных ответов

Кроме заданий, где имеется только один правильный ответ, а остальные – неправильные, есть и такие задания, в которых нужно выбрать несколько правильных ответов из числа предложенных. Особенность заданий с выбором нескольких правильных ответов является то, что испытуемому надо не только найти правильные ответы, но и определить полноту своего ответа. Следовательно, эти задания по форме труднее, чем задания с выбором одного правильного ответа.

2. 6. Задания на восстановление соответствия

В заданиях соответствия (восстановления соответствия) необходимо найти соответствие (или приравнять части, элементы, понятия) – между элементами двух списков (множеств).

Эта форма заданий достаточно разнообразна и может быть с успехом использована по всем учебным предметам и предметным областям. Практически в каждом предмете существует широкая возможность их использования. Задачи соответствия требуют подбора подходящего ответа.

2.7. Задания на восстановление последовательности

Задания на восстановление последовательности можно рассматривать как вариант задания на восстановление соответствия, когда одним из рядов является время, расстояние или иной континуальный конструкт, который подразумевается в виде ряда. Поскольку эта форма заданий требует особой инструкции, мы выделили ее в отдельный подраздел.

Задания на восстановление последовательности незаслуженно редко используются в тестах. На самом деле это очень качественная форма тестовых заданий, обладающая значительными преимуществами: краткостью и простотой проверки. Оно подходит для любого предмета, там, где присутствует алгоритмическая деятельность или временные события.

2.8. Задания исключения лишнего

Широко используемыми и результативными формами заданий являются задания типа исключения лишнего.

2.9. Задания на нахождение аналогии

Общий вид задания аналогии может быть представлен следующим образом: А так относится к В, как С относится к ..?

По форме это может быть задание как открытого типа – задания дополнения, так и закрытого. В случае применения открытой формы испытуемому предлагается самостоятельно вписать в предназначенное для этого места слово – ответ. В случае если применяется закрытая форма вопроса, то для испытуемого предлагается на выбор несколько вариантов ответов, так же как и в заданиях множественного выбора.

Инструкции для этих заданий зависят от того, какие ответы (закрытые или открытые) предусматриваются.

Аналогия – тип заданий, обычно присутствующий во всех тестах интеллекта. Он особенно может быть полезен потому, что, во-первых, легко изменять уровень сложности таких заданий (это касается самих отношений аналогии, а не сложности соотносимых объектов), что делает задания под­ходящими для всех возрастных групп и уровней развития. Во-вторых, практически нет ограничений, относящихся к материалу заданий, использующих принцип аналогии. Это означает, что аналогия подходит для тестов, измеряющих как gc, так и gf.

3. Правила составления тестовых заданий

Тестовые задания должны быть составлены с учетом определенных правил.

1. Начинайте формулировать вопрос с правильного ответа, этим Вы сведете к минимуму возможность столкнуться с часто встречающимися проблемами.

2. Содержание задания должно отвечать требованиям стандарта дисциплины и отражать содержание обучения.

3. Вопрос должен содержать одну законченную мысль.

Тестовое задание должно проверять один элемент знания. В том случае если это не так, то для преподавателя становится неясным, с каким элементом знаний обучаемый не справляется, в чем заключена причина невыполнения задания.

4. При составлении вопросов следует особенно внимательно использовать слова «иногда», «часто», «всегда», «все», «никогда».

5. Вопрос должен быть четко сформулирован, избегая слова «большой», «небольшой», «малый», «много», «мало», «меньше», «больше» и т. д.

6. Избегайте вводных фраз или предложений, имеющих мало связи с основной мыслью, не следует прибегать к пространным утверждениям, так как они приводят к правильному ответу, даже если обучающийся его не знает.

Предоставляйте только очень важную информацию, стараясь избегать материала, требующего дальнейших уточнений, а также детализированных или излишних описаний ситуаций или случаев.

7. Неправильные ответы должны быть разумны, умело подобраны, не должно быть явных неточностей, подсказок.

8. Не следует задавать вопросы с подвохом (скорее всего, в заблуждение будут введены наиболее способные или осведомленные обучающиеся, которые знают достаточно для того, чтобы попасться в ловушку, а также это противоречит цели – определение уровня знаний и понимания).

9. Все варианты ответов должны быть грамматически согласованы с основной частью задания; в любом случае следует использовать короткие, простые предложения, без зависимых или независимых оборотов.

10. Как можно реже использовать отрицание в основной части.

Отрицания имеют тенденцию усложнять сообщение, особенно двойные отрицания, которые аннулируют друг друга.

11. Правильные и неправильные ответы должны быть однозначны по содержанию, структуре и общему количеству слов; применяйте правдоподобные ошибочные варианты, взятые из опыта.

12. Не используйте варианты ответов «ни один из перечисленных» и «все перечисленные».

13. Убедитесь, что различия между вариантами ответов точны.

Чем больше варианты ответа походят друг на друга, тем труднее распознать правильный ответ и тем лучше тестируется умение понимать, например, прочитанный текст. Но когда различия не очень четки, то может случиться так, что тестируемый, зная правильный ответ, выберет правдоподобный.

14. Избегайте повторения в вариантах ответов.

15. Используйте ограничения в самом вопросе для того, чтобы снять неопределенность, которая может возникнуть при вводе ответа.

16. Не упрощайте вопросы.

17. Лучше использовать длинный вопрос и короткий ответ. В противоположной ситуации на прочтение ответов уходит больше времени и больше сил тратится на анализ высказываний.

18. Проанализируйте задания с точки зрения возможности неверного ответа наиболее подготовленных испытуемых.

4. Апробация тестовых заданий

После проведения экспертизы тестовых заданий, их доработки, с учетом результатов экспертизы можно перейти к следующему этапу разработки теста: необходимо упорядочить задания и провести апробацию тестовых заданий (другие названия: пробное тестирование, предварительное тестирование, испытание, эмпирическая проверка и т. п.).

При предварительном объединении заданий в тест следует сделать следующее.

1. Проверьте содержание и формулировку задач во взаимосвязи друг с другом.

2. При апробации теста следует включить в инструкцию пункт о том, что если испытуемому не удается справиться с заданием, его необходимо пропустить.

3. Не комплектуйте вместе такое количество заданий, что среднему испытуемому для их выполнения потребуется более часа. Примерно столько длится период сосредоточения у испытуемых.

4. Проверьте выполнение требований к пространственному и шрифтовому оформлению тестовых заданий.

5. Важные части инструкции, должны быть подчеркнуты или выделены особым шрифтом.

6. Подготовьте инструкции для испытуемых, инструкции для ведущих, инструкции по апробации тестовых заданий.

Целей апробации тестовых заданий (напомним, что в данном случае речь идет об апробации тестовых заданий, а не теста целиком) может быть несколько.

1. Определение трудности заданий с целью оценки его годности для испытуемых.

2. Определение тех заданий, в которых есть существенные недостатки.

3. Выявление случайных ошибок (опечаток, недостатков орфографии и пунктуации и т. д.).

4. Определение времени, необходимого на решения задания или всего теста целиком.

5. Анализ ответов на открытые вопросы с целью возможного уточнения формулировки правильных ответов или оценочной схемы.

6. Выявление недостатков в инструкциях.

5. Типичные ошибки при разработке тестовых заданий

1. Излишняя сложность, запутанность формулировки.

2. Неоднозначность условия.

3. Очевидность решения

4. Зависимость результата от памяти или от других индивидуальных особенностей испытуемого, а не от уровня развития тех умений и навыков, для оценки которых разрабатывается тест(кроме заданий, где необходима именно работа памяти). Как правило, это вопросы, которые выясняют оценки, мотивацию, мнения и т. д.

5. Абсурдность, нереальность вариантов ответов.

6. Появление двух и более правильных ответов, не оговоренное в условии.

7. Логические ошибки, вытекающие из несоответствия инструкции содержанию задания и содержанию ответов.

8. Нарушение правила подбора ответов по одному основанию (нарушение принципа однородности)

.9. Многословные формулировки задания и ответов, требующие слишком много времени на прочтение. Повторяющиеся формулировки.

10. Отрицательно сформулированные задания не сразу поддаются логическому анализу, тем более при дефиците времени.

11. Использование среди дистракторов вариантов «все ответы верные» или «все вышеперечисленное верно». При компьютерном тестировании варианты ответов при каждом предъявлении перемешиваются и «все вышеперечисленное верно» может попасть на первое место, т. е. выше него никаких вариантов нет. Недопустимо, чтобы ответ «все перечисленное верно» был верным ответом, так как, отмечая правильные ответы, испытуемый может начать отмечать по очереди все верные ответы, но они не входят в эталон, поэтому весь ответ на задание будет неверным.

12. В вопросах на установление соответствия используются не однородные объекты

13. Нарушено требование взаимно однозначного соответствия:

13. Отсутствие четкой инструкции в заданиях на установление последовательности. При этом задание искажается и превращается в нечто, похожее на выбор правильного ответа, например:

14. Наличие одинаковых элементов в списке для упорядочивания.

Литература:

1.  Аванесов, В. Определение педагогического теста.// Управление школой. – 1999.  № 29.

2.  Беспалько, В.П. Слагаемые педагогической технологии. – М.: Педагогика, 1989. – 190 с.:ил.

3.  Кузнецов А., Пугач В., другие. Тестовые задания. Информатика. Методическое пособие. М., Лаборатория Базовых знаний, 2002.

4. Майоров А.Н. Теория и практика создания тестов для системы образования. - М., "Интеллект центр", 2001. - 296 с.

5. Михайлычев, Е.А. Технология стандартизации дидактических тестов.// Школьные технологии. – 2001.  № 5. – С. 36 – 54.

6. Подласый И.П., профессор, доктор педагогических наук, Челябинского государственного педагогического университета,"Тестирование в учебном процессе: его история и возможности"

7. Челышкова М. Б. Теория и практика конструирования педагогических тестов. Уч. Пособие. — М.: Логос, 2002.

8. Орел Е., Прохоров А. Создание тестов и компьютерное тестирование. //Компьютер Пресс. - 2006 г. №7

9. Н.М. Опарина Г.Н. Полина

Р.М. Файзулин И.Г. Шрамкова  АДАПТИВНОЕ ТЕСТИРОВАНИЕ .Учебно-методическое пособие Хабаровск  Издательство ДВГУПС 2007

10. http://www.gumer.info/bibliotek_Buks/Pedagog/testing/index.phpПопытка физиологического обоснования поурочных тестов

 

Чему и как учить - вопрос, наверное, номер четыре по своему значению после трех хорошо известных: что делать? кто виноват? с чего начать?

Одни считают, что надо детей знакомить с разными предметами, постепенно усложняя материал по мере взросления. Это самый распространенный (классический) подход в обучении. Изредка раздаются призывы: "Не загружать детей фактами, а учить думать". Легко сказать, но как это сделать? Почти все люди думают, но почти все не знают, как это происходит. Слишком мало людей знакомо с физиологией высшей нервной деятельности, да и слишком плохо изучен наш головной мозг для ответа на такой вопрос

Так как же научить думать и возможно ли это? Может быть, в первую очередь надо ученика удивить? И он, удивленный, начнет задавать вопрос (себе или учителю): "Как же так получается?" Конечно, удивление удивлению рознь. . Можно удивить грязной обувью, а можно - тщательно подобранными необычными фактами или неожиданным поворотом мысли. Это можно рассматривать как главную задачу учителя, если ставить перед ним именно цель - научить детей размышлять. Это на первой половине урока. Но целый урок этому посвящать не стоит - дети быстро устают, после чего требуется переключить их мозг на другой режим работы. Вторую половину урока разумно посвящать самостоятельной работе. И если здесь тоже ставить цель научить думать, то могут пригодиться поурочные тесты к каждому параграфу учебника, которые вполне заменяют (или дополняют) ставшие давно привычными на каждом уроке задачи, например, по математике, физике или химии. Эти тесты тоже заставляют думать, размышлять, сомневаться, выбирая нужный ответ (или ответы) среди предложенных вариантов. К тому же оценка при их использовании получается, как правило, быстрее, так как многие задачи требуют значительного количества времени, а оценку желательно ставить быстро (все ведь любят, когда результат виден сразу, а не потом). И поурочные устные тесты здесь незаменимы, особенно при коллективном обучении. Поурочные тесты позволяют достаточно быстро и удобно тренировать способность думать. С их помощью при известном навыке за 10-20 минут можно поставить достаточно объективные оценки не 2-м или 3-м ученикам, как при обычном устном ответе (даже с места), а - 10-ти или 15-ти. И качество таких оценок выше, и количество их больше.Но это так называемый европейский подход к обучению. Известен и другой. Условно можно назвать его "азиатским". В соответствии с ним учеников, наоборот, учили "не думать". Их учили, полностью отключившись от внешних раздражителей, почувствовать(!) нужный ответ, результат или проблему. Методы отключения были различными: и химическое воздействие (например, реакция на запахи), и гипноз, и сосредоточение (медитация). Этот нерациональный, чувственный способ обучения связан с работой нашего правого полушария головного мозга. Именно оно способно к такому способу получения и обработки информации. Не об этом ли говорит тот факт, что у физиков, математиков встречается понятие красивой, изящной формулы, то есть верной, правильной. А объяснить, в чем заключается ее красота, они не могут. Часто говорят наоборот: "Чего-то в формуле не хватает, уродливая она" (значит, неправильная). По-видимому, у них работает в данном случае не только левое полушарие, но и правое.

Работа мозга по-прежнему остается большой Загадкой. Давно известно, что люди, у которых работает лучше правое полушарие (оно чаще включается), легко поддаются внушению (гипнозу) в отличие от тех, у которых левое полушарие является ведущим. Это значит, что мозг способен к получению информации и таким странным способом. А раз природа нам дала два "мозга" (правое полушарие и левое, которые работают по очереди), то, наверное, их надо тренировать в тех режимах, в которых им предназначено работать природой. И детей надо учить, особенно в раннем возрасте, как гуманитарным дисциплинам, так и техническим. И не спешить с ранней и модной сейчас специализацией, ожидая, когда оба полушария мозга потренируются и способности проявятся достаточно определенно. А способности стоит тренировать с помощью разнообразных тестов, предназначенных и для левого полушария (обычные тесты, требующие рассуждения и запоминания), и для правого ("эмоциональные" или "психологические"

И хотя современные системы "европейского" образования приспособлены только к левому полушарию (Р. Сперри, физиолог, нобелевский лауреат), для правого полушария тоже есть возможности "проявить себя". Даже привычные тесты позволяют это: опыт  показывает, что довольно часто ученики выбирают нужный ответ не потому, что знают или подумали, а потому, что, как они говорят, он им кажется "хорошим" или, наоборот, "плохим". Они все равно что-то чувствуют, даже когда просто пытаются угадать ответ. Вероятно, происходит неосознанный (чувственный) выбор, основанный на особенностях построения фразы. Играет роль даже такая мелочь, как различие в количестве слов в вариантах ответа. Ответ, отличающийся слишком малым или слишком большим количеством слов, кажется подозрительным. Другими словами, учится работать и правое полушарие тоже. А результаты обучения стоит оценивать опять с помощью тестов, только теперь с помощью зачетных, обобщающих (не поурочных, хотя и они годятся). Как гласит русская народная пословица, "кашу маслом не испортишь".

 

  1. 1. Из истории тестов

Сегодня тесты  активно используются в образовательном процессе. А задумывались ли вы над тем когда же появился первый тест? Как оказалось, история возникновения и использования тестирования как диагностического метода уходит в глубь веков. Есть сведения, что уже с III тысячелетия до н.э. в странах Древнего Востока использовались системы конкурсных испытаний интеллектуального характера, предназначенные для отбора персонала на правительственные должности. Однако всё вышеперечисленное нельзя назвать тестами в современном понимании этого термина.

Широкое развитие применение тестов в образовательном процессе получило за рубежом. В школьной практике тесты начали применяться Ф.Галтоном в 1892 году. В 1894 году впервые в школах появились тесты успешности (для проверки знаний, умений и навыков учащихся по отдельным учебным дисциплинам – первыми стали применяться тесты для проверки правописания). Американец В.А. Макколл разделил тесты на педагогические (Educational Test) и психологические (Intelligence Test) Макколл обосновал цель использования педагогических тестов – объединение в группы учащихся, усваивающих равный по объёму материал с одинаковой скоростью. Однако основоположником педагогических измерений считается американский психолог Э. Торндайк (1874—1949). Ему приписывают разработку первого педагогического теста.  В 1904 году вышла его книга «Введение в теорию психологии и социальных измерений».

Педагогика, развившаяся в России в начале века, безоговорочно приняла тестовую основу объективного школьного контроля. Первые научные труды по теории тестов появилась в начале ХХ века, на стыке психологии, социологии, педагогики и других так называемых поведенческих наук.

Распространение психолого-педагогической диагностики в России связано с возникновением в  20-е годы XX века новой науки – педологии, которую Л.С. Выготский определял как науку о целостном развитии ребенка

Однако, в последние годы мы наблюдаем активное внедрение тестов в образовательный процесс. И не смотря на недостатки, которые имеют место при использовании такой формы контроля и оценки знаний, тестирование занимает довольно прочную позицию.

1.1 Классификации тестов

Первое, на чем надо остановиться, рассматривая классификацию тестов – это два подхода, которые в настоящее время сложились в тестировании – тесты, ориентированные на критерий (критериально-ориентированные) и тесты, ориентированные на норму (нормативно-ориентированные). Появившись как разные подходы к анализу результатов тестирования, отражающие разные основания для сравнения, сейчас эти два подхода определяют разницу на большинстве этапов создания теста.

При критериально-ориентированной ориентации требуется несколько меньшее число заданий, посредством которых определяется – что испытуемый знает, а что не знает из заданного стандарта. Иначе говоря, здесь ответы оцениваются относительно не всей области требуемых заданий, а только из области, ограниченной конкретным стандартом или уровнем (критерием) знаний.

При нормативно-ориентированной интерпретации результатов задача определения точного объема и структуры освоенного учебного материала отступает на задний план. В тест отбирается такое минимально достаточное количество заданий, которое позволяет сравнительно точно определить, образно говоря, не «кто что знает», а «кто знает больше».

Каждый из перечисленных видов выполняет свою функцию, используется для достижения определенной цели.

 

1.2 Процедура разработки тестов

Для тестов учебных достижений существуют общие правила и этапы разработки.

В зависимости от тех целей, которые стоят перед разработчиками, процедура разработки тестов имеет некоторые особенности, однако перечень этапов создания тестового инструментария одинаков для всех видов тестов.

 

 

Нормативно-ориентированные

Критериально-ориентированные

1. Определение

целей тестирования

Оценка обучающегося относительно других испытуемых

Описание усвоенного или не усвоенного учебного материала. Оценка обучающегося относительно набора характеристик достаточного для

достижения результата

2. Определение ресурсных возможностей разработчиков (разница в необходимости привлечения разных специалистов)

Ориентация на статистические методы оценивания. Специалисты необходимы для статистической обработки результатов

Ориентация на экспертное оценивание, проведение работ по определению перечня и объема учебных задач, критерия достижения необходимого уровня подготовки. Специалисты для экспертизы учебного материала

3. Отбор содержания учебного материала

Может быть отобран широкий спектр материала

Отбирается материал, который касается ограниченной тематики

4. Конструирование технологической матрицы и ее экспертиза

Могут быть использованы сложные матрицы

Сложность матрицы ограничивается выбранным для оценки критерием

5. Составление тестовых заданий и их экспертиза

Требования к составу и качеству заданий существенно не различается. Определяются общими требованиями к тестовым заданиям

6. Построение выборки для апробации заданий и тестов

Более жесткие требования к объему и балансу выборки, определяемые требованиями расчета статистических норм

Более мягкие требования к объему и балансу выборки, определяемые требованиями отработки качества тестовых заданий

7. Компоновка заданий для апробации

Требования к компоновке заданий для апробации существенно не отличаются. Определяются способом предъявления

8. Апробация тестовых заданий

В том числе для определения трудности и дискриминативности

Для отработки содержания заданий

9. Определение и расчет показателей качества тестовых заданий

Существенно не отличаются

10. Отбраковка заданий и составление теста

Отбираются задания с максимальной дискриминативностью. Слишком простые и слишком сложные задания отбрасываются

Отбираются задания, максимально покрывающие обследуемую область критерия. Сложные и простые задания включаются в тест

11. Апробация теста

Существенно не отличаются

12. Определение и расчет показателей качества теста

Существенно не отличаются

13. Составление окончательного

варианта теста

Отличия определяются целями и особенностями разработанных технологических матриц

14. Стандартизация теста

Определяется уровнем использования теста

15. Нормирование теста

Статистические нормы, рассчитываемые для нормативной выборки, или определения места испытуемого относительно других испытуемых, принимавших участие в тестировании

Описание критерия достижения результата или описание тех учебных задач, с которыми учащийся должен справиться

16. Оснащение теста

Определяется уровнем использования теста

         

 

Тест, созданный для проверки знаний обучаемых после изученной темы, и тест для итоговой аттестации обучающихся должны отличаться.

В зависимости от возможной широты использования применяются разные схемы составления тестов.

Этапы составления тестов учебных достижений для тестов разного уровня применения

 

 

 

 

Уровень применения

 

Используется педагогом для профессиональных нужд

Используется для внутренних нужд учреждения

Используется для проведения вступительных экзаменов и с административными целями

Используется для итоговой аттестации обучающихся, самое широкое административное использование

1. Определение целей тестирования

да

да

да

да

2. Определение ресурсных возможностей разработчиков

 

желательно

да

да

3. Отбор содержания учебного материала

да

да

да

да

4. Конструирование технологической матрицы

желательно

да

да

да

5. Составление

тестовых заданий

да

да

да

да

6. Построение выборки для апробации заданий и тестов

 

да

да

да

7. Компоновка заданий для апробации

да

да

да

да

8.

Апробация тестовых заданий

да

да

да

да

9. Определение и расчет показателей качества тестовых заданий

желательно

желательно

да

да

10. Отбраковка заданий и составление теста

да

да

да

да

11. Апробация теста

желательно

желательно

да

да

12. Определение и расчет показателей качества теста

 

 

да

да

13. Составление окончательного варианта теста

да

да

да

да

14. Стандартизация теста

 

да

да

да

15. Нормирование теста

 

 

 

да

16. Оснащение теста

 

желательно

да

да

 

1.3 Фактор времени в тестировании

При создании тестов учебных достижений одним из фундаментальных по значимости факторов является время.

Время является фактором, который определяет качество всего инструментария и качество получаемых в процессе тестирования результатов.

Каждый тест должен иметь оптимальное время тестирования. Уменьшение или превышение оптимального времени снижает качественные показатели теста.

Почему время, выделяемое на выполнение тестовой работы, должно быть ограничено? Создатели тестов стремятся включить в тест как можно больше тестовых заданий. Такое положение диктуется двумя обстоятельствами – чем больше количество заданий, тем более надежным будет создаваемый тест и тем больший объем информации мы можем получить.

С другой стороны, чем больше количество заданий, тем более продолжительной становится процедура тестирования.

Проектируя и разрабатывая тесты, необходимо стремиться к тому, чтобы мотивация обучающихся была устойчивой и положительной, а работа – максимально разнообразной.

Мы можем оказать влияние на снижение порога утомления, предусмотрев максимальное разнообразие выполняемой деятельности. Общее правило – сделать работу максимально разнообразной. И здесь есть две возможности, – во-первых, тест должен содержать задания, максимально разнообразные по форме. Во-вторых, сами задания должны быть максимально разнообразными по видам деятельности и невербальной поддержке.

Какие негативные последствия имеет нарушение оптимальности времени тестирования?

Время тестирования должно быть все-таки достаточно коротким для того, чтобы не провоцировать студентов на угадывание.

. В процессе апробации реальные сроки должны быть уточнены. Для апробации следует брать некоторый запас тестовых заданий и соответственно времени. Запас заданий должен обеспечить необходимое количество заданий взамен тех, что будут отбракованы, а запас времени позволит оценить верхнюю границу приемлемого времени выполнения.

Для тестов учебных достижений в отличие от других видов тестов чрезвычайно важным является зависимость результатов тестирования от календарного времени предъявления. Очевидно, что сравнение результатов тестирования, полученных с использованием одного и того же инструмента в январе и мае месяце, будет некорректно.

Срок в неделю после изучения темы не дает заметных смещений в результатах выполнения теста. Однако, срок в неделю после окончания семестра (каникулярный период) уже дает такие смещения.

Поэтому сроки тестирования должны быть оптимальны в зависимости от целей тестирования и отражаться в календарных планах и рабочих программах преподавателей.

1.4. Состав и характеристика тестовых заданий

С точки зрения разработчика минимальные требования к составу тестового задания состоят в наличии трех частей:

1. Инструкции.

2. Текста задания (вопроса).

3. Правильного ответа.

Инструкция должна содержать указания на то, что испытуемый должен сделать, каким образом выполнять задание. Это может быть фраза «Выбрать правильный ответ», «наиболее правильный ответ», «все правильные ответы», «хотя бы один правильный ответ» и др. Инструкция должна быть составлена так, чтобы задание и способ его выполнения были абсолютно ясны любому из испытуемых и не приводили к ошибкам.

Для разработчиков тестовых заданий подготовка инструкции для испытуемых в каждом задании является необходимой, поскольку это позволяет взглянуть на задание с точки зрения испытуемого.

Текст задания или вопроса представляет собой содержательное наполнение задания.

Ограничения ответа: вопрос должен быть высокого качества, чтобы предотвратить нежелательные интерпретации испытуемых, используя ограничения, такие как: «По мнению автора...» или «Вычислите до 2-х десятичных знаков».

Правильный ответ (эталон) или оценочная схема – обязательный атрибут любого тестового задания – без него задание теряет смысл, поскольку не может быть точно проанализировано и оценено.

 

Основное требование к тестовым заданиям – тестовое задание должно иметь однозначный правильный ответ. Понятие однозначности ответа трактуется не столько как требование единственности ответа, но обязательное наличие предполагаемого образца.

Ясная схема оценки должна обеспечить пользователя тестом аппаратом оценивания именно в рамках заложенной в тест оценки разработчика. Многие вопросы толкования могут быть сняты при разработке ясной и недвусмысленной схемы оценивания, которая содержит наиболее возможные варианты ответов, которые можно принять к рассмотрению и оценить как зачетные. Схема оценивания должна полностью соответствовать конкретному вопросу. Все формулировки ожидаемых ответов должны быть предельно ясными и недвусмысленными.

1.5. Проблемы составления тестовых заданий

Многие авторы настаивают на том, что тестовые задания должны создаваться в форме утверждений, введя в требования к тестовым заданиям логическую форму высказывания. Это связано, во-первых, со словесным составом задания в тестовой форме: смысл тестового утверждения улавливается всегда лучше, чем смысл вопроса, поскольку, в тестовых утверждениях нет ни одного лишнего слова и даже знака, в то время как вопрос требует ряда дополнительных слов и знаков для выражения требуемого смысла, значения и интонации.

Однако хорошо сформулированное задание в вопросительной форме ничем не уступает хорошо сформулированному вопросу в форме утверждения.. Мало того, в рекомендациях по составлению тестовых заданий Голландского института CITO дается такая рекомендация: «Используйте прямые вопросы. Предпочтительнее применять прямые вопросы, представляющие собой полное предложение с вопросительным знаком в конце». Кроме того, анализ заданий, используемых при аттестации обучающихся, показывает, что преимущественной формой заданий (более 90 процентов) является прямой вопрос. Выбор способа формулировки тестового задания, в форме утверждения или в форме вопроса должен определяться двумя обстоятельствами: во-первых, необходимо выбирать ту форму, которая будет максимально понятна для испытуемых, и, во-вторых, одна из форм заданий требует непременного формулирования вопроса в форме утверждения — это задания альтернативных ответов, поскольку они требуют ответа да или нет, которые лучше подходят к утверждениям.

2. Виды и типы тестовых заданий

В современных компьютерных адаптивных системах тестирования (например АСТ) наиболее часто используются 4 вида тестовых заданий.

1. Открытого типа.

2. Закрытого типа.

3. Задания на установление соответствия.

4. Задания на установление последовательности.

2.1. Задания открытого типа

К заданиям открытого типа относятся два вида – задания дополнения и задания свободного изложения. Отличительной особенностью заданий свободного изложения является то, что для их выполнения испытуемому необходимо самому записать одно или несколько слов (цифр, букв; возможно словосочетаний или даже предложений). Они предполагают свободные ответы испытуемых по сути задания. На ответы не накладываются ограничения. Однако формулировки заданий должны обеспечивать наличие только одного правильного ответа. Чаще всего задания со свободным изложением ответа используют в психологических, социологических тестах, а так же тестах интеллекта.

При компьютерном тестировании с целью определения уровня учебных достижений наличие эталонных вариантов ответов обязательно, более того – надо отметить особенность компьютерного тестирования – вводимый ответ испытуемого сравнивается с эталоном посимвольно, т. е. при наличии нескольких вариантов правильных ответов, синонимов и т. п. в эталонных ответах указываются все варианты.

2.2. Задания закрытого типа

К заданиям закрытого типа относятся задания нескольких видов: альтернативных ответов (АО), множественного выбора. Тестовые задания закрытого типа – предусматривают различные варианты ответа на поставленный вопрос: из ряда предлагаемых выбираются один или несколько правильных ответов, выбираются правильные (или неправильные) элементы списка и др. Это задания с предписанными ответами, что предполагает наличие ряда предварительно разработанных вариантов ответа на заданный вопрос. Неправильный, но правдоподобный ответ в американской тестовой литературе называется словом дистрактор, от английского глагола to distract – отвлекать.

Если к заданиям задаются готовые ответы на выбор (обычно один правильный, а остальные неправильные), то это задания с выбором одного правильного ответа. Логической основой этой формы является закон исключения третьего, впервые сформулированный Аристотелем. Выбор правильного ответа дает истинное суждение, а выбор неправильного – ложное суждение. Третьего не дано. Из этого закона следует методическое правило: в каждом задании с выбором одного правильного ответа последний должен быть, что придает однозначность замыслу самого задания и не допускает противоречивых толкований у испытуемых. Следование закону исключения третьего налагает логический запрет на применение таких ответов, как «правильного ответа нет», «все ответы правильные» или «все ответы неправильные», которые в практике еще встречаются.

2.3. Задания альтернативных ответов

В содержании всех учебных дисциплин имеется много таких элементов знаний, которые называются дихотомическими. Это знания, которые позволяют разделить мир надвое: определить правильность или неправильность фактов, методов, процессов; знания о том, что хорошо, что плохо, что можно, а чего нельзя делать ни при каких обстоятельствах. Для проверки именно таких знаний применяются задания в тестовой форме с двумя ответами.

К каждой задаче альтернативных ответов дается только два варианта ответов. Испытуемый должен выбрать один из них – «да – нет», «правильно – неправильно» и пр.

2.4. Задания множественного выбора

Задачи с множественным выбором предполагают наличие вариативности в выборе. Испытуемый должен выбрать один из предложенных вариантов, среди которых чаще всего только один правильный.

Обычный вопрос состоит из введения, самого вопроса и ряда альтернатив, каждая из которых представляет собой ответ на вопрос. Обычно трудно найти более 4 интересных и оригинальных альтернатив и к тому же на их чтение уйдет больше времени экзаменуемого. Вероятно, минимальное количество возможных альтернатив – это 3, максимальное количество альтернатив будет зависеть от объема теста. В том случае, если это цифровые выражения, то 5-6 вариантов не могут оказаться слишком длинными для чтения. Оптимальной можно считать 5 альтернативных ответов, при этом необходимо учитывать, что не всегда это возможно.

2.5. Задания с выбором нескольких правильных ответов

Кроме заданий, где имеется только один правильный ответ, а остальные – неправильные, есть и такие задания, в которых нужно выбрать несколько правильных ответов из числа предложенных. Особенность заданий с выбором нескольких правильных ответов является то, что испытуемому надо не только найти правильные ответы, но и определить полноту своего ответа. Следовательно, эти задания по форме труднее, чем задания с выбором одного правильного ответа.

2. 6. Задания на восстановление соответствия

В заданиях соответствия (восстановления соответствия) необходимо найти соответствие (или приравнять части, элементы, понятия) – между элементами двух списков (множеств).

Эта форма заданий достаточно разнообразна и может быть с успехом использована по всем учебным предметам и предметным областям. Практически в каждом предмете существует широкая возможность их использования. Задачи соответствия требуют подбора подходящего ответа.

2.7. Задания на восстановление последовательности

Задания на восстановление последовательности можно рассматривать как вариант задания на восстановление соответствия, когда одним из рядов является время, расстояние или иной континуальный конструкт, который подразумевается в виде ряда. Поскольку эта форма заданий требует особой инструкции, мы выделили ее в отдельный подраздел.

Задания на восстановление последовательности незаслуженно редко используются в тестах. На самом деле это очень качественная форма тестовых заданий, обладающая значительными преимуществами: краткостью и простотой проверки. Оно подходит для любого предмета, там, где присутствует алгоритмическая деятельность или временные события.

2.8. Задания исключения лишнего

Широко используемыми и результативными формами заданий являются задания типа исключения лишнего.

2.9. Задания на нахождение аналогии

Общий вид задания аналогии может быть представлен следующим образом: А так относится к В, как С относится к ..?

По форме это может быть задание как открытого типа – задания дополнения, так и закрытого. В случае применения открытой формы испытуемому предлагается самостоятельно вписать в предназначенное для этого места слово – ответ. В случае если применяется закрытая форма вопроса, то для испытуемого предлагается на выбор несколько вариантов ответов, так же как и в заданиях множественного выбора.

Инструкции для этих заданий зависят от того, какие ответы (закрытые или открытые) предусматриваются.

Аналогия – тип заданий, обычно присутствующий во всех тестах интеллекта. Он особенно может быть полезен потому, что, во-первых, легко изменять уровень сложности таких заданий (это касается самих отношений аналогии, а не сложности соотносимых объектов), что делает задания под­ходящими для всех возрастных групп и уровней развития. Во-вторых, практически нет ограничений, относящихся к материалу заданий, использующих принцип аналогии. Это означает, что аналогия подходит для тестов, измеряющих как gc, так и gf.

3. Правила составления тестовых заданий

Тестовые задания должны быть составлены с учетом определенных правил.

1. Начинайте формулировать вопрос с правильного ответа, этим Вы сведете к минимуму возможность столкнуться с часто встречающимися проблемами.

2. Содержание задания должно отвечать требованиям стандарта дисциплины и отражать содержание обучения.

3. Вопрос должен содержать одну законченную мысль.

Тестовое задание должно проверять один элемент знания. В том случае если это не так, то для преподавателя становится неясным, с каким элементом знаний обучаемый не справляется, в чем заключена причина невыполнения задания.

4. При составлении вопросов следует особенно внимательно использовать слова «иногда», «часто», «всегда», «все», «никогда».

5. Вопрос должен быть четко сформулирован, избегая слова «большой», «небольшой», «малый», «много», «мало», «меньше», «больше» и т. д.

6. Избегайте вводных фраз или предложений, имеющих мало связи с основной мыслью, не следует прибегать к пространным утверждениям, так как они приводят к правильному ответу, даже если обучающийся его не знает.

Предоставляйте только очень важную информацию, стараясь избегать материала, требующего дальнейших уточнений, а также детализированных или излишних описаний ситуаций или случаев.

7. Неправильные ответы должны быть разумны, умело подобраны, не должно быть явных неточностей, подсказок.

8. Не следует задавать вопросы с подвохом (скорее всего, в заблуждение будут введены наиболее способные или осведомленные обучающиеся, которые знают достаточно для того, чтобы попасться в ловушку, а также это противоречит цели – определение уровня знаний и понимания).

9. Все варианты ответов должны быть грамматически согласованы с основной частью задания; в любом случае следует использовать короткие, простые предложения, без зависимых или независимых оборотов.

10. Как можно реже использовать отрицание в основной части.

Отрицания имеют тенденцию усложнять сообщение, особенно двойные отрицания, которые аннулируют друг друга.

11. Правильные и неправильные ответы должны быть однозначны по содержанию, структуре и общему количеству слов; применяйте правдоподобные ошибочные варианты, взятые из опыта.

12. Не используйте варианты ответов «ни один из перечисленных» и «все перечисленные».

13. Убедитесь, что различия между вариантами ответов точны.

Чем больше варианты ответа походят друг на друга, тем труднее распознать правильный ответ и тем лучше тестируется умение понимать, например, прочитанный текст. Но когда различия не очень четки, то может случиться так, что тестируемый, зная правильный ответ, выберет правдоподобный.

14. Избегайте повторения в вариантах ответов.

15. Используйте ограничения в самом вопросе для того, чтобы снять неопределенность, которая может возникнуть при вводе ответа.

16. Не упрощайте вопросы.

17. Лучше использовать длинный вопрос и короткий ответ. В противоположной ситуации на прочтение ответов уходит больше времени и больше сил тратится на анализ высказываний.

18. Проанализируйте задания с точки зрения возможности неверного ответа наиболее подготовленных испытуемых.

4. Апробация тестовых заданий

После проведения экспертизы тестовых заданий, их доработки, с учетом результатов экспертизы можно перейти к следующему этапу разработки теста: необходимо упорядочить задания и провести апробацию тестовых заданий (другие названия: пробное тестирование, предварительное тестирование, испытание, эмпирическая проверка и т. п.).

При предварительном объединении заданий в тест следует сделать следующее.

1. Проверьте содержание и формулировку задач во взаимосвязи друг с другом.

2. При апробации теста следует включить в инструкцию пункт о том, что если испытуемому не удается справиться с заданием, его необходимо пропустить.

3. Не комплектуйте вместе такое количество заданий, что среднему испытуемому для их выполнения потребуется более часа. Примерно столько длится период сосредоточения у испытуемых.

4. Проверьте выполнение требований к пространственному и шрифтовому оформлению тестовых заданий.

5. Важные части инструкции, должны быть подчеркнуты или выделены особым шрифтом.

6. Подготовьте инструкции для испытуемых, инструкции для ведущих, инструкции по апробации тестовых заданий.

Целей апробации тестовых заданий (напомним, что в данном случае речь идет об апробации тестовых заданий, а не теста целиком) может быть несколько.

1. Определение трудности заданий с целью оценки его годности для испытуемых.

2. Определение тех заданий, в которых есть существенные недостатки.

3. Выявление случайных ошибок (опечаток, недостатков орфографии и пунктуации и т. д.).

4. Определение времени, необходимого на решения задания или всего теста целиком.

5. Анализ ответов на открытые вопросы с целью возможного уточнения формулировки правильных ответов или оценочной схемы.

6. Выявление недостатков в инструкциях.

5. Типичные ошибки при разработке тестовых заданий

1. Излишняя сложность, запутанность формулировки.

2. Неоднозначность условия.

3. Очевидность решения

4. Зависимость результата от памяти или от других индивидуальных особенностей испытуемого, а не от уровня развития тех умений и навыков, для оценки которых разрабатывается тест(кроме заданий, где необходима именно работа памяти). Как правило, это вопросы, которые выясняют оценки, мотивацию, мнения и т. д.

5. Абсурдность, нереальность вариантов ответов.

6. Появление двух и более правильных ответов, не оговоренное в условии.

7. Логические ошибки, вытекающие из несоответствия инструкции содержанию задания и содержанию ответов.

8. Нарушение правила подбора ответов по одному основанию (нарушение принципа однородности)

.9. Многословные формулировки задания и ответов, требующие слишком много времени на прочтение. Повторяющиеся формулировки.

10. Отрицательно сформулированные задания не сразу поддаются логическому анализу, тем более при дефиците времени.

11. Использование среди дистракторов вариантов «все ответы верные» или «все вышеперечисленное верно». При компьютерном тестировании варианты ответов при каждом предъявлении перемешиваются и «все вышеперечисленное верно» может попасть на первое место, т. е. выше него никаких вариантов нет. Недопустимо, чтобы ответ «все перечисленное верно» был верным ответом, так как, отмечая правильные ответы, испытуемый может начать отмечать по очереди все верные ответы, но они не входят в эталон, поэтому весь ответ на задание будет неверным.

12. В вопросах на установление соответствия используются не однородные объекты

13. Нарушено требование взаимно однозначного соответствия:

13. Отсутствие четкой инструкции в заданиях на установление последовательности. При этом задание искажается и превращается в нечто, похожее на выбор правильного ответа, например:

14. Наличие одинаковых элементов в списке для упорядочивания.

Литература:

1.  Аванесов, В. Определение педагогического теста.// Управление школой. – 1999.  № 29.

2.  Беспалько, В.П. Слагаемые педагогической технологии. – М.: Педагогика, 1989. – 190 с.:ил.

3.  Кузнецов А., Пугач В., другие. Тестовые задания. Информатика. Методическое пособие. М., Лаборатория Базовых знаний, 2002.

4. Майоров А.Н. Теория и практика создания тестов для системы образования. - М., "Интеллект центр", 2001. - 296 с.

5. Михайлычев, Е.А. Технология стандартизации дидактических тестов.// Школьные технологии. – 2001.  № 5. – С. 36 – 54.

6. Подласый И.П., профессор, доктор педагогических наук, Челябинского государственного педагогического университета,"Тестирование в учебном процессе: его история и возможности"

7. Челышкова М. Б. Теория и практика конструирования педагогических тестов. Уч. Пособие. — М.: Логос, 2002.

8. Орел Е., Прохоров А. Создание тестов и компьютерное тестирование. //Компьютер Пресс. - 2006 г. №7

9. Н.М. Опарина Г.Н. Полина

Р.М. Файзулин И.Г. Шрамкова  АДАПТИВНОЕ ТЕСТИРОВАНИЕ .Учебно-методическое пособие Хабаровск  Издательство ДВГУПС 2007

10. http://www.gumer.info/bibliotek_Buks/Pedagog/testing/index.phpПопытка физиологического обоснования поурочных тестов

 

Чему и как учить - вопрос, наверное, номер четыре по своему значению после трех хорошо известных: что делать? кто виноват? с чего начать?

Одни считают, что надо детей знакомить с разными предметами, постепенно усложняя материал по мере взросления. Это самый распространенный (классический) подход в обучении. Изредка раздаются призывы: "Не загружать детей фактами, а учить думать". Легко сказать, но как это сделать? Почти все люди думают, но почти все не знают, как это происходит. Слишком мало людей знакомо с физиологией высшей нервной деятельности, да и слишком плохо изучен наш головной мозг для ответа на такой вопрос

Так как же научить думать и возможно ли это? Может быть, в первую очередь надо ученика удивить? И он, удивленный, начнет задавать вопрос (себе или учителю): "Как же так получается?" Конечно, удивление удивлению рознь. . Можно удивить грязной обувью, а можно - тщательно подобранными необычными фактами или неожиданным поворотом мысли. Это можно рассматривать как главную задачу учителя, если ставить перед ним именно цель - научить детей размышлять. Это на первой половине урока. Но целый урок этому посвящать не стоит - дети быстро устают, после чего требуется переключить их мозг на другой режим работы. Вторую половину урока разумно посвящать самостоятельной работе. И если здесь тоже ставить цель научить думать, то могут пригодиться поурочные тесты к каждому параграфу учебника, которые вполне заменяют (или дополняют) ставшие давно привычными на каждом уроке задачи, например, по математике, физике или химии. Эти тесты тоже заставляют думать, размышлять, сомневаться, выбирая нужный ответ (или ответы) среди предложенных вариантов. К тому же оценка при их использовании получается, как правило, быстрее, так как многие задачи требуют значительного количества времени, а оценку желательно ставить быстро (все ведь любят, когда результат виден сразу, а не потом). И поурочные устные тесты здесь незаменимы, особенно при коллективном обучении. Поурочные тесты позволяют достаточно быстро и удобно тренировать способность думать. С их помощью при известном навыке за 10-20 минут можно поставить достаточно объективные оценки не 2-м или 3-м ученикам, как при обычном устном ответе (даже с места), а - 10-ти или 15-ти. И качество таких оценок выше, и количество их больше.Но это так называемый европейский подход к обучению. Известен и другой. Условно можно назвать его "азиатским". В соответствии с ним учеников, наоборот, учили "не думать". Их учили, полностью отключившись от внешних раздражителей, почувствовать(!) нужный ответ, результат или проблему. Методы отключения были различными: и химическое воздействие (например, реакция на запахи), и гипноз, и сосредоточение (медитация). Этот нерациональный, чувственный способ обучения связан с работой нашего правого полушария головного мозга. Именно оно способно к такому способу получения и обработки информации. Не об этом ли говорит тот факт, что у физиков, математиков встречается понятие красивой, изящной формулы, то есть верной, правильной. А объяснить, в чем заключается ее красота, они не могут. Часто говорят наоборот: "Чего-то в формуле не хватает, уродливая она" (значит, неправильная). По-видимому, у них работает в данном случае не только левое полушарие, но и правое.

Работа мозга по-прежнему остается большой Загадкой. Давно известно, что люди, у которых работает лучше правое полушарие (оно чаще включается), легко поддаются внушению (гипнозу) в отличие от тех, у которых левое полушарие является ведущим. Это значит, что мозг способен к получению информации и таким странным способом. А раз природа нам дала два "мозга" (правое полушарие и левое, которые работают по очереди), то, наверное, их надо тренировать в тех режимах, в которых им предназначено работать природой. И детей надо учить, особенно в раннем возрасте, как гуманитарным дисциплинам, так и техническим. И не спешить с ранней и модной сейчас специализацией, ожидая, когда оба полушария мозга потренируются и способности проявятся достаточно определенно. А способности стоит тренировать с помощью разнообразных тестов, предназначенных и для левого полушария (обычные тесты, требующие рассуждения и запоминания), и для правого ("эмоциональные" или "психологические"

И хотя современные системы "европейского" образования приспособлены только к левому полушарию (Р. Сперри, физиолог, нобелевский лауреат), для правого полушария тоже есть возможности "проявить себя". Даже привычные тесты позволяют это: опыт  показывает, что довольно часто ученики выбирают нужный ответ не потому, что знают или подумали, а потому, что, как они говорят, он им кажется "хорошим" или, наоборот, "плохим". Они все равно что-то чувствуют, даже когда просто пытаются угадать ответ. Вероятно, происходит неосознанный (чувственный) выбор, основанный на особенностях построения фразы. Играет роль даже такая мелочь, как различие в количестве слов в вариантах ответа. Ответ, отличающийся слишком малым или слишком большим количеством слов, кажется подозрительным. Другими словами, учится работать и правое полушарие тоже. А результаты обучения стоит оценивать опять с помощью тестов, только теперь с помощью зачетных, обобщающих (не поурочных, хотя и они годятся). Как гласит русская народная пословица, "кашу маслом не испортишь".

 

  1. 1. Из истории тестов

Сегодня тесты  активно используются в образовательном процессе. А задумывались ли вы над тем когда же появился первый тест? Как оказалось, история возникновения и использования тестирования как диагностического метода уходит в глубь веков. Есть сведения, что уже с III тысячелетия до н.э. в странах Древнего Востока использовались системы конкурсных испытаний интеллектуального характера, предназначенные для отбора персонала на правительственные должности. Однако всё вышеперечисленное нельзя назвать тестами в современном понимании этого термина.

Широкое развитие применение тестов в образовательном процессе получило за рубежом. В школьной практике тесты начали применяться Ф.Галтоном в 1892 году. В 1894 году впервые в школах появились тесты успешности (для проверки знаний, умений и навыков учащихся по отдельным учебным дисциплинам – первыми стали применяться тесты для проверки правописания). Американец В.А. Макколл разделил тесты на педагогические (Educational Test) и психологические (Intelligence Test) Макколл обосновал цель использования педагогических тестов – объединение в группы учащихся, усваивающих равный по объёму материал с одинаковой скоростью. Однако основоположником педагогических измерений считается американский психолог Э. Торндайк (1874—1949). Ему приписывают разработку первого педагогического теста.  В 1904 году вышла его книга «Введение в теорию психологии и социальных измерений».

Педагогика, развившаяся в России в начале века, безоговорочно приняла тестовую основу объективного школьного контроля. Первые научные труды по теории тестов появилась в начале ХХ века, на стыке психологии, социологии, педагогики и других так называемых поведенческих наук.

Распространение психолого-педагогической диагностики в России связано с возникновением в  20-е годы XX века новой науки – педологии, которую Л.С. Выготский определял как науку о целостном развитии ребенка

Однако, в последние годы мы наблюдаем активное внедрение тестов в образовательный процесс. И не смотря на недостатки, которые имеют место при использовании такой формы контроля и оценки знаний, тестирование занимает довольно прочную позицию.

1.1 Классификации тестов

Первое, на чем надо остановиться, рассматривая классификацию тестов – это два подхода, которые в настоящее время сложились в тестировании – тесты, ориентированные на критерий (критериально-ориентированные) и тесты, ориентированные на норму (нормативно-ориентированные). Появившись как разные подходы к анализу результатов тестирования, отражающие разные основания для сравнения, сейчас эти два подхода определяют разницу на большинстве этапов создания теста.

При критериально-ориентированной ориентации требуется несколько меньшее число заданий, посредством которых определяется – что испытуемый знает, а что не знает из заданного стандарта. Иначе говоря, здесь ответы оцениваются относительно не всей области требуемых заданий, а только из области, ограниченной конкретным стандартом или уровнем (критерием) знаний.

При нормативно-ориентированной интерпретации результатов задача определения точного объема и структуры освоенного учебного материала отступает на задний план. В тест отбирается такое минимально достаточное количество заданий, которое позволяет сравнительно точно определить, образно говоря, не «кто что знает», а «кто знает больше».

Каждый из перечисленных видов выполняет свою функцию, используется для достижения определенной цели.

 

1.2 Процедура разработки тестов

Для тестов учебных достижений существуют общие правила и этапы разработки.

В зависимости от тех целей, которые стоят перед разработчиками, процедура разработки тестов имеет некоторые особенности, однако перечень этапов создания тестового инструментария одинаков для всех видов тестов.

 

 

Нормативно-ориентированные

Критериально-ориентированные

1. Определение

целей тестирования

Оценка обучающегося относительно других испытуемых

Описание усвоенного или не усвоенного учебного материала. Оценка обучающегося относительно набора характеристик достаточного для

достижения результата

2. Определение ресурсных возможностей разработчиков (разница в необходимости привлечения разных специалистов)

Ориентация на статистические методы оценивания. Специалисты необходимы для статистической обработки результатов

Ориентация на экспертное оценивание, проведение работ по определению перечня и объема учебных задач, критерия достижения необходимого уровня подготовки. Специалисты для экспертизы учебного материала

3. Отбор содержания учебного материала

Может быть отобран широкий спектр материала

Отбирается материал, который касается ограниченной тематики

4. Конструирование технологической матрицы и ее экспертиза

Могут быть использованы сложные матрицы

Сложность матрицы ограничивается выбранным для оценки критерием

5. Составление тестовых заданий и их экспертиза

Требования к составу и качеству заданий существенно не различается. Определяются общими требованиями к тестовым заданиям

6. Построение выборки для апробации заданий и тестов

Более жесткие требования к объему и балансу выборки, определяемые требованиями расчета статистических норм

Более мягкие требования к объему и балансу выборки, определяемые требованиями отработки качества тестовых заданий

7. Компоновка заданий для апробации

Требования к компоновке заданий для апробации существенно не отличаются. Определяются способом предъявления

8. Апробация тестовых заданий

В том числе для определения трудности и дискриминативности

Для отработки содержания заданий

9. Определение и расчет показателей качества тестовых заданий

Существенно не отличаются

10. Отбраковка заданий и составление теста

Отбираются задания с максимальной дискриминативностью. Слишком простые и слишком сложные задания отбрасываются

Отбираются задания, максимально покрывающие обследуемую область критерия. Сложные и простые задания включаются в тест

11. Апробация теста

Существенно не отличаются

12. Определение и расчет показателей качества теста

Существенно не отличаются

13. Составление окончательного

варианта теста

Отличия определяются целями и особенностями разработанных технологических матриц

14. Стандартизация теста

Определяется уровнем использования теста

15. Нормирование теста

Статистические нормы, рассчитываемые для нормативной выборки, или определения места испытуемого относительно других испытуемых, принимавших участие в тестировании

Описание критерия достижения результата или описание тех учебных задач, с которыми учащийся должен справиться

16. Оснащение теста

Определяется уровнем использования теста

         

 

Тест, созданный для проверки знаний обучаемых после изученной темы, и тест для итоговой аттестации обучающихся должны отличаться.

В зависимости от возможной широты использования применяются разные схемы составления тестов.

Этапы составления тестов учебных достижений для тестов разного уровня применения

 

 

 

 

Уровень применения

 

Используется педагогом для профессиональных нужд

Используется для внутренних нужд учреждения

Используется для проведения вступительных экзаменов и с административными целями

Используется для итоговой аттестации обучающихся, самое широкое административное использование

1. Определение целей тестирования

да

да

да

да

2. Определение ресурсных возможностей разработчиков

 

желательно

да

да

3. Отбор содержания учебного материала

да

да

да

да

4. Конструирование технологической матрицы

желательно

да

да

да

5. Составление

тестовых заданий

да

да

да

да

6. Построение выборки для апробации заданий и тестов

 

да

да

да

7. Компоновка заданий для апробации

да

да

да

да

8.

Апробация тестовых заданий

да

да

да

да

9. Определение и расчет показателей качества тестовых заданий

желательно

желательно

да

да

10. Отбраковка заданий и составление теста

да

да

да

да

11. Апробация теста

желательно

желательно

да

да

12. Определение и расчет показателей качества теста

 

 

да

да

13. Составление окончательного варианта теста

да

да

да

да

14. Стандартизация теста

 

да

да

да

15. Нормирование теста

 

 

 

да

16. Оснащение теста

 

желательно

да

да

 

1.3 Фактор времени в тестировании

При создании тестов учебных достижений одним из фундаментальных по значимости факторов является время.

Время является фактором, который определяет качество всего инструментария и качество получаемых в процессе тестирования результатов.

Каждый тест должен иметь оптимальное время тестирования. Уменьшение или превышение оптимального времени снижает качественные показатели теста.

Почему время, выделяемое на выполнение тестовой работы, должно быть ограничено? Создатели тестов стремятся включить в тест как можно больше тестовых заданий. Такое положение диктуется двумя обстоятельствами – чем больше количество заданий, тем более надежным будет создаваемый тест и тем больший объем информации мы можем получить.

С другой стороны, чем больше количество заданий, тем более продолжительной становится процедура тестирования.

Проектируя и разрабатывая тесты, необходимо стремиться к тому, чтобы мотивация обучающихся была устойчивой и положительной, а работа – максимально разнообразной.

Мы можем оказать влияние на снижение порога утомления, предусмотрев максимальное разнообразие выполняемой деятельности. Общее правило – сделать работу максимально разнообразной. И здесь есть две возможности, – во-первых, тест должен содержать задания, максимально разнообразные по форме. Во-вторых, сами задания должны быть максимально разнообразными по видам деятельности и невербальной поддержке.

Какие негативные последствия имеет нарушение оптимальности времени тестирования?

Время тестирования должно быть все-таки достаточно коротким для того, чтобы не провоцировать студентов на угадывание.

. В процессе апробации реальные сроки должны быть уточнены. Для апробации следует брать некоторый запас тестовых заданий и соответственно времени. Запас заданий должен обеспечить необходимое количество заданий взамен тех, что будут отбракованы, а запас времени позволит оценить верхнюю границу приемлемого времени выполнения.

Для тестов учебных достижений в отличие от других видов тестов чрезвычайно важным является зависимость результатов тестирования от календарного времени предъявления. Очевидно, что сравнение результатов тестирования, полученных с использованием одного и того же инструмента в январе и мае месяце, будет некорректно.

Срок в неделю после изучения темы не дает заметных смещений в результатах выполнения теста. Однако, срок в неделю после окончания семестра (каникулярный период) уже дает такие смещения.

Поэтому сроки тестирования должны быть оптимальны в зависимости от целей тестирования и отражаться в календарных планах и рабочих программах преподавателей.

1.4. Состав и характеристика тестовых заданий

С точки зрения разработчика минимальные требования к составу тестового задания состоят в наличии трех частей:

1. Инструкции.

2. Текста задания (вопроса).

3. Правильного ответа.

Инструкция должна содержать указания на то, что испытуемый должен сделать, каким образом выполнять задание. Это может быть фраза «Выбрать правильный ответ», «наиболее правильный ответ», «все правильные ответы», «хотя бы один правильный ответ» и др. Инструкция должна быть составлена так, чтобы задание и способ его выполнения были абсолютно ясны любому из испытуемых и не приводили к ошибкам.

Для разработчиков тестовых заданий подготовка инструкции для испытуемых в каждом задании является необходимой, поскольку это позволяет взглянуть на задание с точки зрения испытуемого.

Текст задания или вопроса представляет собой содержательное наполнение задания.

Ограничения ответа: вопрос должен быть высокого качества, чтобы предотвратить нежелательные интерпретации испытуемых, используя ограничения, такие как: «По мнению автора...» или «Вычислите до 2-х десятичных знаков».

Правильный ответ (эталон) или оценочная схема – обязательный атрибут любого тестового задания – без него задание теряет смысл, поскольку не может быть точно проанализировано и оценено.

 

Основное требование к тестовым заданиям – тестовое задание должно иметь однозначный правильный ответ. Понятие однозначности ответа трактуется не столько как требование единственности ответа, но обязательное наличие предполагаемого образца.

Ясная схема оценки должна обеспечить пользователя тестом аппаратом оценивания именно в рамках заложенной в тест оценки разработчика. Многие вопросы толкования могут быть сняты при разработке ясной и недвусмысленной схемы оценивания, которая содержит наиболее возможные варианты ответов, которые можно принять к рассмотрению и оценить как зачетные. Схема оценивания должна полностью соответствовать конкретному вопросу. Все формулировки ожидаемых ответов должны быть предельно ясными и недвусмысленными.

1.5. Проблемы составления тестовых заданий

Многие авторы настаивают на том, что тестовые задания должны создаваться в форме утверждений, введя в требования к тестовым заданиям логическую форму высказывания. Это связано, во-первых, со словесным составом задания в тестовой форме: смысл тестового утверждения улавливается всегда лучше, чем смысл вопроса, поскольку, в тестовых утверждениях нет ни одного лишнего слова и даже знака, в то время как вопрос требует ряда дополнительных слов и знаков для выражения требуемого смысла, значения и интонации.

Однако хорошо сформулированное задание в вопросительной форме ничем не уступает хорошо сформулированному вопросу в форме утверждения.. Мало того, в рекомендациях по составлению тестовых заданий Голландского института CITO дается такая рекомендация: «Используйте прямые вопросы. Предпочтительнее применять прямые вопросы, представляющие собой полное предложение с вопросительным знаком в конце». Кроме того, анализ заданий, используемых при аттестации обучающихся, показывает, что преимущественной формой заданий (более 90 процентов) является прямой вопрос. Выбор способа формулировки тестового задания, в форме утверждения или в форме вопроса должен определяться двумя обстоятельствами: во-первых, необходимо выбирать ту форму, которая будет максимально понятна для испытуемых, и, во-вторых, одна из форм заданий требует непременного формулирования вопроса в форме утверждения — это задания альтернативных ответов, поскольку они требуют ответа да или нет, которые лучше подходят к утверждениям.

2. Виды и типы тестовых заданий

В современных компьютерных адаптивных системах тестирования (например АСТ) наиболее часто используются 4 вида тестовых заданий.

1. Открытого типа.

2. Закрытого типа.

3. Задания на установление соответствия.

4. Задания на установление последовательности.

2.1. Задания открытого типа

К заданиям открытого типа относятся два вида – задания дополнения и задания свободного изложения. Отличительной особенностью заданий свободного изложения является то, что для их выполнения испытуемому необходимо самому записать одно или несколько слов (цифр, букв; возможно словосочетаний или даже предложений). Они предполагают свободные ответы испытуемых по сути задания. На ответы не накладываются ограничения. Однако формулировки заданий должны обеспечивать наличие только одного правильного ответа. Чаще всего задания со свободным изложением ответа используют в психологических, социологических тестах, а так же тестах интеллекта.

При компьютерном тестировании с целью определения уровня учебных достижений наличие эталонных вариантов ответов обязательно, более того – надо отметить особенность компьютерного тестирования – вводимый ответ испытуемого сравнивается с эталоном посимвольно, т. е. при наличии нескольких вариантов правильных ответов, синонимов и т. п. в эталонных ответах указываются все варианты.

2.2. Задания закрытого типа

К заданиям закрытого типа относятся задания нескольких видов: альтернативных ответов (АО), множественного выбора. Тестовые задания закрытого типа – предусматривают различные варианты ответа на поставленный вопрос: из ряда предлагаемых выбираются один или несколько правильных ответов, выбираются правильные (или неправильные) элементы списка и др. Это задания с предписанными ответами, что предполагает наличие ряда предварительно разработанных вариантов ответа на заданный вопрос. Неправильный, но правдоподобный ответ в американской тестовой литературе называется словом дистрактор, от английского глагола to distract – отвлекать.

Если к заданиям задаются готовые ответы на выбор (обычно один правильный, а остальные неправильные), то это задания с выбором одного правильного ответа. Логической основой этой формы является закон исключения третьего, впервые сформулированный Аристотелем. Выбор правильного ответа дает истинное суждение, а выбор неправильного – ложное суждение. Третьего не дано. Из этого закона следует методическое правило: в каждом задании с выбором одного правильного ответа последний должен быть, что придает однозначность замыслу самого задания и не допускает противоречивых толкований у испытуемых. Следование закону исключения третьего налагает логический запрет на применение таких ответов, как «правильного ответа нет», «все ответы правильные» или «все ответы неправильные», которые в практике еще встречаются.

2.3. Задания альтернативных ответов

В содержании всех учебных дисциплин имеется много таких элементов знаний, которые называются дихотомическими. Это знания, которые позволяют разделить мир надвое: определить правильность или неправильность фактов, методов, процессов; знания о том, что хорошо, что плохо, что можно, а чего нельзя делать ни при каких обстоятельствах. Для проверки именно таких знаний применяются задания в тестовой форме с двумя ответами.

К каждой задаче альтернативных ответов дается только два варианта ответов. Испытуемый должен выбрать один из них – «да – нет», «правильно – неправильно» и пр.

2.4. Задания множественного выбора

Задачи с множественным выбором предполагают наличие вариативности в выборе. Испытуемый должен выбрать один из предложенных вариантов, среди которых чаще всего только один правильный.

Обычный вопрос состоит из введения, самого вопроса и ряда альтернатив, каждая из которых представляет собой ответ на вопрос. Обычно трудно найти более 4 интересных и оригинальных альтернатив и к тому же на их чтение уйдет больше времени экзаменуемого. Вероятно, минимальное количество возможных альтернатив – это 3, максимальное количество альтернатив будет зависеть от объема теста. В том случае, если это цифровые выражения, то 5-6 вариантов не могут оказаться слишком длинными для чтения. Оптимальной можно считать 5 альтернативных ответов, при этом необходимо учитывать, что не всегда это возможно.

2.5. Задания с выбором нескольких правильных ответов

Кроме заданий, где имеется только один правильный ответ, а остальные – неправильные, есть и такие задания, в которых нужно выбрать несколько правильных ответов из числа предложенных. Особенность заданий с выбором нескольких правильных ответов является то, что испытуемому надо не только найти правильные ответы, но и определить полноту своего ответа. Следовательно, эти задания по форме труднее, чем задания с выбором одного правильного ответа.

2. 6. Задания на восстановление соответствия

В заданиях соответствия (восстановления соответствия) необходимо найти соответствие (или приравнять части, элементы, понятия) – между элементами двух списков (множеств).

Эта форма заданий достаточно разнообразна и может быть с успехом использована по всем учебным предметам и предметным областям. Практически в каждом предмете существует широкая возможность их использования. Задачи соответствия требуют подбора подходящего ответа.

2.7. Задания на восстановление последовательности

Задания на восстановление последовательности можно рассматривать как вариант задания на восстановление соответствия, когда одним из рядов является время, расстояние или иной континуальный конструкт, который подразумевается в виде ряда. Поскольку эта форма заданий требует особой инструкции, мы выделили ее в отдельный подраздел.

Задания на восстановление последовательности незаслуженно редко используются в тестах. На самом деле это очень качественная форма тестовых заданий, обладающая значительными преимуществами: краткостью и простотой проверки. Оно подходит для любого предмета, там, где присутствует алгоритмическая деятельность или временные события.

2.8. Задания исключения лишнего

Широко используемыми и результативными формами заданий являются задания типа исключения лишнего.

2.9. Задания на нахождение аналогии

Общий вид задания аналогии может быть представлен следующим образом: А так относится к В, как С относится к ..?

По форме это может быть задание как открытого типа – задания дополнения, так и закрытого. В случае применения открытой формы испытуемому предлагается самостоятельно вписать в предназначенное для этого места слово – ответ. В случае если применяется закрытая форма вопроса, то для испытуемого предлагается на выбор несколько вариантов ответов, так же как и в заданиях множественного выбора.

Инструкции для этих заданий зависят от того, какие ответы (закрытые или открытые) предусматриваются.

Аналогия – тип заданий, обычно присутствующий во всех тестах интеллекта. Он особенно может быть полезен потому, что, во-первых, легко изменять уровень сложности таких заданий (это касается самих отношений аналогии, а не сложности соотносимых объектов), что делает задания под­ходящими для всех возрастных групп и уровней развития. Во-вторых, практически нет ограничений, относящихся к материалу заданий, использующих принцип аналогии. Это означает, что аналогия подходит для тестов, измеряющих как gc, так и gf.

3. Правила составления тестовых заданий

Тестовые задания должны быть составлены с учетом определенных правил.

1. Начинайте формулировать вопрос с правильного ответа, этим Вы сведете к минимуму возможность столкнуться с часто встречающимися проблемами.

2. Содержание задания должно отвечать требованиям стандарта дисциплины и отражать содержание обучения.

3. Вопрос должен содержать одну законченную мысль.

Тестовое задание должно проверять один элемент знания. В том случае если это не так, то для преподавателя становится неясным, с каким элементом знаний обучаемый не справляется, в чем заключена причина невыполнения задания.

4. При составлении вопросов следует особенно внимательно использовать слова «иногда», «часто», «всегда», «все», «никогда».

5. Вопрос должен быть четко сформулирован, избегая слова «большой», «небольшой», «малый», «много», «мало», «меньше», «больше» и т. д.

6. Избегайте вводных фраз или предложений, имеющих мало связи с основной мыслью, не следует прибегать к пространным утверждениям, так как они приводят к правильному ответу, даже если обучающийся его не знает.

Предоставляйте только очень важную информацию, стараясь избегать материала, требующего дальнейших уточнений, а также детализированных или излишних описаний ситуаций или случаев.

7. Неправильные ответы должны быть разумны, умело подобраны, не должно быть явных неточностей, подсказок.

8. Не следует задавать вопросы с подвохом (скорее всего, в заблуждение будут введены наиболее способные или осведомленные обучающиеся, которые знают достаточно для того, чтобы попасться в ловушку, а также это противоречит цели – определение уровня знаний и понимания).

9. Все варианты ответов должны быть грамматически согласованы с основной частью задания; в любом случае следует использовать короткие, простые предложения, без зависимых или независимых оборотов.

10. Как можно реже использовать отрицание в основной части.

Отрицания имеют тенденцию усложнять сообщение, особенно двойные отрицания, которые аннулируют друг друга.

11. Правильные и неправильные ответы должны быть однозначны по содержанию, структуре и общему количеству слов; применяйте правдоподобные ошибочные варианты, взятые из опыта.

12. Не используйте варианты ответов «ни один из перечисленных» и «все перечисленные».

13. Убедитесь, что различия между вариантами ответов точны.

Чем больше варианты ответа походят друг на друга, тем труднее распознать правильный ответ и тем лучше тестируется умение понимать, например, прочитанный текст. Но когда различия не очень четки, то может случиться так, что тестируемый, зная правильный ответ, выберет правдоподобный.

14. Избегайте повторения в вариантах ответов.

15. Используйте ограничения в самом вопросе для того, чтобы снять неопределенность, которая может возникнуть при вводе ответа.

16. Не упрощайте вопросы.

17. Лучше использовать длинный вопрос и короткий ответ. В противоположной ситуации на прочтение ответов уходит больше времени и больше сил тратится на анализ высказываний.

18. Проанализируйте задания с точки зрения возможности неверного ответа наиболее подготовленных испытуемых.

4. Апробация тестовых заданий

После проведения экспертизы тестовых заданий, их доработки, с учетом результатов экспертизы можно перейти к следующему этапу разработки теста: необходимо упорядочить задания и провести апробацию тестовых заданий (другие названия: пробное тестирование, предварительное тестирование, испытание, эмпирическая проверка и т. п.).

При предварительном объединении заданий в тест следует сделать следующее.

1. Проверьте содержание и формулировку задач во взаимосвязи друг с другом.

2. При апробации теста следует включить в инструкцию пункт о том, что если испытуемому не удается справиться с заданием, его необходимо пропустить.

3. Не комплектуйте вместе такое количество заданий, что среднему испытуемому для их выполнения потребуется более часа. Примерно столько длится период сосредоточения у испытуемых.

4. Проверьте выполнение требований к пространственному и шрифтовому оформлению тестовых заданий.

5. Важные части инструкции, должны быть подчеркнуты или выделены особым шрифтом.

6. Подготовьте инструкции для испытуемых, инструкции для ведущих, инструкции по апробации тестовых заданий.

Целей апробации тестовых заданий (напомним, что в данном случае речь идет об апробации тестовых заданий, а не теста целиком) может быть несколько.

1. Определение трудности заданий с целью оценки его годности для испытуемых.

2. Определение тех заданий, в которых есть существенные недостатки.

3. Выявление случайных ошибок (опечаток, недостатков орфографии и пунктуации и т. д.).

4. Определение времени, необходимого на решения задания или всего теста целиком.

5. Анализ ответов на открытые вопросы с целью возможного уточнения формулировки правильных ответов или оценочной схемы.

6. Выявление недостатков в инструкциях.

5. Типичные ошибки при разработке тестовых заданий

1. Излишняя сложность, запутанность формулировки.

2. Неоднозначность условия.

3. Очевидность решения

4. Зависимость результата от памяти или от других индивидуальных особенностей испытуемого, а не от уровня развития тех умений и навыков, для оценки которых разрабатывается тест(кроме заданий, где необходима именно работа памяти). Как правило, это вопросы, которые выясняют оценки, мотивацию, мнения и т. д.

5. Абсурдность, нереальность вариантов ответов.

6. Появление двух и более правильных ответов, не оговоренное в условии.

7. Логические ошибки, вытекающие из несоответствия инструкции содержанию задания и содержанию ответов.

8. Нарушение правила подбора ответов по одному основанию (нарушение принципа однородности)

.9. Многословные формулировки задания и ответов, требующие слишком много времени на прочтение. Повторяющиеся формулировки.

10. Отрицательно сформулированные задания не сразу поддаются логическому анализу, тем более при дефиците времени.

11. Использование среди дистракторов вариантов «все ответы верные» или «все вышеперечисленное верно». При компьютерном тестировании варианты ответов при каждом предъявлении перемешиваются и «все вышеперечисленное верно» может попасть на первое место, т. е. выше него никаких вариантов нет. Недопустимо, чтобы ответ «все перечисленное верно» был верным ответом, так как, отмечая правильные ответы, испытуемый может начать отмечать по очереди все верные ответы, но они не входят в эталон, поэтому весь ответ на задание будет неверным.

12. В вопросах на установление соответствия используются не однородные объекты

13. Нарушено требование взаимно однозначного соответствия:

13. Отсутствие четкой инструкции в заданиях на установление последовательности. При этом задание искажается и превращается в нечто, похожее на выбор правильного ответа, например:

14. Наличие одинаковых элементов в списке для упорядочивания.

Литература:

1.  Аванесов, В. Определение педагогического теста.// Управление школой. – 1999.  № 29.

2.  Беспалько, В.П. Слагаемые педагогической технологии. – М.: Педагогика, 1989. – 190 с.:ил.

3.  Кузнецов А., Пугач В., другие. Тестовые задания. Информатика. Методическое пособие. М., Лаборатория Базовых знаний, 2002.

4. Майоров А.Н. Теория и практика создания тестов для системы образования. - М., "Интеллект центр", 2001. - 296 с.

5. Михайлычев, Е.А. Технология стандартизации дидактических тестов.// Школьные технологии. – 2001.  № 5. – С. 36 – 54.

6. Подласый И.П., профессор, доктор педагогических наук, Челябинского государственного педагогического университета,"Тестирование в учебном процессе: его история и возможности"

7. Челышкова М. Б. Теория и практика конструирования педагогических тестов. Уч. Пособие. — М.: Логос, 2002.

8. Орел Е., Прохоров А. Создание тестов и компьютерное тестирование. //Компьютер Пресс. - 2006 г. №7

9. Н.М. Опарина Г.Н. Полина

Р.М. Файзулин И.Г. Шрамкова  АДАПТИВНОЕ ТЕСТИРОВАНИЕ .Учебно-методическое пособие Хабаровск  Издательство ДВГУПС 2007

10. http://www.gumer.info/bibliotek_Buks/Pedagog/testing/index.php

Joomla SEF URLs by Artio