Адаптивное тестирование  →  2. Виды и типы тестовых заданий

2.1. Задания открытого типа

К заданиям открытого типа относятся два вида – задания дополнения и задания свободного изложения. Отличительной особенностью заданий свободного изложения является то, что для их выполнения испытуемому необходимо самому записать одно или несколько слов (цифр, букв; возможно словосочетаний или даже предложений). Они предполагают свободные ответы испытуемых по сути задания. На ответы не накладываются ограничения. Однако формулировки заданий должны обеспечивать наличие только одного правильного ответа. Чаще всего задания со свободным изложением ответа используют в психологических, социологических тестах, а так же тестах интеллекта.

При компьютерном тестировании с целью определения уровня учебных достижений наличие эталонных вариантов ответов обязательно, более того – надо отметить особенность компьютерного тестирования – вводимый ответ испытуемого сравнивается с эталоном посимвольно, т. е. при наличии нескольких вариантов правильных ответов, синонимов и т. п. в эталонных ответах указываются все варианты.

Главной трудностью при составлении заданий открытого типа является соблюдение основного требования к тестовым заданиям – наличия однозначного правильного ответа. Существует несколько приемов, которые позволяют формализовать ответ, сделать его однозначным.

Положительными сторонами хорошо составленных заданий дополнения являются:

1. краткость и однозначность ответов;
2. необходимость воспроизведения ответа по памяти;
3. отсутствие необходимости искать несколько вариантов ответа;
4. простота формулировки вопросов;
5. простота проверки;
6. невозможность угадать ответ.

Основное преимущество этих заданий – невозможность угадать ответ, а основной недостаток – сложность формализации правильного ответа. Тем не менее, для задач на вычисление, задач с формулами в качестве ответа эта форма представляется оптимальной.

После дополнения задания особым образом получается истинное или ложное высказывание, например:

(1). АВТОРОМ ТЕОРИИ ОТНОСИТЕЛЬНОСТИ СЧИТАЕТСЯ ____
(2). ПОЛОЖИТЕЛЬНЫЙ ЗАРЯД ЯДРА ОПРЕДЕЛЯЕТСЯ ЧИСЛОМ____
(3). УРАВНЕНИЕ БЕРНУЛЛИ ДЛЯ ПРОСТОЙ СИСТЕМЫ ИМЕЕТ ВИД____

К тем принципам, которые уже известны, следует добавить несколько общих логических принципов, характерных не только для заданий открытой формы, но и других.

1. Принцип логической определенности содержания задания. Смысл его можно определить так: задание является логически определенным, если оно способно продуцировать у знающих учащихся правильный ответ и если содержание и форма задания помогают организовать мыслительный процесс нахождения такого ответа.

Нарушением принципа логической определенности являются примеры:

(4). ДОГОВОР АРЕНДЫ ЯВЛЯЕТСЯ_______ (ответ – «взаимным»)

Первая мысль (а зачастую и единственная) о том, ЧЕМ является договор аренды, а не КАКИМ.

(5). ВЗАИМНЫЕ ОБЯЗАТЕЛЬСТВА ПО ДОГОВОРУ ДОЛЖНЫ ИСПОЛНЯТЬСЯ ___(ответ – «одновременно») Испытуемый может не понять, на какой вопрос отвечать: исполняться КЕМ или исполняться КАК.
(6). ПЕРВАЯ СОЦИАЛ-ДЕМОКРАТИЧЕСКАЯ ПАРТИЯ БЫЛА СОЗДАНА В _____. (Где или когда?)

Между тем, любое задание должно пониматься с первого прочтения.

2. Вариативность (фасетность) содержания задания. ФАСЕТ – это форма записи нескольких вариантов одного и того же задания. Применение фасета позволяет в процессе контроля исключить списывание и другие искажения, известные из опыта проведения экзаменов, зачетов и др. традиционных форм проверки знаний. Идея фасета ассоциируется с известной практикой создания нескольких вариантов одинаково трудных заданий для проведения контрольных работ. Принцип фасетности является главным при композиции профессионально разрабатываемых тестовых заданий; он позволяет создавать сразу несколько вариантов одного и того же задания, а, следовательно, вариантов теста.

(7). СВЯЩЕННАЯ КНИГА {христиан, иудеев, кришнаитов, буддистов, мусульман,…} НАЗЫВАЕТСЯ _______.
Использование фасета может быть в символьном виде:
(8). ТОК СИЛОЙ {I}, ПРОХОДЯ ПО ПРОВОДНИКУ {R} ЗА ВРЕМЯ {t} СЕКУНД ВЫДЕЛЯЕТ ____ ДЖОУЛЕЙ ТЕПЛА.

В этом задании имеется 3 символьных фасета, позволяющих в машинном варианте подставить любые комбинации допустимых значений силы тока, сопротивления и времени для проверки умения применять закон Джоуля-Ленца. Такие же фасеты можно сделать для проверки знаний всех физических законов и умений их применять для выполнения лабораторных и практических работ.

3. Принцип параллельности включает в себя 3 понятия, связанных между собой отношением кумулятивности:

• параллельность заданий (или вариантов заданий) по содержанию;
• параллельность по содержанию и форме;
• параллельность по содержанию, форме и по трудности заданий.

Параллельность заданий по содержанию достигается использованием принципа фасетности и применением 4 принципа – обратимости.

4. Принцип обратимости. На примере:

(9). ОПЕРАЦИЯ НАХОЖДЕНИЯ ПРОИЗВОДНОЙ ФУНКЦИИ НАЗЫВАЕТСЯ_____
Обратное:
(10). ДИФФЕРЕНЦИРОВАНИЕМ НАЗЫВАЕТСЯ ОПЕРАЦИЯ НАХОЖДЕНИЯ_____
Еще примеры:
(11). ДИФФЕРЕНЦИАЛОМ ФУНКЦИИ НАЗЫВАЮТ ПРОИЗВЕДЕНИЕ _____ ФУНКЦИИ НА ПРИРАЩЕНИЕ АРГУМЕНТА.
Обратное:
(12). ПРОИЗВЕДЕНИЕ ПРОИЗВОДНОЙ ФУНКЦИИ НА ПРИРАЩЕНИЕ АРГУМЕНТА НАЗЫВАЕТСЯ _____ ФУНКЦИИ.

Задания, построенные по принципу обратимости, можно использовать в текущем и итоговом контроле знаний.

При применении обратимых заданий возникает вопрос выбора лучшего варианта для итогового тестирования. При осуществлении такого выбора полезно обсудить педагогические и психологические соображения и аргументы, опробовать все варианты на параллельных выборках и только после этого выбирается то задание, которое в большей степени обладает свойствами тестового задания для данного теста.

Если обратимые утверждения находятся в одном тесте, нередко возникает тавтология:

(13). ОПЕРАЦИЯ НАХОЖДЕНИЯ ПЕРВООБРАЗНОЙ НАЗЫВАЕТСЯ _____
(14). ИНТЕГРИРОВАНИЕМ НАЗЫВАЕТСЯ ОПЕРАЦИЯ НАХОЖДЕНИЯ_____
Если испытуемые хотя бы немного ориентируются в учебном материале, то в случае тавтологии ответ для одного задания они найдут из содержания другого.
Этого можно избежать, если представить одно из заданий в другой форме, сохраняя в неприкосновенности его содержание. Например:
(15). ЯДРА, ИМЕЮЩИЕ РАЗНОЕ ЧИСЛО НЕЙТРОНОВ ОТНОСЯТСЯ К____
(16). К ИЗОТОПАМ ОТНОСЯТСЯ ЯДРА, ИМЕЮЩИЕ РАЗНОЕ ЧИСЛО_____
Одно из этих заданий можно заменить:
(17). К ИЗОТОПАМ ОТНОСЯТСЯ ЯДРА, ИМЕЮЩИЕ ЧИСЛО НЕЙТРОНОВ
– разное
– одинаковое

Таким образом, из одного задания получилось 3 параллельных по содержанию и форме.

Еще примеры:

(18). К. МАРКС РОДИЛСЯ В ГОРОДЕ_______
(19). К. МАРКС РОДИЛСЯ В ГОРОДЕ
– Трир
– Хемниц
– Берлин
– Мюнхен
– Карлмарксштадт

Или:

(20). ВОЛГА ВПАДАЕТ В _____ МОРЕ
(21). ВОЛГА ВПАДАЕТ В … МОРЕ
– Каспийское
– Балтийское
– Черное
– Азовское
– Белое

Если есть необходимость проверить несколько подобных фактов, то лучше использовать задание на установление соответствия (например, перечислив несколько рек – Волга, Нева, Днепр и задав другое множество – перечень морей и т. п.)

(22). СОСТАВИТЬ ПРАВИЛЬНЫЕ ПАРЫ

До настоящего момента все элементы фасетных заданий рассматривались как одинаковые по трудности для испытуемых. Между тем, варианты заданий, параллельные по содержанию и по форме, нередко оказываются неравными по трудности. Легко предсказать неравную трудность тех заданий, содержание которых по каким-то причинам учащиеся не усвоили, или усвоили недостаточно. Параллельность заданий по содержанию обеспечивается использованием принципа фасетности и обратимости.

Параллельность заданий по содержанию и форме возникает при использовании принципов фасетности, обратимости, плюс применение разных форм заданий, имеющих одинаковое содержание.

И, наконец, параллельность заданий по содержанию, форме и по трудности обеспечивается в случаях, когда к перечисленному добавляется одинаковая трудность заданий.

Некоторые педагоги считают задания открытой формы лучше заданий с выбором одного ответа из нескольких, но это мнение спорно. Например:

(23).ФАЛЕС – ЭТО ПЕРВЫЙ ... ФИЛОСОФ.

Правильные варианты ответа: греческий.

Не каждый испытуемый, глядя на этот вариант задания, сообразит, что от него требуется. Для этого вначале нужно уяснить смысл задания – о каком свойстве идет речь, на какой вопрос требуется ответить. (Ведь это предложение и без вставленного ответа уже имеет смысл). В такой ситуации лучше задание с выбором:

(24). ФАЛЕС – ЭТО ПЕРВЫЙ ... ФИЛОСОФ.
– греческий
– римский
– арабский
– египетский

Из двух заданий открытой и закрытой формы, выясняющих одно и то же, лучшей, в данном случае, является закрытая форма.
Сравните различные формулировки двух открытых вопросов – они выясняют разные свойства одного явления, но совместное их употребление в одном тесте будет тавталогией:

(25). ПЕРВЫМ ГРЕЧЕСКИМ ФИЛОСОФОМ СЧИТАЕТСЯ ...

Правильные варианты ответа: Фалес.

Какой бы из этих открытых вопросов не встретился первым, ответ на второй вопрос будет ясен, причем, правильным или неправильным будут оба ответа.

6. Краткость. Точность и легкость понимания растут по мере уменьшения словесного состава фразы и увеличения ее бессловесной подпочвы. Чем меньше слов, тем меньше недоразумений. Зачастую из вопроса опускаются слова «называется», «является» и т. п., что не затрудняет понимания.

7. Принцип неотрицательности. В основе задания не рекомендуется использование отрицательных частиц, а также определение понятия через перечисление элементов, не входящих в него. Характерные примеры приводит В.С. Аванесов:

(26). БАНКИ НЕ СТАВЯТСЯ НА _______. (позвоночник) Однако банки не ставятся не только на позвоночник, но и на многие другие части тела.
(27). ТОЧКОЙ НАЗЫВАЕТСЯ ТО, ЧТО НЕ ИМЕЕТ _____. По определению Евклида «Точкой называется то, что не имеет частей».

В этом задании нарушено логическое правило: определение не должно быть отрицательным. Испытуемые будут правы, если напишут, что точка не имеет длины, ширины, высоты, веса, запаха, вкуса и много чего еще.

Иногда в задании открытой формы используется пропуск двух и более слов (или символов). При этом возможность правильно ответить уменьшается, например:

(28). УСКОРЕНИЕ ПРЯМО ПРОПОЦИОНАЛЬНО ____ , И ОБРАТНО ПРОПОРЦИОНАЛЬНО ______ ДАННОГО ТЕЛА.
(29). СИЛЫ, С КОТОРЫМИ ВЗАИМОДЕЙСТВУЮТ ДВА ТЕЛА, РАВНЫ ПО____ И ПРОТИВОПОЛОЖНЫ ПО____.
(30). ВИРУСЫ БЫЛИ ОТКРЫТЫ УЧЕНЫМ ____ В _____ ГОДУ.

Здесь возможны 4 случая:

1. правильно дополняются фамилия и дата;
2. правильно – фамилия, неправильно – дата;
3. неправильно фамилия, правильно – дата;
4. неправильно и фамилия и дата.

Как видно – три из четырех вариантов при тестировании будут считаться неверными, т. е. у тестируемого больше возможности ошибиться, чем ответить правильно. Таким образом, встает вопрос о допустимости и целесообразности большого числа пропусков в заданиях открытого типа. Кроме того, при компьютерном тестировании в такой ситуации обязательна инструкция, так как поле для ввода ответа представляет собой строку, поэтому следует указать, как вносить эти два значения – через запятую, пробел, точку с запятой и т. п., ведь ответ воспринимается как единый объект и сверяется с эталоном посимвольно.

Если дополняемые слова следуют одно за другим, то смысл задания уловить еще труднее:

(31). КАНТ РАССМАТРИВАЛ ОСНОВНУЮ ЗАДАЧУ ФИЛОСОФСКОГО ПОЗНАНИЯ В ____ _____ ЧЕЛОВЕЧЕСКИХ ЗНАНИЙ.

Проникнуть в смысл этого задания с двумя пропусками трудно не только среднему студенту, но даже философски подготовленному читателю. Затруднения в понимании задания о человеческих знаниях вызваны пропуском подряд двух слов «синтезе разнообразных».

(32). ПРИ МОНТАЖЕ СБОРНЫХ ВЕНТИЛЯЦИОННЫХ БЛОКОВ СЛЕДУЕТ ДОБИВАТЬСЯ СОВМЕЩЕНИЯ КАНАЛОВ И ..........

Автор предлагает правильные варианты ответа: «заполнения горизонтальных швов раствором»; «заполнения швов раствором». Вероятность ошибок при таком длинном ответе возрастает во много раз, так как существует много синонимов и перестановок слов, которые будут фактически правильными, но их трудно предусмотреть в качестве эталонов.

5. Принцип логической соразмерности объема определяющего понятия объему определяемого.

(33). ЧЕТЫРЕХУГОЛЬНИК, У КОТОРОГО ВСЕ СТОРОНЫ РАВНЫ, НАЗЫВАЕТСЯ______ (ромб).
(34). ПРЯМОУГОЛЬНИК, У КОТОРОГО ВСЕ СТОРОНЫ РАВНЫ, НАЗЫВАЕТСЯ______ (квадрат).

Если на первое задание дается ответ «квадрат», то этим допускается ошибка несоразмерности: объем определяющего – четырехугольника – больше объема определяемого – квадрата.

Для сравнения приведем пример вопроса закрытой формы:

(35). СРЕДИ ПЕРЕЧИСЛЕННЫХ ЧЕТЫРЕХУГОЛЬНИКОВ ВСЕ РАВНЫЕ СТОРОНЫ ИМЕЮТ– квадрат
– ромб
– прямоугольник
– трапеция
– параллелограмм

В данном случае закрытая форма вопроса несет меньше информации, чем вопросы открытой формы, в которых кроме равенства сторон подразумевается знание взаимосвязей между группами элементов.

Характерная особенность содержания заданий открытой формы в том, что они иногда порождают несколько правильных, но логически несоразмерных ответов, что нежелательно с точки зрения однозначной оценки и технологичности контроля.

(36). ПЕРВЫМ КОСМОНАВТОМ БЫЛ _____

Автор ожидал ответ «Гагарин», но наряду с этим от некоторых испытуемых получил ответы «русский человек», «мужчина», «советский гражданин» и другие, которые с разных сторон характеризуют Гагарина. Полученные ответы нельзя оценить как неправильные, но их трудно приравнять к ожидавшемуся правильному ответу. Такие ситуации недопустимы, так как при компьютерном тестировании ответ сравнивается с эталоном посимвольно.

Выход из подобной ситуации подсказывает логика. Для сужения объема искомого понятия задание лучше сформулировать: «ФАМИЛИЯ ПЕРВОГО КОСМОНАВТА». Таким образом, в задание вносится необходимое уточнение, что позволяет уменьшить объем понятия за счет уточнения содержания, после чего испытуемый дает только один правильный ответ

С точки зрения композиции задания открытого типа должны содержать обязательные элементы:

1. Инструкция для испытуемых. Это может быть фраза «дополнить», а также более конкретные инструкции: «указать в именительном падеже», «указать с точностью до сотых», «указать через пробел (запятую)» в том случае, если предполагается ввести два слова, «указать дату в формате ДДММГГГГ» (или только год).
2. Содержательная основа заданий. С помощью заданий открытой формы удобно проверять знание названий, фактов, свойств, признаков, дат, причинно-следственные отношений.

(37). ВНЕДРЕНИЕ ТВЕРДЫХ ЧАСТИЦ В ЖИДКОСТЬ НАЗЫВАЕТСЯ ___
(38). ПОЛОЖИТЕЛЬНЫЙ ЭЛЕКТРОД НАЗЫВАЕТСЯ ____
(39). КРЕПОСТНОЕ ПРАВО В РОССИИ ОТМЕНИЛ ЦАРЬ ____
(40). НАИБОЛЬШУЮ ПЛОТНОСТЬ СРЕДИ ЖИДКОСТЕЙ ИМЕЕТ ____
(41). СОБСТВЕННОЕ ВРАЩЕНИЕ ЭЛЕКТРОНА ОБУСЛОВЛЕНО ____
(42). ДЛЯ УВЕЛИЧЕНИЯ ПРОВОДИМОСТИ ПОЛУПРОВОДНИКА НЕОБХОДИМО ВВЕСТИ ____

3. Ответы к заданиям. Во всяком тестовом задании заранее определяется, что однозначно считается правильным ответом на заданный вопрос.
Например:

(43). ПРИ БОЛЬШОМ ОБЪЕМЕ ГЕНЕРАЛЬНОЙ СОВОКУПНОСТИ В СРАВНИТЕЛЬНО НЕБОЛЬШОЙ ВЫБОРКЕ РАЗЛИЧИЕ МЕЖДУ ПОВТОРНОЙ И БЕСПОВТОРНОЙ ВЫБОРКАМИ ….. (ответ автора – «стирается», что по смыслу совпадает со смыслом слов «исчезает», «уменьшается», «пропадает», а может быть испытуемые придумают и другие подходящие по смыслу ответы.)

Если автор требует формулировок «как дается в лекциях» или «как звучит фраза из Кодекса», об этом надо сделать указание. Задание считается выполненным правильно, если ответ испытуемого совпадает с предусмотренным эталоном. Поэтому в качестве эталонов необходимо предусмотреть все синонимы.

В большинстве случаев ответы к заданиям открытой формы испытуемые пишут в конце задания. Допустимы случаи, когда ответы ставят не в самом конце тестового утверждения. При этом возникает вопрос – насколько далеко от конца допустимо делать пропуски? Ответ прост: чем ближе пропуск к началу предложения, тем хуже понимается смысл задания. Поэтому пропуск для ответа лучше делать как можно ближе к концу предложения.

Сравните:

(44). __ – ЭТО ДЕНЕЖНЫЕ СРЕДСТВА ИЛИ ИМУЩЕСТВО, ВКЛАДЫВАЕМЫЕ В ОБЪЕКТЫ ПРЕДПРИНИМАТЕЛЬСКОЙ ДЕЯТЕЛЬНОСТИ В ЦЕЛЯХ ПОЛУЧЕНИЯ ПРИБЫЛИ И/ИЛИ СОЦИАЛЬНЫХ РЕЗУЛЬТАТОВ
(45). ДЕНЕЖНЫЕ СРЕДСТВА ИЛИ ИМУЩЕСТВО, ВКЛАДЫВАЕМЫЕ В ОБЪЕКТЫ ПРЕДПРИНИМАТЕЛЬСКОЙ ДЕЯТЕЛЬНОСТИ В ЦЕЛЯХ ПОЛУЧЕНИЯ ПРИБЫЛИ И/ИЛИ СОЦИАЛЬНЫХ РЕЗУЛЬТАТОВ, ЭТО ____

Правильный ответ – «инвестиции» При компьютерном тестировании второй вариант вызывает меньше вопросов еще и потому, что при вводе с клавиатуры не требуется определять регистр.

Задания открытой формы применяются там, где нужно исключить вероятность получения правильного ответа посредством угадывания и тем самым повысить качество педагогического измерения. Задания открытой формы, поэтому, являются более трудными как для испытуемых, так и для создателей теста. От создателей они требуют тщательной проработки, учета множества правил, а от испытуемых – конкретных знаний. (Вспомните ситуацию с «лошадиной фамилией», описанную в известном произведении. Как часто нужное слово, термин, формула и т. п. «вертится на языке», но не вспоминается, а вот «увидел бы – сразу бы узнал».)

Зверніть увагу на додаткові посилання

Головний розділ

2. Виды и типы тестовых заданий

Сторінки, близькі за змістом

2. Виды и типы тестовых заданий

Адаптивное тестирование