Акмеологическое консультирование «Цифровые сервисы диагностики и контроля достижений обучающихся»

Консультант: Кадомцева М.Д., методист Центра дистанционного образования ТОИПКРО.

Ключевые слова: диагностический контроль, тестирование, формирующее и итоговое оценивание, цифровые инструменты для организации оценивания.

Краткая аннотация контента консультации:

В условиях реализации новых стандартов общего образования идет широкое обсуждение необходимости внедрения новых подходов к оценке образовательных результатов обучающихся. Модернизация образования направлена на повышение качества образования и улучшение системы контроля за качеством обучения, а современные требования повышения качества образования, доступности и эффективности деятельности образовательных систем определяют необходимость внедрения инструментария оценки качества образования и методики его применения.

Систему диагностики и контроля достижений обучающихся сегодня трудно представить без использования современных средств информационно коммуникационных технологий, особенно в контексте реализации требований ФГОС. Наиболее востребованными эти средства оказались в условиях вынужденного удаленного обучения, но и сейчас не менее актуальны. В помощь учителю в Российском сегменте интернета появилось много современных цифровых образовательных платформ, которые имеют специализированные сервисы формирования, диагностики и контроля учебных и метапредметных достижений обучающихся.

 

Запрос на консультирование:

Каковы преимущества и недостатки тестов как метода диагностики? Каковы методические подходы к разработке тестовых заданий? Какие интернет-сервисы позволяют создавать тесты?

Консультационный текст:

Каковы преимущества и недостатки тестов как метода диагностики?

Среди различных видов диагностического контроля, широко используемых в образовании, особое место занимает применение тестовых технологий, отличающихся оперативностью получения результата, технологичностью подготовки, вариативностью содержания, удобством проверки. Практическая деятельность многих педагогов убедительно доказывает, что с помощью тестов действительно возможно объективно оценивать достижения учащихся, выявлять пробелы в их знаниях, совершенствовать необходимые умения и навыки школьников, формировать умения осуществлять самоанализ, самоконтроль, само- и взаимооценку собственной учебной деятельности.

Использование тестовых технологий как метода диагностики и контроля достижений обучающихся имеет следующие преимущества:

·        Стандартизация условий и результатов. Тестовые методики относительно независимы от квалификации пользователя.

·        Оперативность и экономичность. Типичный тест состоит из серии кратких заданий, на выполнение каждого из которых требуется, как правило, не более полминуты, а весь тест занимает, как правило, не более часа.

·        Количественный дифференцированный характер оценки. Дробность шкалы и стандартизованность теста позволяют рассматривать его как «измерительный инструмент», дающий количественную оценку измеряемым свойствам.

·        Возможность сравнивать результаты разных испытуемых. Объективность теста — это независимость его результатов от действия всевозможных случайных факторов.

Тестовый формат заданий имеет ряд недостатков, которые также необходимо учитывать при выборе метода диагностики:

·        Данные, получаемые в результате тестирования, хотя и включают в себя информацию о пробелах в знаниях по конкретным разделам, но не позволяют судить о причинах этих пробелов.

·        Тест не позволяет проверять и оценивать высокие, продуктивные уровни знаний, связанные с творчеством, то есть вероятностные, абстрактные и методологические знания.

·        В тестировании присутствует элемент случайности. Например, учащийся, не ответивший на простой вопрос, может дать правильный ответ на более сложный.

·        Результаты тестирования могут быть искажены неправильным проведением теста или нечестным поведением тестируемого.

·        Потеря индивидуального подхода, неадекватная сложность.

Каковы методические подходы к разработке тестовых заданий?

Необходимо отметить, что разработка и применение тестов должны соответствовать определенным методическим требованиям.

В зависимости от диагностических целей педагогические тесты делятся на тесты входного, тематического (текущего), рубежного, итогового контроля и тесты самоконтроля.

Тесты входного контроля применяются до начала работы обучающегося с учебными материалами. Результаты тестирования позволяют определить степень готовности обучающихся к освоению данных материалов и своевременно скорректировать их содержание.

Тесты самоконтроля применяются для самопроверки обучающимися понимания изучаемых учебных материалов.

Тесты тематического (текущего) контроля знаний применяются для измерения уровня усвоения обучающимися содержания отдельных тем курса.

Тесты рубежного (промежуточного) контроля – для измерения уровня овладения учебного содержания разделов (модулей) курса.

Тесты итогового контроля предназначены для измерения уровня и оценки качества освоения обучающимися всего содержания курса и проводятся по завершении работы с его учебными материалами.

При этом необходимо заметить, что помимо выполнения тестами функции контроля (с обязательным соблюдением условий ограничения по времени и количеству попыток на его выполнение), тесты могут применяться и для реализации обучающей функции: закрепления знаний, понимания изученной учебной информации, расширения представлений об изучаемых предметах и явлениях. В этом случае, слушателям сообщается, что при выполнении данных тестов отсутствуют ограничения как по времени их выполнения, так и по количеству попыток, а также – ответы обучающихся сопровождаются содержательными комментариями к правильным и неправильным вариантам ответа тестовых заданий.

Основой любого педагогического теста является тестовое задание, ориентированное на оценку уровня освоения обучающимися смысловой единицы учебного материала и получение ответа на вопрос: владеет или нет обучающийся учебным содержанием данного задания.

Все тестовые задания имеют определенную структуру, включающую:

-            инструкцию к тестовому заданию;

-            смысловая часть задания;

-            ответные опции (варианты ответов).

В инструкции к тестовому заданию содержатся указания, какие действия должен выполнить испытуемый для успешного решения данного задания.

Смысловая часть задания и варианты ответов в тестовых заданиях могут быть представлены текстами или визуализированными материалами (чертежами, формулами, рисунками, иллюстрациями, схемами и др. мультимедиа), а также комбинацией текста и визуализированного объекта. При использовании заимствованных визуализированных материалов необходимо указывать имя автора и ссылки на источники данных материалов.

Основными характеристиками тестового задания являются его целевое назначение, уровень трудности и форма задания.

Целевое назначение тестовых заданий связано с диагностикой уровня сформированности у обучающихся знаний (фактологических, концептуальных, процедурных, процессуальных и т.п.) и умений применять эти знания в новой ситуации: для решения задач, для анализа и синтеза учебного содержания и т.п. Примеры тестовых заданий разного целевого назначения представлены в Приложении 1.

Трудность тестового задания зависит от содержания диагностируемого учебного материала, а также от уровня подготовленности обучающихся. Определяется трудность задания эмпирическим путем или экспертом в данной области научного знания (преподавателем-разработчиком теста или внешним экспертом). При разработке тестов необходимо включать задания разной трудности.

Форма тестового задания определяется его содержанием. Выделяют четыре основные формы тестовых заданий:

-               закрытой формы,

-               открытой формы,

-               на установление соответствия,

-               на установление правильной последовательности.

Текст задания должен отвечать следующим требованиям:

1.            Надёжность.

Факторы, влияющие на надёжность:

-                 Качество заданий, для определения которого используют повторное тестирование;

-                 Число тестовых заданий должно быть избыточным;

-                 Непонятность и двусмысленность заданий не допускается;

-                 Подбор правдоподобных дистракторов для устранения случайного угадывания правильных ответов;

-                 Устранение субъективного оценивания, для чего необходима разработка критериев оценивания заданий свободного вида;

2.            Валидность (соответствие правилу или истине).

При составлении тестовых заданий необходимо учитывать содержательную валидность, т.е. содержание заданий должно строго соответствовать требованиям ГОСТа, и функциональную валидность, т.е. задания должны составляться на научном языке, который должен в точности совпадать с языком описания содержания в учебном предмете.

3.            Общепонятность и однозначность описания задания теста означает, что обучающемуся ни о чём не надо догадываться, читая задание теста: оно понятно ему сразу.

4.            Простота – тестовые задания не должны содержать в себе наслоение нескольких заданий, да ещё и разного уровня

Тестовое задание закрытой формы представляет собой утвердительное высказывание с несколькими вариантами ответа. Выделяют задания с одним правильным вариантом ответа на заданный вопрос и задания с несколькими правильными вариантами ответа.

Рекомендуемая инструкция к заданиям закрытой формы с одним правильным ответом: «Выберите правильный вариант ответа», для заданий с несколькими правильными вариантами: «Выберите все правильные варианты ответа».

Тестовое задание открытой формы представляют собой неполное утверждение, которое необходимо дополнить словом, фразой, числом или символом. В тексте задания не рекомендуется использовать более двух пропусков слов или знаковых выражений, а также использовать больше трех полей для ввода ответа на задание. В качестве верного ответа на задание должны быть предусмотрены все возможные ответы, которые могут быть зачтены в качестве правильных, а также – все синонимы.

Задания открытой формы позволяют диагностировать уровень усвоение обучающимися фактологического учебного материала.

Рекомендуемые инструкции для задания открытой формы: «Дополните», «Впишите ответ», «Введите ответ в поле ввода».

Тестовые задания на установление соответствия представляют собой множества понятий, характеристик, названий процессов, иллюстраций и т.п. Задача обучающихся заключается в установлении содержательно-смыслового соответствия между элементами информации множеств.

Рекомендуемая инструкция к заданию этой формы: «Установите соответствие…». Задания данной формы лучше всего диагностируют процессуальные и технологические знания.

В тестовые задания на установление правильной последовательности необходимо определить правильную последовательность каких-либо событий, действий, этапов, процессов и т.п. (при этом критерий правильной последовательности должен быть четко сформулирован и понятен студентам). Рекомендуемое количество элементов, которые следует расположить в правильной последовательности – от 4-х до 7-ми элементов.

Рекомендуемая инструкция к заданиям этой формы: «Установите правильную последовательность…»

Задания данной формы, так же, как и задания на установление соответствия, рекомендуется использовать для диагностики процессуальных и технологических знаний.

Общие требования к составлению тестовых заданий

При составлении основного содержания для тестовых заданий всех форм необходимо:

1)           формулировать текст задания в утвердительной форме (вопрос в формулировке задания исключается): в этом случае, задание вместе с ответом обучающегося, будет представлять собой целостное высказывание, которое является или истинным (при верном ответе), или ложным (при неверном);

2)           ключевые слова в тексте задания размещать в начале предложения;

3)           формулировать текст задания ясно, четко и предельно кратко, но без ущерба для понимания смысла задания;

4)           исключать в тексте пространные рассуждения, повторы, сложные синтаксические обороты, двойное отрицание, а также – слова «иногда», «часто», «всегда», «все», «никогда»;

5)           обеспечивать на рисунках, чертежах, схемах и в других визуализированных материалах отсутствие лишних элементов, отвлекающих внимание обучающихся;

6)           выполнять рисунки, чертежи, схемы в одном графическом редакторе;

7)           в заданиях, которые содержат отрицание, выделять частицу НЕ или слово, выражающее отрицание, заглавными буквами или жирным шрифтом (таких заданий должно быть не более 3% от общего количества);

8)           выделять логические связки И, ИЛИ заглавными буквами или жирным шрифтом;

9)           исключать слова: «укажите», «выберите», «перечислите», «назовите», «все из перечисленных», «все, кроме»;

10)       обеспечивать отсутствие орфографических, грамматических, пунктуационных ошибок.

Для повышения объективности результатов тестирования рекомендуется включать параметризированные задания, при выполнении которых каждому обучающемуся предлагаются уникальные условия задания, предполагающие ввод уникального ответа.

Требования к заданиям закрытой формы

При составлении тестовых заданий закрытой формы необходимо учитывать, что:

1)           варианты ответа на задание должны быть содержательными, похожими как по внешнему виду, так и по грамматической структуре, привлекательными для выбора;

2)           каждый вариант ответа должен быть согласован с основной частью задания и логично продолжать его;

3)           текст вариантов ответа не следует делать длинным;

4)           не следует формулировать правильный вариант ответа заметно длиннее или короче, чем неправильные, варианты ответа должны быть примерно равны по длине;

5)           правильные и неправильные варианты ответы должны быть однозначны;

6)           рекомендуется исключать все повторяющиеся слова путем ввода их в основной текст задания;

7)           каждый неправильный вариант ответа (дистрактор) должен быть правдоподобным, внушающим доверие и убедительным для обучающихся;

8)           не рекомендуется формулировать варианты ответа с использованием слов «верно- неверно», «да-нет»;

9)           правильный вариант ответа не должен содержать грамматической подсказки (выделения, однокоренные слова или словосочетание, используемые в формулировке задания);

10)       оптимальное количество вариантов ответов в задании на выбор одного правильного варианта должно находиться в пределах от 4-х до 5-ти вариантов;

11)       в задании на выбор нескольких правильных вариантов ответа, количество правильных вариантов определяется интервалом от 20 до 60 % от их общего количества, а общее количество предлагаемых вариантов – не более 6, поскольку их большее количество снижает дифференцирующую способность задания;

12)       недопустимыми являются вариант ответа типа: «все вышеперечисленное верно», «все указанные ответы неверны» и т. п.

Какие интернет-сервисы позволяют создавать тесты?

Систему диагностики и контроля достижений обучающихся сегодня трудно представить без использования современных средств информационно коммуникационных технологий, особенно в контексте реализации требований ФГОС. Наиболее востребованными эти средства оказались в условиях вынужденного удаленного обучения, но и сейчас не менее актуальны. В помощь учителю в Российском сегменте интернета появилось много современных цифровых образовательных платформ, которые имеют специализированные сервисы формирования, диагностики и контроля учебных и метапредметных достижений обучающихся.

Многие сервисы предоставляют учителю статистику работ обучающихся в электронной среде, мониторинг деятельности по выполнению заданий разного уровня сложности.

Сегодня важным условием является качество и высокая скорость обработки данных диагностики, оперативная корректировка образовательного процесса. Поэтому сервисы имеют автоматическую проверку правильности выполнения заданий, но некоторые имеют возможность выдавать задания со свободным ответом, где потребуется экспертная оценка учителем.

Почти все образовательные онлайн-платформы приспособлены для работы на смартфоне и планшете, обеспечивая комфортную работу в системе, простую и удобную навигацию по разделам.

Рисунок 1. Онлайн конструктор тестов Online Test Pad

Цифровой открытый образовательный ресурс Online Test Pad  представляет собой платформу по созданию онлайн-тестов. Это своеобразный бесплатный конструктор заданий (рис. 1) контролирующего вида (тестов, кроссвордов, опросов). Подходит для начинающих и уверенных пользователей. Позволяет использовать готовый продукт в виде теста, кроссворда или опроса без предварительной регистрации учащихся. Отправляется получателю в виде ссылки. Все результаты контроля составитель может в своем личном кабинете.

Конструктор тестов предусматривает варианты 14 типов вопросов, в том числе: установление последовательности, заполнение пропусков, последовательное исключение, диктант, мультивыбор или выбор одного решения, ввод чисел и текста, добавление файлов. Доступ к тесту может быть создан по основной ссылке или в виде виджета на сайте организации, а также в качестве общедоступной публикации на сайте Online Test Pad. Система предоставляет возможность не только точных ответов, но и заполнения в свободной форме (в этом случае ответы направляются администратору для личной проверки). Результат предоставляется в 4 форматах, для настройки которых есть персональная шкала. По каждому заполненному опроснику можно получить статистику ответов (по отдельности или в целом по всем респондентам), которая доступна для загрузки в формате Excel.

 

Яндекс Формы – простой и бесплатный инструмент, позволяющий быстро сконструировать тесты, опросы и анкеты.

Рисунок 2. Рабочий интерфейс сервиса «Яндекс Формы»

Сервис позволяет проводить настройка внешнего вида формы. Можно выбрать готовую тему или настроить собственный вариант: цвета, шрифты, прозрачность, скругления углов кнопок и другие параметры.

Рисунок 3. Типы вопросов в сервисе  «Яндекс Формы»

В сервисе доступны различные форматы вопросов (рис. 3) и поля для телефона, почты, даты, ссылок. Также есть блок, куда участник опроса сможет загрузить файл с ответом.

В разделе дополнительных настроек возможно ограничить доступ к тесту по дате и времени, а также установить следующие параметры:

·        Ограничить количество ответов.

·        Добавить капчу перед отправкой формы.

·        Показывать форму только авторизованным пользователям.

·        Подставлять в форму предыдущие ответы пользователя.

·        Разрешить пользователю несколько раз заполнять форму.

Настройка результатов прохождения теста. Оценку можно задать через сегменты или зачёт. Сегмент — это количество набранных баллов, например, 0–2, 3–5, 6–8. Всего можно задать 100 сегментов. «Зачёт/Незачёт» позволяет установить минимальное число баллов, которое нужно набрать.

Просмотр результатов. Учителю доступна подробная аналитика: он видит, какие задания вызвали затруднения, какие неправильные ответы чаще всего выбирались, как справился каждый из учеников. Результаты прохождения теста отображаются в разделе «Ответы». Доступна выборка по дате или конкретному вопросу. Во вкладке «Статистика» будет показана итоговая инфографика, а вкладка «Лента» позволит изучить каждую заполненную форму или даже поделиться ссылкой на неё. Данные можно скачать на компьютер в одном из трёх форматов: XLSX, CSV или JSON.

«Опросникум» (https://quick.apkpro.ru) — онлайн-сервис, разработанный Академией Минпросвещения России. Он позволяет проводить интерактивные онлайн-опросы, тесты, анкетирование и получать результаты в реальном времени.

С помощью сервиса педагоги могут также создавать кроссворды, викторины, сокращать ссылки и генерировать QR-коды для своих занятий. Результаты проведения отображаются в личном кабинете автора в виде столбчатых и круговых диаграмм по каждому вопросу и облака слов по открытым вопросам.

Сервис полностью бесплатный, но для его использования необходимо пройти верификацию: подтвердить свою принадлежность к образовательной среде, загрузив справку с места работы в течение 14 дней после регистрации.

Рисунок 4. Онлайн-сервис «Опросникум»

Для опросов и тестов вы можете выбрать разные типы вопросов: с одним или несколькими вариантами ответов, с открытым ответом, вопросы на соответствие, шкала, цепочка. Кроме того, есть много дополнительных настроек: случайный порядок вопросов, возможность проходить тест несколько раз, показывать время прохождения и т.п. Результаты проведения будут отображаться в личном кабинете автора в виде столбчатых и круговых диаграмм по каждому вопросу и облака слов по открытым вопросам.