Часть 1. Тест-девелопмент и педагогический дизайн: основы разработки заданий.

• 6 февраля. Как проектировать курсы и измерительные инструменты с качественными заданиями. Процессы, спецификация, команда.

  Превращаем идею по оценке знаний или экспертизы в реальный продукт.

  1. Вы узнаете о процессе разработки заданий.
  2. Сможете более грамотно встраивать разработку заданий в общий процесс дизайна обучения или тестирования.
  3. Вы узнаете, какая документация необходима, чтобы она облегчила жизнь в будущем вам и вашим коллегам. Получите шаблоны для собственных проектов.
  4. Вы познакомитесь с ролями в команде с точки зрения разработки заданий.
  5. Вы увидите хитрости, которые позволят создавать качественные задания даже с учётом ограниченного времени, денег, размера команды.

• 13 февраля. Как делать качественные задания. Задания в формате множественного выбора и другие стандартные типы заданий. ChatGPT и другие нейросети для разработки заданий.

  Эта встреча будет посвящена самым популярным заданиям, которые часто неверно считаются поверхностными — заданиям с множественным выбором. Кроме того обсудим принципы разработки заданий на установление соответствия, последовательности.

  1. Вы познакомитесь со структурой заданий согласно теории разработки тестов: стем, инструкция, ключи, дистракторы.
  2. Получите список типовых ошибок и рекомендаций для их устранения.
  3. Узнаете, сколько баллов присваивать за правильный ответ — научитесь готовить правила скоринга.
  4. Разберётесь, с тем, как определять, что учащиеся или сотрудники действительно освоили материал.

• 20 февраля. Как проектировать открытые задания, кейсы, проектные работы. Разработка рубрик оценивания.

  На этой встрече коснёмся менее стандартных заданий, которые требуют особого подхода. Часто эти задания используются на более поздних этапах обучения, в обучении профессиям, для преподавания творческих дисциплин.

  1. Вы узнаете о холистическом и критериальном подходах к оцениванию заданий с открытым ответом.
  2. Подробно познакомитесь с тем, как создавать рубрики оценивания.
  3. Вы узнаете, как устроены разные типы открытых заданий.

• 27 февраля. Как сохранить качество заданий при реализации на проде. От ограничений популярных платформ до нюансов UX/UI-дизайна.

  Превращаем сферического коня в вакууме — идеальный набор заданий, — в реальный продукт. Эта встреча о том, как делать задания доступными для пользователей и оптимально собирать данные.

  1. Вы узнаете о возможностях и ограничениях популярных платформ для обучения и сбора данных, например о типах заданий или опциях для рандомизации их порядка.
  2. Разберётесь, как повысить достоверность результатов тестирования, чтобы люди проходили тест честно и не списывали.
  3. Вы познакомитесь с тем, что такое технологически усовершенствованные задания и чего в них стоит опасаться. Здесь разберём, как правильно показывать подсказки участнику, давать ему обратную связь в процессе оценки и сохранять внимание участника.
  4. Вы разберётесь с тем, как взаимодействовать и учитывать интересы разных членов команды, например: UX/UI-дизайнеров, иллюстраторов, редакторов, разработчиков.

Часть 2. Основы статистики, психометрики и учебной аналитики.

Обучение во второй части будет построено по модели перевёрнутого класса. Это значит, что у вас в доступе за неделю до каждой из встреч будут короткие ролики с теорией и рекомендациями по тому, как проводить вычисления на основе ваших данных. Также вы сможете задавать вопросы в чате. На встречах же будем интерпретировать результаты и обсуждать решения.

• 6 марта. Основы статистики для образования и HR.

  На этой встрече мы обсудим базовые понятия статистики на примерах из сферы образования и HR.

  1. Вы узнаете о таких понятиях, как генеральная совокупность, выборка, распределение.
  2. Вы увидите, как посчитать часто используемые показатели, например, среднее, найти медиану, моду, дисперсию, процентиль и другие.
  3. Узнаете о статистических тестах, статистической значимости, корреляциях и ошибках I и II рода.
  4. Вы глубже познакомитесь с тем, что такое валидность и надежность результатов, и как их можно пощупать в онлайн-курсе или тесте.

• 13 марта. Как оценить качество заданий и уровень учащихся. Основы психометрики и учебной аналитики. Классическая теория тестирования. Сервисы для анализа.

  На этой встрече мы расскажем о разнице подходов между учебными аналитиками и психометрикиками, например, мы обсудим связь количества попыток в заданиях с классическим показателем трудности заданий. Основная часть встречи будет посвящена Классической теории тестирования: её плюсам и ограничениям, а также тому, как работать с конкретными показателями.

  1. Вы посчитаете и проинтерпретируете трудность и дискриминативность заданий, в том числе политомических.
  2. Вы оцените, насколько грамотно сформулированы варианты ответа.
  3. Вы оцените задания с точки зрения надёжности.
  4. Вы посчитаете стандартную ошибку измерения для одного из учащихся и примите решение, достиг ли он необходимого уровня владения материалом.

• 20 марта. Как оценить качество заданий и уровень учащихся 2. Современная теория тестирования и её модификации. Сервисы для анализа.

  Эта встреча будет посвящена более продвинутым методам анализа характеристик заданий, созданным на основе Современной теории тестирования (IRT).

  1. Вы узнаете, почему Современная теория тестирования лучше подходит, например, для отслеживания прогресса, составления банка заданий или адаптивного обучения.
  2. Вы оцените уровень трудности заданий и уровень способностей учащихся и сделаете вывод о том, какие задания должны быть доработаны.
  3. Вы разберётесь с тем, какие есть модели, чтобы измерять уровень сразу нескольких навыков у одного учащегося.
  4. Вы познакомитесь с тем, как выставлять пороговые значения — проходные баллы, а также — как отслеживать прогресс учеников.

• 27 марта. Как оставаться в курсе свежих новостей по психометрике и учебной аналитике. Как разработать систему для адаптивного обучения или тестирования. Психометрические подходы и подходы на основе машинного обучения.

  На заключительной встрече коснёмся того, что происходит в сфере измерений и обучения прямо сейчас.

  1. Вы узнаете о международных компаниях и отдельных экспертах, за деятельностью которых стоит следить. Вы увидите темы, которые сейчас обсуждаются на конференциях.
  2. Вы глубже познакомитесь с тем, что такое адаптивное тестирование и обучение: их отличия, модели, которые используются для оценки уровня учащихся для каждой из задач.
  3. Вы разберётесь с тем, почему Современная теория тестирования проигрывает некоторым подходам для разработки адаптивных обучающих систем.
  4. Вы коротко пройдёте процесс создания адаптивной обучающей системы на примере своих заданий.