Анализ влияния первичных баллов заданий на уровни подготовленности респондентов в дихотомической модели Раша на основе взвешенного метода максимального правдоподобия


https://doi.org/10.21686/2500-3925-2019-2-89-98

Полный текст:


Аннотация

Цель исследования. При обработке результатов тестирования часто используется модель Раша. Однако при использовании этой модели и метода максимального правдоподобия (ММП), оценки уровней подготовленности респондентов зависят только от числа правильно выполненных заданий теста и не зависят от трудности выполненных заданий. Цель исследования – анализ влияния трудностей заданий на уровни подготовленности респондентов на основе взвешенного метода максимального правдоподобия (ВММП). Для получения весовых коэффициентов ВММП в работе используются первичные баллы заданий. Материалы и методы. Анализ влияния трудностей заданий на уровни подготовленности респондентов проведен при использовании дихотомической таблицы, полученной при тестировании знаний 19 респондентов по курсу основ электроники. Использовались индикаторные переменные 16 тестовых заданий. Для заданий рассчитывались первичные баллы, определяющие их трудности. Весовые коэффициенты используемого ВММП зависят от первичных баллов заданий и от коэффициента влияния K. При K = 0 ВМПП превращается в МПП. С увеличением K от 0 до 2 весовые коэффициенты увеличиваются и появляется возможность подробного анализа влияния трудностей заданий на уровни подготовленности респондентов. Для расчета параметров модели Раша на основе ВММП используются программы (М-файлы) для среды MATLAB и программа Ministep (Winsteps). Результаты. Использование ВММП с весовыми коэффициентами, полученными на основе первичных баллов трудностей заданий, позволяет дополнительно дифференцировать уровни подготовленности респондентов в классической дихотомической модели Раша. Результаты анализа, проведенного с использованием данных теста по электронике, показывают, что при прочих равных условиях новые уровни подготовленности увеличиваются, если респонденты выполняют трудные задания и, наоборот, уровни подготовленности респондентов уменьшаются, если респонденты выполняют легкие задания. При этом уровни трудностей самих заданий практически не изменяются. Как правило, чем больше коэффициент влияния K, тем больше отличается оценка подготовленностей респондентов, полученная на основе ВММП от оценки на основе ММП. Однако имеются респонденты, уровень подготовленности которых не изменяется или изменяется незначительно при увеличении коэффициента K от 0 до 2. Для теста по электронике при малом коэффициенте K ≤ 1 исходный порядок расположения респондентов по уровням подготовленности, рассчитанных на основе ММП, сохраняется. При увеличенном коэффициенте влияния K ≥ 1,5 новые уровни подготовленности, рассчитанные с помощью ВММП, обуславливают изменение порядка распределения респондентов по уровням подготовленности. Расчеты, проведенные на основе полученных формул с помощью пакета MATLAB, подтверждаются данными полученными с помощью программы Winsteps. Отличия без учета экстремальных респондентов не превышают 0,01 логит при максимальном значении коэффициента K, равном 2. Заключение. На основе взвешенного метода максимального правдоподобия предложена методика учета трудностей заданий на уровни подготовленности респондентов в дихотомической модели Раша при использовании первичных баллов заданий. Результаты анализа, проведенного с использованием данных теста по электронике, показывают, что в этом случае получим дифференцированные уровни подготовленности респондентов набравших одинаковые баллы по сравнению с оценками метода максимального правдоподобия. Заметим, что результаты, полученные с помощью ВМПП при использовании данных теста по электронике, не противоречат данным, полученным на основе классической дихотомической модели Раша и МПП. Результаты, полученные на основе ВММП, позволяют уточнить уровни подготовленности респондентов, полученные на основе ММП.


Об авторах

Е. Б. Белов
Федеральное учебно-методическое объединение в системе высшего образования по укрупненной группе специальностей и направлений подготовки «Информационная безопасность», Москва
Россия
Заместитель председателя


М. В. Алексеев
Федеральное учебно-методическое объединение в системе высшего образования по укрупненной группе специальностей и направлений подготовки «Информационная безопасность», Москва
Россия
К.ф.-м.н., эксперт


Н. П. Китаев
Федеральное учебно-методическое объединение в системе высшего образования по укрупненной группе специальностей и направлений подготовки «Информационная безопасность», Москва
Россия
К.ф.-м.н., эксперт


А. И. Кучумов
Федеральное учебно-методическое объединение в системе высшего образования по укрупненной группе специальностей и направлений подготовки «Информационная безопасность», Москва
Россия
К.т.н., эксперт


Список литературы

1. Нейман Ю.М., Хлебников В.А. Введение в теорию моделирования и параметризации педагогических тестов. М.: Прометей, 2000. 169 с.

2. Ким В.С. Тестирование учебных достижений. Монография. Уссурийск: Издательство УГПИ, 2007. 214 с.

3. Аванесов В. С. Item Response Theory: Основные понятия и положения // Педагогические измерения. 2007. № 2. С. 3–28.

4. Челышкова М.Б. Теория и практика конструирования педагогических тестов: Учеб. пособие. М.: Логос, 2002. 432 с.

5. Маслак А.А. Теория и практика измерения латентных переменных в образовании. М.: Юрайт, 2016. 256 с.

6. Попов А.П. Критический анализ параметрических моделей Раша и Бирнбаума // Материалы 4-й НМК «Инновационные методы и средства оценки качества образования». М.: Изд-во МГУП, 2006. С. 231–235.

7. Шрайфель И.С., Елисеев И.Н. Теоретическое обоснование единого итерационного процесса совместной количественной оценки трудностей заданий и уровней подготовки студентов // Сибирский журнал вычислительной математики. 2016. Т. 19. № 1. С. 107–123.

8. Сербин В.И. Управление процессом обучения с помощью марковской модели // Прикаспийский журнал: управление и высокие технологии. 2013. № 4 (24). С. 29–35.

9. Сёмов А.М., Сёмова М.А., Хлебников В.А. Единый итерационный процесс совместной количественной оценки трудностей заданий и уровней подготовленности участников тестирования // Труды центра тестирования, выпуск 2. М.: Издательство «Прометей», 1999. С. 54–60.

10. Hu F., Zidek J.V. The weighted likelihood // The Canadian Journal of Statistics. 2002. Vol. 30. № 3. P. 347-371. DOI: 10.2307/3316141.

11. Симахин В.А., Черепанов О.С. Исследование оценок взвешенного метода максимального правдоподобия // Вестник Курганского государственного университета. Серия: Технические науки. 2011. № 6. С. 72–77.

12. Warm T.A. Weighted Likelihood Estimation of Ability in Item Response Theory // Psychometrika. 1989. Vol. 54. P. 427–450. DOI: 10.1007/BF02294627.

13. Linacre J.M. The Efficacy of Warm’s Weighted Mean Likelihood Estimate (WLE) Correction to Maximum Likelihood Estimate (MLE) Bias. Rasch Measurement Transactions. 2009. Vol. 23. № 1. P. 1188–1189.

14. John M. Linacre. A User’s Guide to WINSTEPS, MINISTEP. Rasch-Model Computer Programs, 2017. [Электрон. ресурс] Режим доступа: http://www.winsteps.com/winman/copyright. htm (Дата обращения: 07.04.2019).

15. Tao, J., Shi, N., & Chang, H. Item-weighted likelihood method for ability estimation in tests composed of both dichotomous and polytomous items // Journal of Educational and Behavioral Statistics. 2012. Vol. 37. № 2. P. 298–315. DOI: 10.3102/1076998610393969.

16. Кучумов А. И. Электроника и схемотехника. Учебное пособие. М.: Гелиос АРВ, 2011. 336 с.

17. MatLab. Функция fminunc. [Электрон. ресурс] Режим доступа: https://www.mathworks. com/help/optim/ug/fminunc.html?s_tid=srchtitle (Дата обращения: 07.04.2019).

18. Алексеев М.В., Белов Е.Б., Китаев Н.П., Кучумов А.И. Отличия в оценках уровней подготовленности экстремальных респондентов при использовании классической теории тестирования и дихотомической модели Раша // Информатизация образования и науки. 2018. 2(38). С. 99–107.

19. Wright B.D. Estimating measures for extreme scores // Rasch Measurement Transactions. 1998. 12 (2). P. 632–633.

20. Parameter MEAN in table 14.1 when using IWEIGHT. [Электрон. ресурс] Режим доступа: http://raschforum.boards.net/thread/796/parameter-mean-table-using-iweight (Дата обращения: 07.04.2019).


Дополнительные файлы

Для цитирования: Белов Е.Б., Алексеев М.В., Китаев Н.П., Кучумов А.И. Анализ влияния первичных баллов заданий на уровни подготовленности респондентов в дихотомической модели Раша на основе взвешенного метода максимального правдоподобия. Статистика и Экономика. 2019;16(2):89-98. https://doi.org/10.21686/2500-3925-2019-2-89-98

For citation: Belov E.B., Alekseev M.V., Kitaev N.P., Kuchumov A.I. Analysis of influence of the item total scores on the levels of ability of respondents in the dichotomous Rasch model based on the weighted maximum likelihood method. Statistics and Economics. 2019;16(2):89-98. (In Russ.) https://doi.org/10.21686/2500-3925-2019-2-89-98

Просмотров: 113

Обратные ссылки

  • Обратные ссылки не определены.


Creative Commons License
Контент доступен под лицензией Creative Commons Attribution 4.0 License.


ISSN 2500-3925 (Print)