مقایسه ویژگی‌های روانسنجی مدل‌‌‌های دارای مجانب پایین (3PL)، بالا (3Plu) و هر دو مجانب (4PL) براساس داده‌های آزمون‌های سراسری ورود به دانشگاه

نوع مقاله : مقاله پژوهشی

نویسندگان

1 ارشد تحقیقات آموزشی، دانشکده روانشناسی و علوم تربیتی، دانشگاه خوارزمی.

2 استادیار دانشکده روانشناسی و علوم تربیتی، دانشگاه خوارزمی، تهران، ایران.

چکیده

هدف پژوهش حاضر مقایسه ویژگی‌های روان‌سنجی مدل‌های لوجستیک دارای مجانب پایین(3PL)، مجانب بالا (3PLU) و مدل چهار پارامتری با هر دو مجانب پایین و بالا(4PL) است. مدل 3PL با افزودن مجانب پایین به مدل 2PL و مدل 4PL با افزودن مجانب بالا به مدل 3PL به دست می‌آید، با حذف مجانب پایین از معادله مدل 4PL، مدل 3PLU به دست می‌آید. به منظور مقایسه مدل‌ها از داده‌های شرکت‌کنندگان آزمون سراسری سال 1394 استفاده شد (گروه های علوم ریاضی فیزیک ، تجربی و انسانی). یک نمونه تقریبا 6000 نفری به صورت تصادفی انتخاب و تحلیل شد. برای تحلیل سوال‌ها از بسته mirt در نرم افزار R استفاده شد. برازش در سطح مدل بر اساس شاخص DIC نشان داد که بجز شیمی در سایر آزمون‌ها مدل 3PL نسبت به مدل 4PL مناسبت‌تر است. نتایج برازش در سطح مدل براساس شاخص بیز (BF) در کل با نتایج شاخص DIC همخوانی داشت. همبستگی بین نمره‌های خام هر آزمون و توانایی برآورد شده آن بر اساس هر پنج مدل بالا است. توانایی برآورد شده مدل‌ها تفاوت معناداری باهم نداشت. از نظر آگاهی در سطوح توانایی بالا، مدل 3 پارامتری نسبت به مدل 4 پارامتری آگاهی‌دهنده‌تر است. بطور کلی برای مدل 4 پارامتری نسبت به مدل 3 پارامتری مزیت خاصی پیدا نشد. مگر در سوال‌های خاصی که برازش این مدل با آنها بهتر بود. البته تاثیر حجم نمونه بر نتایج مشخص نیست و لازم است در پژوهش‌های آتی نتایج مدل‌ها بر اساس حجم نمونه نیز مقایسه شوند.

کلیدواژه‌ها

عنوان مقاله [English]

Comparing Psychometric Properties of Lower Asymptote Three-Parameter Logistic model (3PL), Upper asymptote 3PLu model and both asymptotes (4PL) based on University Entrance Exam Data

نویسندگان [English]

  • Javaad Mohammadloo 1
  • Belal Izanlou 2
1 MA, Educational research, Faculty of Psychology and Educational Sciences, Kharazmi University.
2 Ph.D, Assistant Professor, Faculty of Psychology and Educational Sciences, Kharazmi University, Tehran, Iran
چکیده [English]

The purpose of present study is to compare Psychometric properties of lower asymptote (3PL), upper asymptote (3PLu) and four-Parameterl (4PL) with lower and upper asymptote Logistic models. 3PL model is obtained by adding lower asymptote to 2PL model, and 4PL model is obtionaed by adding upper asymptote to the 3PL, with removing lower asymptote from 4PL, 3PLu is obtained. In order to campare mothels, Data from University Entrance Exam 1394 (2015), is used for analysis (mathematics-physics science, empirical sciences , humanity science groups). A random sample of 6000 selected and analyzied. The mirt package in R software was used for items analysis. .fitting In test level, the DIC index showed that, except chemistry, in other tests, the 3PL model was more appropriate than the 4PL model. Results based on Bayes factor (BF) index in general are consistent with the DIC index results. The correlation between raw and estimated ability scores of all five models is high, and the estimated ability by models was not significantly different. At high levels of ability the information of 3PL model is more informative than 4PL model. Generally, the 4PL does not show a specific advantage over the 3PL, unless for items have better fit to the 4PL. Of course, the effect of sample size on these results is not clear, and it is necessary this results to be compared according to the sample size in future research.

کلیدواژه‌ها [English]

  • Item response theory؛ 4PL Model؛ 3PL model
  • lower asymptote
  • upper asymtote

مراجع

Barton, M. A., & Lord, F. M. (1981). An upper asymptote for the three-parameter logistic item-response model. Princeton, NJ: Educational Testing Service.
Baker, F. B., & Kim, S. (2004). Item response theory: Parameter estimation techniques (2nd ed.). New York: Marcel Dekker.
Birnbaum, A. (1968). Some latent trait models and their use in inferring an examinee’s ability. In F. M.
Cheng, Y., & Liu, C. (2016). The Effect of Upper and Lower Asymptotes of IRT Models on Computerized Adaptive Testing. Applied Psychological Measurement, 39, 551-565.
De Ayala, R. J. (2008). The theory and practice of item response theory. New York, NY: Guilfords Publications.(P 126)
Gao, S. (2011). The exploration of the relationship between guessing and latent ability in IRT  models (Doctoral dissertation).
Jeffreys H. (1961). Theory of Probability. Oxford University Press.
Karabatsos, G. (2003). Comparing the aberrant response detection performance of thirty-six person-fit statistics. Applied Measurement in Education, 16, 277-298.
Liao, W. W., Ho, R. G., Yen, Y. C. and Cheng, H. C. (2012). The four-parameter logistic item response theory model as a robust method of estimating ability despite aberrant responses. Social Behavior &  Personality: an international journal, 40(10), 1679–1694.
Loken, E. and Rulison, K. L. (2010). Estimation of a four‐parameter item response theory model. British Journal of Mathematical and Statistical Psychology, 63(3), 509–525.
Lord, F. M. (1980). Applications of item response theory to practical testing problems. Hillsdale, NJ: Lawrence Erlbaum.
Fraser, C. & McDonald, R. P. (1988). NOHARM: Least squares item factor analysis. Multivariate Behavioral Research, 23, 267–269.
Magis, D. (2013). A note on the item information function of the four-parameter logistic model. Applied  Psychological Measurement, 37(4), 304–315.
Chalmers, R. P. (2012). mirt: A Multidimensional Item Response Theory Package for the R Environment. Journal of Statistical Software, 48(6), 1–29.
Ree, J. M. (1979). Estimating item characteristic curve. Applied Psychological Measurement, 3, 371-385.
Reise, S. P., & Waller, N. G. (2003). How many IRT parameters does it take to model psychopathology items?Psychological Methods, 8, 164-184.
Reynolds, T. (1986). The effects of small sample size, short test length, and ability distribution upon parameter estimation. Unpublished paper.
Rulison, K. L., & Loken, E. (2009). I’ve fallen and I can’t get up: Can high-ability students recover from early mistakes in CAT? Applied Psychological Measurement, 33, 83-101.
Sideridis GD, Tsaousis I, Al Harbi K. (2016). The Impact of Non-attempted and Dually-Attempted Items on Person Abilities Using Item Response Theory. Front Psychol; 7:1572.
Spiegelhalter, D. J., Best, N. G., Carlin, B. P., & Van Der Linde, A. (2002). Bayesian measures of model complexity and fit. Journal of the royal statistical society: Series b (statistical methodology), 64(4), 583-639.
Swist, K. (2015). Item analysis and evaluation using a four-parameter logistic model. Edukacia 3,  77–97.
Waller, N. G. and Reise, S. P. (2010). Measuring psychopathology with nonstandard item response theory models: Fitting the four-parameter model to the Minnesota Multiphasic Personality Inventory. In S. E. Embretson (ed.), Measuring psychological constructs: advances in model-based approaches (pp. 147–173).
Yen, Y.-C., Ho, R.-G., Laio, W.-W., Chen, L.-J., & Kuo, C.-C. (2012). An empirical evaluation of the slip correction in the four parameter logistic models with computerized adaptive testing. Applied Psychological Measurement, 36, 75-87.
فصلنامه پژوهش های نوین روانشناختی
دوره 15، شماره 57
خرداد 1399
صفحه 50-66

فایل ها

سابقه مقاله

  • تاریخ دریافت: 20 خرداد 1398
  • تاریخ بازنگری: 14 مهر 1398
  • تاریخ پذیرش: 10 آذر 1398

هم رسانی

ارجاع به این مقاله

آمار