[Fr] Notre critique de livre récente avec Psychometrika

Il s'agit d'une version (traduit en français par Dandan Chen) post-examen par les pairs, pré-copie d'un article publié dans la revue Psychometrika. La version finale authentifiée est disponible en ligne à: http://dx.doi.org/10.1007/s11336-020-09714-5

Critique de Livre

Critique de « Un Cours de Théorie des Réponses aux Items et de Modélisation avec Stata » de Raykov et Marcoulides

Dandan Chen

Jinming Zhang

Université de l'Illinois à Urbana-Champaign (UIUC)

Raykov, T., & Marcoulides, G. A. (2018). A course in item response theory and modeling with Stata. College Station, TX: StataCorp LLC. 270 p. $54.00. ISBN: 978-1-59718-266-9.

Les années 1950 ont vu l’établissement des fondements théoriques de la théorie des réponses aux items (TRI ou IRT; Lord, 1952, 1953). Cependant, la modélisation de l’IRT n’a été pleinement
utilisée que dans les années 1970, lorsque les progrès technologiques l’ont rendue possible. Des outils logiciels de l’IRT tels que BILOG, PARSCALE, MULTILOG, ConQuest, IRTGEN, IRTDIF et OPLM ont été développés et appliqués pour analyser les données des réponses. Un examen approfondi de ceux-ci peut être trouvé dans Zhao et Hambleton (2009). Récemment, des progiciels de statistiques plus généraux tels que SAS (par exemple, Cole & Paek, 2017), SPSS (par exemple, DiTrapani et al., 2018) et Stata (par exemple, Yang et Zheng, 2018) ont développé des fonctions pour la modélisation de l’IRT. En particulier, les nouvelles fonctionnalités avec la sortie de Stata 14 incluent la modélisation de l’IRT (StataCorp LLC, 2015). Raykov et Marcoulides, professeurs dans la science de la mesure et de la méthodologie de recherche, proposent une présentation complète de l’IRT et de sa pratique de modélisation avec Stata dans leur nouveau livre Un Cours de Théorie des Réponses aux Items et de Modélisation avec Stata. Il excelle dans la mise en lumière des points communs conceptuels entre différentes terminologies des statistiques appliquées.

Ce livre est différent de la majorité des livres de l’IRT pour plusieurs raisons. Premièrement, les livres précédents sur l’IRT ne montrent généralement pas de liens entre l’IRT et d’autres cadres statistiques connexes tels que l’analyse factorielle (FA), le modèle linéaire généralisée (GLM) et le modèle à variables latentes (LVM). Par exemple, Principes Fondamentaux de la Théorie des Réponses aux Items de Hambleton, Swaminathan et Rogers (1991) se concentrent sur l’essentiel de l’IRT sans couvrir les cadres statistiques plus larges qui aident les lecteurs à relier les points et à comprendre comment l’IRT en fait partie. Deuxièmement, de nombreux livres sur l’IRT contiennent une juxtaposition inutile de l’IRT à la théorie classique des tests (CTT), ce que Raykov et Marcoulides évitent intentionnellement dans leur livre. Il convient de noter que les comparaisons IRT-CTT sont répandues dans la littérature psychométrique (par exemple, Albano, 2020; Hambleton & Jones, 1993). Cependant, comme les auteurs eux-mêmes l’éclaircissent, il suffit d’illustrer l’IRT en lui-même et il n’est pas nécessaire de le comparer avec la CTT pour démontrer la valeur de l’IRT. Plus important encore, ils estiment qu’une juxtaposition inappropriée peut aggraver une recherche compartimentée, ce qui peut en retour rendre un mauvais service à long terme au développement des connaissances en IRT. Troisièmement, de nombreux matériels didactiques existants pour les applications logicielles de la modélisation de l’IRT n’incluent pas d’explications conceptuelles simples sur quelques composants importants de l’IRT. Cette situation est en partie attribuable au fait que de nombreux individus capitalisent à leur avantage sur les fonctionnalités des logiciels pour la modélisation de l’IRT. Les manuels techniques tels que Stata Manuel de Référence de l’IRT (StataCorp LLC, 2019) ne fournissent pas suffisamment de détails sur le choix des méthodes et des algorithmes et l’interprétation des résultats, qui sont disponibles dans le livre de Raykov et Marcoulides. En somme, dans cet ouvrage, Raykov et Marcoulides confrontent ces problèmes via une couverture cohérente de la modélisation d’IRT dans les aspects conceptuels et appliqués.

Dans la première partie du livre, du chapitre 1 au chapitre 5, Raykov et Marcoulides introduisent principalement des concepts vitaux en IRT. Cette partie met en évidence les rapports conceptuels étroits entre les modèles de l’IRT et la CTT, la FA, le GLM et la non-linéarité. Il montre la toute première initiative jamais réalisée, dans un livre sur l’IRT, pour élaborer systématiquement sur l’IRT en relation avec quelques autres cadres statistiques. Les auteurs partent des concepts fondamentaux de la statistique générale, tels que les analyses probit et logit, la fonction de distribution cumulative (CDF) et l’ogive normale, et les conversions de formules entre FA et GLM. Ensuite, ils illustrent la présence et l’interprétation de ces concepts et leur utilisation dans le contexte de l’IRT, en s’appuyant sur des termes et des cadres statistiques, en plus des preuves mathématiques pouvant être compris par un large public.

Plusieurs points clés que les auteurs affirment et démontrent dans cette première partie sont résumés comme suit. Tout d’abord, certaines interprétations erronées de la CTT ou de l’IRT devraient être démystifiées. Par exemple, le fait que le terme de variance pour un score observé en CTT soit constant pour tous les sujets est une idée fausse. De plus, il n’existe pas de « modèle CTT » car la décomposition de la CTT est une tautologie qui ne peut être falsifiée. En revanche, un modèle est un énoncé basé sur un ensemble d’hypothèses qui peuvent être falsifiées empiriquement. Encore, le modèle logistique avec trois paramètres (3PL) en IRT n’est pas strictement un modèle logistique malgré l’utilisation généralisée du « modèle logistique » au nom de ce modèle. Deuxièmement, l’IRT est lié à d’autres cadres statistiques. Par exemple, le « vrai score » en CTT est la principale préoccupation en IRT; les modèles basés sur l’IRT sont analogues aux modèles de la régression logistique binaire multivariée (BLR), sauf que les variables du premier sont latentes ou non-observables alors que les variables du second sont manifestes ou observables. BLR, en outre, est un cas particulier des modèles du GLM et de la FA non-linéaires. Troisièmement, certaines questions techniques de l’IRT peuvent être comprises dans le contexte de problèmes statistiques plus généraux. « La condition d’indépendance locale » dans l’IRT est analogue à « la condition d’indépendance conditionnelle »; le premier concerne les variables latentes tandis que le second concerne les variables observées. Aditionellement, « l’indétermination de l’échelle » dans l’IRT fait partie de « l’indétermination des facteurs » dans les modèles à variables latentes. De plus, ce « facteur d’indétermination » est associé au « manque d’identification », un problème plus général en statistique appliquée.

Dans la deuxième partie, du chapitre 6 au chapitre 12, Raykov et Marcoulides combinent les codes et la description technique des procédures de modélisation en IRT avec des interprétations statistiques exemplaires des résultats de Stata. Il s’agit d’une contribution unique à la littérature de modélisation existante car il combine les applications de la version de Stata les plus à jour avec des interprétations conceptuelles détaillées. Un manuel technique comme Stata Manuel de Référence de l’IRT (StataCorps LLC, 2019) présente principalement le code de Stata et la sortie du logiciel, avec seulement un contenu théorique épargnant. Raykov et Marcoulides font plus que cela avec des interprétations statistiques extensives via une approche heuristique pour la résolution de problèmes en recherche appliquée.

Plus précisément, cette deuxième partie commence par une brève introduction de l’interface de Stata, puis se poursuit par une présentation des procédures spécifiques de résolution de problèmes guidées par des questions statistiques. Cette approche axée sur les questions permet d’élaborer des méthodes techniques pertinentes, des solutions et des interprétations des résultats en réponse à chaque question de la modélisation en IRT. En outre, ces questions d’orientation sont liées conceptuellement, facilitant la transition de l’illustration sur la modélisation en IRT et provoquant une réflexion indépendante et une récupération des connaissances. Les auteurs détaillent les problèmes à résoudre, les procédures techniques à suivre, la manière d’interpréter les résultats statistiques et les autres éléments à prendre après avoir pris une décision à partir d’un test statistique.

Une caractéristique impressionnante à noter est le texte non-technique très accessible tout au long de ce livre qui stimule les lecteurs à apprendre. La langue est assez simple pour que tout lecteur ayant suivi des cours de statistiques ou de mathématiques de niveau intro. Par exemple, en ce qui concerne la relation entre l’indépendance locale et l’unidimensionnalité en IRT, au lieu de prendre ce qui est donné comme dans la littérature statistique courante, Raykov et Marcoulides illustrent d’abord dans ce livre la différence entre une condition suffisante et une condition nécessaire. Ils démontrent alors que la condition d’indépendance locale est nécessaire mais pas suffisante pour l’unidimensionnalité. Cette approche aide les lecteurs à acquérir en continu de nouvelles connaissances sur l’IRT dans les termes statistiques couramment utilisés. Plus précisément, lorsqu’ils expliquent comment déterminer si une condition est une condition suffisante par opposition à une condition nécessaire, Raykov et Marcoulides s’appuient sur des exemples pratiques. Ils discutent de la question de savoir si un entier est pair ou impair à condition que cet entier puisse être divisé par 4. Au fur et à mesure que cette discussion évolue, ils concluent avec une conclusion importante qu’il est plus difficile de trouver une condition suffisante qu’une condition nécessaire pour une condition d’intérêt.

Pendant ce temps, conscients des stratégies d’apprentissage, Raykov et Marcoulides expliquent de nombreux concepts qui peuvent être difficiles à digérer de multiples façons. Explicitement, ils réitèrent des concepts dans différentes parties du livre et guident les lecteurs pour qu’ils se souviennent de ce qu’ils ont lu. Par exemple, après avoir exposé l’ogive normale au chapitre 2, les auteurs en ont discuté à nouveau au chapitre 5, en utilisant « nous rappelons du chapitre 2 que… » pour aider les lecteurs à retrouver des informations antérieures. En outre, les auteurs posent des questions intrigantes pour amener les lecteurs à résoudre des problèmes avec les méthodes qu’ils viennent d’apprendre dans le livre. Un exemple servant à illustrer ce point est l’explication de la relation entre l’ogive normale et la régression logistique. Après avoir montré un graphique des courbes de l’ogive normale et de la régression logistique, les auteurs enchaînent par une question qui attire l’attention et suscite la réflexion: « Cette ressemblance… de la fonction logistique à l’ogive normale reflète-t-elle peut-être une relation plus profonde? » Ensuite, ils en viennent au point que l’ogive normale est pratiquement équivalente à une courbe logistique après redimensionnement de l’axe horizontal. Les lecteurs qui sont nouvelles dans la courbe logistique peuvent trouver cette façon d’illustrer les aider à mémoriser et à intérioriser les messages clés et à explorer davantage à cet égard à l’avenir.

Comme tout livre de portée ambitieuse, ce livre a ses limites. Ciblant un large public (des nouveaux apprenants de l’IRT aux chercheurs chevronnés en méthodologie dans de vastes disciplines), Raykov et Marcoulides présentent leurs connaissances d’une manière qui aide les lecteurs à acquérir des connaissances de l’IRT dans un contexte de science générale de la statistique appliquée. Cependant, tout le monde ne trouverait pas cette approche attrayante. Un groupe de lecteurs plus avancés, tels que des scientifiques chevronnés qui connaissent déjà certains aspects de l’IRT, pourraient préférer une version condensée qui leur permettra de voir rapidement les nouvelles perspectives dans ce livre. Pendant ce temps, la réitération des mêmes concepts dans certaines situations peut paraître redondante ou déroutante. Par exemple, l’ogive normale et le CDF sont présentés deux fois dans différentes parties du chapitre 2. Des problèmes similaires existent dans les chapitres 3 à 5. En outre, les textes de certains domaines de ce livre auraient pu être plus précis ou cohérents avec une révision rigoureuse. Par exemple, les auteurs mentionnent dans la section 3.3 (p. 35) que les lecteurs devraient vérifier les modèles basés sur la CTT dans une autre section du livre (p. 37-42), qui, pourtant, couvrait la FA classique dans les modèles linéaires et non-linéaires. De plus, les codes de Stata de la première note de bas de page du chapitre 5 (p. 71) ne peuvent pas s’exécuter dans Stata car plusieurs symboles sont manquants. Encore, de nombreuses références et crochets dans le texte tout au long du livre n’étaient pas formatés de la même manière (par exemple, p. 8-11).

Malgré ses limites, Un Cours de Théorie des Réponses aux Items et de Modélisation avec Stata est un chef-d’œuvre non-conventionnel. Son exposition généreuse et considérable des connexions conceptuelles à travers des terminologies variées le distingue de tous les textes traditionnels sur l’IRT. Il pourrait mieux servir les personnes qui ont suivi un cours d’introduction à l’IRT que les lecteurs plus ou moins avancés. La principale raison est que la structure de cette édition actuelle, dans une certaine mesure, mélange des perspectives à jour sur l’IRT avec les connaissances plus anciennes et relativement bien connues, et elle présente certains concepts clés de manière progressive mais itérative. Cette structure est plus efficace pour des personnes qui sont relativement nouvelles dans les concepts fondamentaux de l’IRT et souhaiteraient savoir comment les concepts d’IRT sont positionnés par rapport aux autres terminologies en statistique appliquée au sens large.

Références

Albano, T. (2020). Introduction to educational and psychological measurement using R. Retrieved May 12, 2020 from https://www.thetaminusb.com/intro-measurement-r/

Cole, K. M., & Paek, I. (2017). PROC IRT: A SAS Procedure for item response theory. Applied Psychological Measurement, 41(4), 311–320. https://doi.org/10.1177/0146621616685062

DiTrapani, J., Rockwood, N., & Jeon, M. (2018). IRT in SPSS using the SPIRIT macro. Applied Psychological Measurement, 42(2), 173–174. https://doi.org/10.1177/0146621617733956

Hambleton, R. K., & Jones, R. W. (1993). Comparison of classical test theory and item response theory and their applications to test development. Educational Measurement: Issues and Practice, 12(3), 38–47. https://doi.org/10.1111/j.1745-3992.1993.tb00543.x

Hambleton, R. K., Swaminathan, H., & Rogers, H. J. (1991). Fundamentals of item response theory. Newbury Park, CA: SAGE Publications, Inc.

Lord, F. M. (1952). A theory of test scores. Psychometric Monographs, 7, x, 84.

Lord, F. M. (1953). An application of confidence intervals and of maximum likelihood to the estimation of an examinee’s ability. Psychometrika, 18(1), 57–76. https://doi.org/10.1007/BF02289028

StataCorp LLC. (2015). Stata 14 available now. Stata News, 30(1). Retrieved April 1, 2020, from https://www.stata.com/stata-news/news30-1/

StataCorp LLC. (2019). Stata item response reference manual: Release 16. College Station, Texas: Stata Press. https://www.stata.com/manuals/irt.pdf

Zhao, Y., & Hambleton, R. (2009). Software for IRT analyses: Descriptions and features (Center for Educational Assessment Research Report No. 652). Amherst, MA: University of Massachusetts, Center for Educational Assessment. Retrieved May 12, 2020 from https://www.umass.edu/remp/software/CEA-652.ZH-IRTSoftware.pdf