Mesurer ce qu'on a appris avec des autotests avant-après, et ce qu'une telle comparaison ne peut pas montrer

Objectif

Remplacer le sentiment d'avoir appris quelque chose par un chiffre reposant sur une base énoncée : combien de questions, parmi un ensemble fixe, pouvaient recevoir une réponse avant une période d'étude, et combien parmi un ensemble comparable après celle-ci, à retardement, avec, à côté du chiffre, les raisons pour lesquelles il pourrait être faux.

Prérequis

La matière et son périmètre définis à l'avance ; un moyen de rédiger des questions à réponses non ambiguës (un barème rédigé avant les tests) ; un calendrier pour le post-test différé ; et la volonté de noter selon le barème sans ajustement.

Étapes

1. Rédiger deux ensembles de questions couvrant le même périmètre, en alternant l'ensemble auquel chaque question est affectée, afin que les ensembles soient aussi semblables que possible. Rédiger le barème avec chaque question. Ne pas étudier en les rédigeant.
2. Répondre à l'ensemble A à l'aveugle, avec une limite de temps et la source fermée ; le noter avec le barème et consigner le score, la date et le temps pris.
3. Étudier pendant la période prévue, en tenant un journal des heures et de la méthode.
4. Après un délai fixé à l'avance (une semaine, pas le même soir), répondre à l'ensemble B dans les mêmes conditions et le noter.
5. Consigner l'écart et, à côté, les réserves qui s'appliquent : le prétest lui-même a constitué un exercice de récupération (la revue citée rapporte que la pratique de récupération améliore l'apprentissage, si bien que répondre à l'ensemble A fait partie du traitement) ; les ensembles A et B peuvent différer en difficulté ; le délai et les conditions peuvent ne pas correspondre ; rien n'a été comparé à l'absence d'étude.
6. Éventuellement, refaire aussi l'ensemble A au moment du délai, pour voir si les questions du prétest se sont spécifiquement mieux améliorées que l'ensemble parallèle ; un grand écart suggère que le prétest a enseigné les réponses.
7. Conserver les questions, les barèmes et les scores ; répéter tout le cycle sur un sujet ultérieur rend les chiffres comparables entre eux, pas avec ceux de quiconque d'autre.

Résultat attendu

Deux scores avec dates, conditions et une liste écrite des raisons pour lesquelles l'écart surestime ou sous-estime l'apprentissage, plus une banque de questions pouvant alimenter un programme de pratique de récupération.

Limites et base de vérification

Un seul apprenant sans condition témoin ne peut pas attribuer le gain à la méthode d'étude plutôt qu'au prétest, au temps ou à des questions plus faciles. Le guide de l'IES recommande des jugements différés sur l'apprentissage et des quiz pour trouver ce qui nécessite davantage de travail, ce que ce protocole fournit ; il ne transforme pas le score en une mesure d'une méthode. Aucun chiffre n'est revendiqué ici.