La passation des épreuves a lieu en fin d’année scolaire. La méthodologie prévoit un déroulement de l’enquête sur trois années :

• Première étape, année n - 1 : expérimentation d’un nombre conséquent d’items auprès d’un échantillon restreint d’élèves la première année ;
• Première étape, année n : sélection des items valides à partir des résultats de l’expérimentation, sélection des items repris des évaluations précédentes pour assurer les comparaisons temporelles, passation de l’évaluation ;
• Troisième étape, année n + 1 : analyse et publication des résultats.

Une échelle de performances est élaborée en utilisant les modèles de réponse à l’item. Le score moyen, correspondant à la performance moyenne des élèves de l’échantillon de l’évaluation initiale, est fixé par construction à 250 et l’écart-type à 50. Cela implique qu’environ deux tiers des élèves ont un score compris entre 200 et 300. Mais cette échelle, comme celle de l’enquête PISA, n’a aucune valeur normative et, en particulier, la moyenne de 250 ne constitue en rien un seuil qui correspondrait à des compétences minimales à atteindre.

Sur la base de constats fréquemment établis dans les différentes évaluations antérieures de la Depp, la partie la plus basse de l’échelle est constituée des scores obtenus par les 15 % d’élèves ayant les résultats les plus faibles. À l’opposé, la partie supérieure constituée des scores les plus élevés rassemble 10 % des élèves. Entre ces deux niveaux, l’échelle est scindée en trois parties d’amplitudes de scores égales correspondant à trois groupes intermédiaires.

Les modèles de réponse à l’item ont l’avantage de positionner sur la même échelle les scores des élèves et les difficultés des items. Cette correspondance permet de caractériser les compétences maîtrisées par chacun des groupes d’élèves.

Comparabilité entre deux évaluations

Afin de pouvoir comparer les résultats des enquêtes réalisées à plusieurs années d’intervalle, des items de l’évaluation initiale sont repris à l’identique dans la nouvelle évaluation. Par exemple, en 2014, 81 items de 2008 ont été repris à l’identique dans l’évaluation des performances en mathématiques en fin de collège. Lors de l’analyse des résultats, les modèles de réponse à l’item sont réutilisés et appliqués cette fois à l’ensemble des résultats des deux évaluations.

L’estimation conjointe des modèles de réponse à l’item à partir des données de deux évaluations et la présence d’items communs entre les deux évaluations permet la comparaison directe à la fois des scores des individus et des difficultés des items entre les deux passations.

Un soin particulier est apporté à l’analyse de ces items communs entre les deux évaluations. Ainsi les items retenus dans l’analyse finale doivent d’une part ne pas présenter de fonctionnement différentiel (par exemple un écart de taux de réussite entre les deux passations anormalement élevé), et d’autre part devait avoir des propriétés psychométriques satisfaisantes.

Les données de l’évaluation initiale sont donc ré-analysées dans cette perspective de comparaison. C’est pourquoi certaines différences notamment sur la valeur des scores seuils peuvent apparaître par rapport à la publication initiale.

Significativité

Les résultats des évaluations Cedre sont soumis à une variabilité qui dépend des erreurs d’échantillonnage. Il est possible d’estimer statistiquement ces erreurs d’échantillonnage et de produire des intervalles de confiance. Par exemple, le score moyen des élèves sur l’échelle de mathématiques en fin de collège était de 243 en 2014, mais le vrai score, tel qu’il serait calculé pour l’ensemble des élèves de troisième, se situait, avec une probabilité de 95 %, entre 240,4 et 245,6 (c’est-à-dire ± 2,6 points).

Par conséquent, le score moyen des élèves de 2014 était significativement différent de celui des élèves de 2008, qui était de 250 (± 3,2 points). Depuis l’évaluation des sciences expérimentales en 2013, chaque évaluation Cedre donne lieu à la publication d’un rapport technique précisant les méthodes utilisées dans le cadre de l'évaluation.

• d’inscrire les processus d’évaluation dans une dynamique pérenne d’amélioration continue
• de renforcer la prise en compte des attentes des usagers dans la formalisation des objectifs des évaluations et la restitution de leurs résultats
• de faire reconnaître par une certification de service la qualité du service rendu et la continuité du respect des engagements pris.

• des objectifs clairs et partagés
• des évaluations fondées sur l'expertise pédagogique
• les meilleures pratiques méthodologiques et statistiques au service de l'objectivité
• une mesure fiable et des comparaisons temporelles pertinentes
• des analyses enrichies par des données de contexte
• la transparence des méthodes et le partage des résultats