Le Moniteur de l'Accessibilité est un instrument de mesure développé en 2007 par AnySurfer en collaboration avec K-point, le centre de recherches et de connaissances sur les TIC et l'inclusion de la Katholieke Hogeschool Kempen (l'Institut Supérieur Catholique Campine). Le Moniteur produit une mesure de l'accessibilité des sites web belges.
La méthode suivie pour obtenir le pourcentage de sites web accessibles est la suivante :
L'échantillon principal se veut représentatif du paysage web belge. Chaque catégorie contient, si possible, aussi bien des sites francophones que néerlandophones.
L'échantillon évolue d'une année à l'autre. Certains sites n'existent plus. Certains sont remplacés par d'autres sites dans la même catégorie (par exemple pour les villes). Des nouveautés apparaissent, comme par exemple des sites de partage de vélos dans la catégorie mobilité.
Pour pouvoir obtenir des résultats pour tous les sites de nos échantillons, nous faisons appel à des étudiants en webdesign.
Dans un premier temps nous les sensibilisons à l'accessibilité lors d'une conférence intégrée à leur programme de cours. Lors de cette conférence nous leur expliquons également comment évaluer l'accessibilité d'un site web au moyen de la procédure du Quickscan.
Ensuite, chaque étudiant analyse 2 sites et encode les résultats dans une base de données. Étant donné le grand nombre d'étudiants qui participent, la grande majorité des sites sont analysés par plusieurs étudiants.
La procédure habituelle d'analyse, l'audit AnySurfer, est trop longue pour être utilisée dans le cadre de ce moniteur. C'est pourquoi nous avons développé une méthode d'analyse permettant d'obtenir une évaluation rapide de l'accessibilité d'un site web: le QuickScan.
Le quickscan est une sélection de 15 critères qui permettent de détecter les sites qui ne sont pas suffisamment accessibles. Le QuickScan ne remplace pas un audit complet et ne permet pas de garantir qu'un site est accessible.
Les critères du quickscan ont légèrement évolué au cours des années pour suivre l'évolution du web. Les critères utilisés sont documentés dans chaque rapport du moniteur.
Pour obtenir une appréciation quantifiable, chacun des 15 critères est pondéré (*) de 1, de 2 ou de 3. Un site web réussit le test du QuickScan s'il obtient un score d'au moins 75%.
Dans son rapport, l'étudiant doit sélectionner une des appréciations "Ok", "Pas Ok" ou "Pas d'application" et ajouter un commentaire pour expliquer l'appréciation. Chaque site web est évalué par plusieurs étudiants.
Les étudiants contrôlent au moins 6 pagesreprésentatives de chaque site web. Parmi la sélection, les pages suivantes sont typiquement reprises:
Les résultats sont encodés dans une base de donnée par le biais d'un formulaire en ligne. Les professeurs concernés ont accès à toutes ces données afin de pouvoir évaluer le travail de leurs étudiants.
Pour démarrer, nous avons pour chaque site web, par critère, le nombre d'étudiants qui l'ont évalué à OK, à pas OK et à Pas d'application.
Nous faisons l'hypothèse que la majorité a raison. Quand tous les étudiants ont évalué un critère de la même manière, c'est simple:
Si tous les résultats ne concordent pas:
De cette manière on obtient pour chaque site web 15 résultats, 1 par critère.
Nous avons attribué à chaque critère un poids de 1, 2 ou 3 en fonction de son importance. Pour obtenir le score d'accessibilité d'un site nous faisons une moyenne pondérée des résultats.
Sur base du pourcentage obtenu par chaque site, nous pouvons calculer le pourcentage de sites ayant obtenu au moins 75%. C'est le pourcentage à partir duquel un site est considéré un minimum accessible, dans le cadre de ce moniteur. Une distribution des résultats est également obtenue.
Pour chaque critère nous faisons également une moyenne des résultats obtenus sur tous les sites.