En aboutissant tableau de bord grâce à une base de données d’indicateurs

Que les données aient été créées par une nouvelle enquête ou recueillies via des bases de données existantes, la question du choix des indicateurs finalement retenus dans un tableau de bord est complexe et nécessite de faire des choix.

L’enjeu est d’aboutir à un tableau de bord stabilisé.

De nombreuses méthodes et critères peuvent guider cette phase de sélection des indicateurs. Nous en partageons quelques exemples.

Critères classiques de sélection des indicateurs

Bernard Perret (2003), qui a beaucoup travaillé sur les questions d’évaluation, met en avant cinq critères pour juger de la qualité d’un indicateur :

• Univocité : aucune ambiguïté sur la nature du phénomène qu’il reflète
• Représentativité : résume par un seul chiffre un vaste ensemble de phénomènes.
• Clarté normative : la baisse ou la hausse de l’indicateur peut être facilement interprétée
• Fiabilité, régularité : les informations nécessaires au renseignement de l’indicateur doivent être fournies régulièrement, au moyen d’enquêtes fiables.
• Comparabilité dans le temps et/ou dans l’espace (entre pays, régions…). La comparabilité est étroitement reliée à l’univocité et à la fiabilité.
• Il identifie également trois qualités d’un système d’indicateurs :
  • Complétude : les principaux aspects de la réalité que l’on cherche à observer doivent être pris en compte.
  • Équilibre : le nombre et le statut des indicateurs consacrés à chaque thème doivent refléter son importance relative.
  • Sélectivité et/ou hiérarchie : les indicateurs doivent être peu nombreux ou clairement hiérarchisés. Au-delà de 5 indicateurs, les travaux en psychologie montre qu’il y a déjà un trop-plein d’informations.

  Les nouveaux indicateurs (qui portent sur des aspects invisibles et méconnus) auront tendance à moins respecter les critères de qualité d’un indicateur. Dès lors, il y a une tension entre utiliser des indicateurs existants qui peuvent être décalés par rapport à la prise d’enjeux sociaux et environnementaux et le fait de développer de nouveaux indicateurs qui seront plus en phase avec ces enjeux mais pourront être considérés comme de moindre qualité par rapport aux critères mentionnés ici.

   

  Les indicateurs communautaires de Jacksonville ont été sélectionnés sur la base de tels critères : validity, availabilité and timeliness,, stability and reliability, understandability, responsiveness, policy relevance, representativeness (Besleme et al., 1999, p. 10).

   

  Cadre conceptuel du DPSIR

  Le cadre conceptuel DPSIR (Driving forces, Pressure, State, Impacts, Responses) est particulièrement utile pour sélectionner les indicateurs clés d’un tableau de bord. Ils amènent à distinguer les forces motrices, les pressions, l’état, les impacts et les moyens mis en œuvre pour atteindre les objectifs. En fonction de ce qui visait dans le tableau de bord, un certain type d’indicateurs pourra être privilégié.

  Par exemple, dans le cadre du donut du Grand Genève (Gilloots et Rey, 2022, p. 64), les indicateurs d’état et de pression sont privilégiés pour rendre compte du paramètre social ou écologique concerné par l’objectif (Figure 17). Ces critères sont complétés par trois autres (Merino-Saum et al., 2020) : la parcimonie, c’est-à-dire avoir un set restreint d’indicateurs (moins de 20) couvrant l’ensemble des dimensions du référentiel en favorisant notamment la recherche de marqueurs systémiques ; la comparabilité à cause des jeux de données et la pérennité des indicateursdans le temps ; la complexité afin d’assurer sa scientificité et leur usage dans le cadre des politiques publiques.

  Faire le choix de ces critères (parcimonie, comparabilité, complexité), c’est renoncer à d’autres apports (exhaustivité, spécificité, simplicité). Par conséquent, en fonction de la visée de la démarche, le choix des critères privilégiés pourra varier ; l’important étant de pouvoir rendre compte des raisons ayant motivé ces choix. Pour en savoir plus, visionnez le carrefour permanent des indicateurs avec Camille Gilloots : https://capbienvivre.org/embarquer-le-plus-grand-nombre/1er-carrefour-permanent-des-indicateurs-les-criteres-de-choix-du-set-dindicateurs/

Méthode mixte

Nous illustrons la possibilité de mixer plusieurs méthodes en prenant l’exemple d’IBEST. Dans IBEST les huit dimensions du tableau de bord et les indicateurs associés ont été fixés à travers un traitement systématique du matériau empirique lié au processus participatif.  Après avoir sélectionné des indicateurs candidats au tableau de bord sur la base du matériau participatif, la consolidation du tableau de bord a reposé sur trois méthodes combinées : une analyse par correspondance multiple, une analyse heuristique des indicateurs et le repérage des indicateurs synergiques (Figure 18).

Analyse par correspondance multiple

L’objectif de la méthode est d’éviter la redondance d’informations sur un plan statistique. Face à une telle redondance, trois solutions sont envisageables : 1) se départir de certains indicateurs ; 2) synthétiser les indicateurs qui apportent une information redondante ; 3) conserver les indicateurs apportant au moins partiellement des éléments d’information essentiels et non renseignables par un autre indicateur.

Analyse heuristique des indicateurs

Basée sur la grille d’analyse des « ensembles fonctionnels des cercles vertueux du bien-être ou vicieux du mal-être » mise en avant par le Conseil de l’Europe (2005), cette méthode de filtrage vise à se départir des indicateurs redondants d’un point de vue heuristique afin d’avoir une grille renseignant aussi sur l’état des personnes, leurs environnements, leurs appréciations, etc.

Le repérage des indicateurs synergiques

Dans le sillage de l’approche des besoins de l’économiste chilien Manfred Max-Neef (1991), cette méthode consiste à apprécier la soutenabilité des indicateurs retenus dans le tableau de bord et vise à retenir en priorité les indicateurs qui sont à la charnière de plusieurs dimensions.

Le choix des critères de sélection des indicateurs importe grandement pour le résultat final. En fonction de l’objectif poursuivi, l’équilibre entre différents types d’indicateurs pourra varier.

Il y a plusieurs manières de le faire :

• En décortiquant la chaine de causalité d’un phénomène social ou environnemental ;
• En sélectionnant des indicateurs synergiques.

Pour articuler ces deux volets, il est possible soit de chercher à distinguer les dimensions pour ensuite pouvoir les recroiser, soit d’adopter des entrées liant directement celles-ci.