Construire l’indicateur
Chaque étape du processus de construction de l’indicateur implique une forte dimension normative et suppose une variété de choix, actifs ou par défaut. Il s’agit dès lors de penser en concordance les choix techniques opérés (de collecte, de traitement, de synthèse des résultats, etc.) avec les finalités (bien vivre, progrès social, bien-être soutenable, etc.) poursuivies dans la démarche.
Précautions éthiques
A minima, le socle réglementaire
“De manière générale, avez-vous le sentiment de contrôle sur votre vie ? Parvenez-vous à mettre de l’argent de côté ? Combien gagnez-vous par mois ? Avez-vous des engagements militants ?” Certaines questions liées au bien-vivre paraissent très personnelles, voire intimes. Pourtant, elles ne rentrent pas en contradiction avec l’esprit ou la règle en matière de protection des données personnelles et de la vie privée à partir du moment où des précautions sont prises : anonymisation bien sûr, mais aussi formulation et format des questions et des réponses, mode de passation, information des personnes enquêtée, transparence sur les traitements, etc. Le conseil de la personne déléguée à la protection des données ou d’un service juridique au moment de la finalisation du questionnaire reste de mise avant de lancer l’enquête.
Les biais, les choix et leur justification dans l’IBEST
Toute démarche scientifique a pour départ une hypothèse, un point de vue. La manière de formuler les questions, d’analyser les réponses, d’établir des seuils, les méthodes statistiques retenues, etc. chaque choix et non-choix a un impact sur les contenus produits. Une prise de recul sur la démarche elle-même et l’élargissement des points de vue constituent des gardes-fous nécessaires contre une vision uniforme et réductrice du bien-être soutenable. C’est pourquoi des sessions participatives, sous différents formats, sont nécessaires dans de telles démarches. Les séances participatives ne visent pas seulement une restitution des résultats mais bien une ouverture de la « boîte noire » des analyses ainsi que les questions qu’elles posent, en termes scientifiques, politiques et d’action publique.
Des seuils de soutenabilité évolutifs ?
Le S dans “IBEST” pose la question de la soutenabilité, en lien notamment avec les travaux de l’économiste Kate Raworth autour d’un « plancher social » et d’un « plafond environnemental » (2012) formant un « donut » : par exemple pour l’accès aux biens de subsistance, il semble souhaitable que chacun.e puisse manger à sa faim d’une part (le plancher), et que la satisfaction des besoins alimentaires ne se fasse pas au détriment de la pérennité des ressources planétaires d’autre part (le plafond). Pour la santé, il paraît difficile d’atteindre un taux de 100 % d’individus en bonne santé, mais souhaitable que 100 % des personnes s’estimant en mauvaise santé puissent être médicalement suivies. Quel seuil de soutenabilité définir pour la participation à la vie associative ? Pour la confiance dans les institutions ? Ces seuils de soutenabilité, dimension par dimension, doivent être régulièrement débattus.
Des points de vue situés et normatifs ? L’exemple de la dimension environnement
L’une des dimensions qui a le plus suscité de débats au sein du collectif IBEST mais aussi lors des sessions participatives a été la dimension environnementale. En effet, il s’agit d’une dimension ouverte aux interprétations individuelles et collectives : si le contact avec la nature ou le végétal est globalement positif pour le bien-être humain, il semble délicat de placer le « bon niveau » de fréquentation d’espaces verts, de la campagne ou de la montagne.
La question des éco-comportements a été privilégiée pour la dimension environnement d’IBEST eu égard aux enjeux des politiques publiques locales liées aux efforts individuels en matière environnementale. Les travaux de Rebecca Shankland et Béatrice Lamboy en psychologie positive montrent que les pratiques écoresponsables sont susceptibles de participer au bien-être personnel (2011). Cette approche par les écocomportements a pour écueil d’amener l’analyse IBEST à qualifier certains comportements individuels, en se limitant à ceux posés par le questionnaire, avec une entrée normative, en considérant d’emblée comme positifs les comportements écoresponsables. Nombre d’écocomportements ne sont pas interrogés ou creusés, comme les options retenues pour les loisirs, les vacances, ou le réemploi d’objets par exemple. De manière générale, le questionnaire manque de questions relatives aux motivations et valeurs individuelles (l’écologie est-elle importante pour vous ? Quelles sont vos motivations de choix de comportement, quand ce choix est possible ?) Le questionnaire IBEST, administré par téléphone, compte toutefois déjà 70 questions pour 30 à 45 minutes par entretien, sans compter le temps d’exploitation statistique et d’analyse collective, c’est pourquoi ces questions en sont absentes pour les enquêtes 2012 et 2018.
Des appréciations à l’emporte-pièce ?
Pour quasiment toutes les dimensions, ce qui peut paraître une « bonne » chose au sens « soutenable pour notre société », peut dissimuler des éléments néfastes ou à nuancer. Par exemple, il y a une forme de consensus sur une interprétation positive de la consommation de produits issus de l’agriculture biologique. Cette consommation est valorisée et jugée a priori soutenable, alors que ces produits biologiques sont parfois susceptibles de représenter une importante empreinte carbone par leurs trajets ou une plus grande emprise au sol par rapport à l’agriculture conventionnelle. Il convient donc de garder à l’esprit la tentation des biais de confirmation ainsi que les représentations individuelles et collectives dont ne sont pas exempts les membres du groupe en charge de l’exploitation des bases de données.
La mise en discussion reste nécessaire, notamment avec les citoyens sur les seuils de soutenabilité – qui concernent le collectif – afin d’identifier ce qui fait temporairement consensus et de promouvoir une conception pluraliste et nuancée du bien-être.
Recueillir les données
Il est nécessaire de bien garder en tête la différence entre données d’enquêtes et données administratives.
Enquêtes | Données administratives (CAF, Gendarmerie, etc.) | |
---|---|---|
Définition | « Collecte effectuée par un organisme spécialisé dans la statistique et visant à produire une information agrégée de portée générale » (p. 4) | « Une source administrative est issue d’une institution dont la finalité n’est pas de produire une telle information, mais dont les activités de gestion impliquent la tenue, selon des règles générales, de fichiers ou de registres individuels, dont l’agrégation n’est qu’un sous-produit, alors que les informations individuelles en sont l’élément important, notamment pour les individus ou les entreprises concernés. » (p. 4) |
Coût en argent et en temps | Important du fait de la construction de l’enquête et de sa passation | Important du fait du data editing |
Ventilation Territoriale | Peu adapté | Adapté |
Informations apportées | Aspects nouveaux de la société | Reflet de l’action déjà existante |
Catégorie | Possibilité de créer de nouvelles catégories en fonction des besoins | Tributaire des catégories réglementaires |
Espace conventionnel d’équivalence | Tributaires des catégories cognitives et linguistiques des enquêtés ou des formes d’organisation préalable de l’information | Déterminé par les contextes institutionnels et réglementaires nationaux |
Comparabilité internationale des données statistiques | Problématique en raison des différences linguistiques et culturelles | Problématique du fait de l’influence institutionnelle et réglementaire. Risque de rupture dans la continuité des séries à tout changement réglementaire (ex : chiffre du chômage) |
Evaluation des politiques publiques (distinction entre les fins et les moyens) | Possibilité d’interroger sur les personnes et sur les finalités des politiques publiques | Les données portent plutôt sur les moyens et sur l’action publique que sur l’état de la société (exemple : statistique de la délinquance) |
Données administratives
Les données administratives peuvent davantage refléter le niveau d’activité de la structure productrice de la donnée que le phénomène qu’on cherche à approcher via ces données. Par exemple, les indicateurs du niveau de délinquance, s’ils sont issus des données de gestion de la police et de la gendarmerie sont dépendantes des catégories réglementaires de la police/gendarmerie mais aussi des pratiques d’enregistrement (qu’est ce qui compte pour un délit ? Pour une main courante ?) Tout changement dans les règles de gestion peut influencer les indicateurs issus de telles sources. Si Pôle Emploi commence à radier plus de chômeurs, alors le chiffre global du chômage de cette institution ne prendra plus en considération ces personnes radiées et y verra une baisse du chômage. Par conséquent, il faut être très prudent dans l’interprétation d’une hausse ou d’une baisse des indicateurs calculés à partir de données de gestion. Le chiffre de la délinquance/des crimes peut évoluer parce que les personnes iraient davantage porter plainte en cas d’agression (par exemple les femmes victimes de violence conjugale), le chiffre augmentera alors sans pour autant que le phénomène en tant que tel soit augmenté (simplement des phénomènes jusque là moins visibles mais existant vont maintenant figurer ou augmenter dans le recueil des données). En outre, les données administratives peuvent davantage renseigner sur l’offre du territoire (par exemple le nombre de médecins) que sur la satisfaction ou non d’un besoin (par exemple avoir effectivement accès aux soins).
Enquêtes
Les données d’enquêtes présentent le mérite de renseigner directement sur ce que l’on souhaite que ces enquêtes soit menées par des instituts statistiques ou par des collectifs de citoyens. Toutefois, elles sont parfois peu adaptées à des ventilations géographiques. De plus, elles sont tributaires des catégories de l’enquêteur et de la compréhension des personnes enquêtées.
Les deux formes de collecte peuvent être coûteuses en termes de temps et donc en termes d’argent.
Chacune des formes de données présente donc des avantages et des inconvénients et il faut par conséquent plutôt chercher à penser la complémentarité entre ces deux formes de données que de les penser en opposition.
Pour aller plus loin :
Lien vers article de Desrosières sur deux sources de la statistique
Collecter et traiter les données
Ce qu’on appelle le chiffre recouvre des objets divers et des constructions plus ou moins agrégées. En entrant dans le cœur de la construction des indicateurs, on se rend compte qu’il y a de multiples manières de les construire. Comment apprécier le phénomène de bien-être ? Il existe pléthore de manières de convenir du phénomène, certains qualitatives, d’autres quantitatives. Contrairement à l’opposition généralement établie entre quantitatif et qualitatif, dans les faits, il faut souvent s’appuyer sur des formes d’hybridation entre ces deux types de connaissances. Il faut distinguer deux phases : la phase de collecte des données et celle de traitement.
Agréger les données
L’indicateur est « une statistique à laquelle on attache une importance particulière pour la connaissance, le jugement et/ou l’action » (Perret, 2002, p. 1), tandis que la variable est la donnée sur laquelle porte l’indicateur. La variable fixe un certain découpage de la population où chaque individu va figurer dans une modalité unique. L’indicateur peut correspondre dans son calcul à une seule variable, il peut également être la résultante de la mise en relation de plusieurs variables sous forme de ratio ou de pourcentage par exemple. Comparativement à une variable, un indicateur est un niveau d’information qui nourrit la décision politique ou la connaissance
L’indicateur est calculé à partir de données transformées en variables. On peut poser ainsi les définitions suivantes :
- Données : Sources initiales d’information
- Variable : Grandeur susceptible de prendre différentes valeurs – 1er niveau d’agrégation de données
- Indicateurs : niveau d’informations servant à la décision et la connaissance – 2e niveau d’agrégation
Les indices ou index sont les résultants de l’agrégation de plusieurs indicateurs. Un index peut agréger des indicateurs exprimés dans une même unité (une monnaie généralement). Un indice agrège des indicateurs dont les unités de compte sont dissemblables (euro, %, etc.) et exprime une valeur agrégée et normalisée sur une échelle de 0 à 100 (ou 0 à 1 ce qui revient à la même chose).
Voici un exemple permettant d’illustrer chacun des niveaux à partir du PIB
- Données : Compte d’exploitation des lieux de création de richesses monétaires
- Variable : Valeurs ajoutées (VA)
- Indicateur : Somme des VA = PIB
- Indice : Indice de développement humain qui agrège le PIB avec deux autres indicateurs (santé, éducation). Les unités n’étant pas les même entre une espérance de vie, la durée de scolarisation et un PIB par habitant, l’indice est exprimé sur une échelle de 0 à 100 après avoir été normalisé.
La phase de collecte
On peut aussi hybrider à différents niveaux. Je peux par exemple me servir du traitement fait du qualitatif pour pondérer des observations quantitatives. Je peux m’appuyer sur des analyses descriptives d’un territoire pour m’aider dans l’interprétation des données qualitatives. Ces traitements (quantitatifs ou qualitatifs) impliquent des modes de montée en généralité différents. Quand je suis sur du quantitatif, je vais généralement agréger des observations individuelles. Quand je recours au qualitatif, je peux être sur un mode de montée en généralité plus directement totalisant/collectif basé sur la mise en avant de tendances qui ne peuvent être désagrégées dans la sommation d’expressions individuelles.
Choisir les indicateurs clés
On peut distinguer les expériences visant à construire un tableau de bord (Indicateurs de qualité de vie de Jacksonville, Indicateurs de Saguenay-Lac-Saint-Jean, Indicateurs de cohésion sociale de Wallonie, etc.) de celles ayant débouché sur la création d’un indicateur synthétique (ISS Nord-Pas-de-Calais, ISSR Ile de France, IPBE d’Hénin Carvin, etc.). En définitive, le choix entre indicateur(s) synthétique(s) et tableau de bord dépend largement de l’usage (ou des usages) visé(s) par les concepteurs de la mesure. Ce choix fait donc partie de la démarche collective de construction des dits indicateurs. Nous donnons un exemple de comment peut être stabilisé un tableau de bord.
Tableau de bord ou indice synthétique ?
Un tableau de bord est structuré au travers de dimensions pouvant éventuellement être déclinées en sous-dimension. Chaque dimension comprend plusieurs indicateurs. Le choix des dimensions peut s’opérer de manière experte ou de manière participative. Un tableau de bord est construit pour présenter de manière cohérente les indicateurs clés présentés dans la démarche. Diverses méthodes peuvent être utilisées pour stabiliser le tableau de bord (ACP/ACM, choix des indicateurs synergiques, etc.) Il correspond au référentiel produit par la démarche. Les tableaux de bords existants peuvent être plus ou moins fournis : par exemple, en 2020, le Social Progress Index (international) comprend 50 indicateurs avec 3-5 indicateurs par sous-dimension ; le tableau de bord du bien-être interne de Lordo (Italie) en comprend 46. Par comparaison, le tableau de bord des indicateurs de bien-être soutenable territorialisés de Grenoble IBEST (France) comprend 28 indicateurs.
L’avantage des indicateurs composites est qu’ils permettent de synthétiser plusieurs agrégats issus de diverses dimensions, de générer des listes de classement et de suivre facilement les progrès d’un territoire au fil du temps. A ce titre, ils constituent de bons outils de communication. Ils présentent néanmoins divers inconvénients dont le risque de déboucher sur conclusions hâtives, parfois simplistes, susceptibles de camoufler de graves insuffisances de certaines dimensions et donc d’entraver la mise en place de mesures correctives.
La stabilisation du tableau de bord : l’exemple d’IBEST
Dans IBEST les huit dimensions du tableau de bord et les indicateurs associés ont été fixé à travers un traitement systématique du matériau empirique lié au processus participatif. Après avoir sélectionné des indicateurs candidats au tableau de bord sur la base du matériau participatif, la consolidation du tableau de bord a reposé sur trois méthodes combinées : une analyse par correspondance multiple, une analyse heuristique des indicateurs et le repérage des indicateurs synergiques.
Analyse par correspondance multiple
L’objectif de la méthode est d’éviter la redondance d’informations sur un plan statistique. Face à une telle redondance, trois solutions sont envisageables : 1) se départir de certains indicateurs ; 2) synthétiser les indicateurs qui apportent une information redondante ; 3) conserver les indicateurs apportant au moins partiellement des éléments d’informations essentiels et non renseignables par un autre indicateur.
Analyse heuristique des indicateurs
Basée sur la grille d’analyse des « ensembles fonctionnels des cercles vertueux du bien-être ou vicieux du mal-être » mise en avant par le Conseil de l’Europe (2005), cette méthode de filtrage vise à se départir des indicateurs redondants d’un point de vue heuristique afin d’avoir une grille renseignant aussi sur l’état des personnes, leurs environnements, leurs appréciations, etc.
Le repérage des indicateurs synergiques
Dans le sillage de l’approche des besoins de l’économiste chilien Manfred Max-Neef, cette méthode consiste à apprécier la soutenabilité des indicateurs retenus dans le tableau de bord et vise à retenir en priorité les indicateurs qui sont à la charnière de plusieurs dimensions.
Construire un indice synthétique
Beaucoup de travaux traitent de la question de la construction des indicateurs synthétiques comme si cette question était essentiellement d’ordre mathématique et statistique. Cependant, l’usage des indicateurs sera clairement influencé par la méthode de pondération et de normalisation retenue, ce qui amène à considérer que cette question dépasse le champ de la technique et se situe également dans le champ du politique.
Pondération : de quoi parle-t-on ?
La méthode de pondération détermine le poids attribué à chaque dimension et indicateurs dans le cadre de la construction d’un indice synthétique ou composite.
Quelle méthode choisir ?
La méthode la plus fréquemment utilisée est la pondération basée sur une moyenne arithmétique non pondérée (IDH, ISS, IHP, IBM, IBEST) qui est une méthode de pondération « arbitraire ». Cette méthode est une équipondération entre les différentes composantes de l’indice synthétique. Les conséquences de l’usage d’une telle méthode est qu’on attribue un poids semblable à toutes les dimensions et que peut s’opérer une compensation partielle entre les dimensions. L’avantage de cette méthode est sa simplicité et le fait qu’elle soit facilement appropriable par les acteurs.
D’autres options existent pour choisir la pondération de l’indicateur :
- Un choix plutôt statistique amenant à déterminer les poids via un calcul d’ACM/ACP (Social Progress Index) ;
- Pondération « arbitraire » ;
- Pondération fixée collectivement ;
- Moyenne géométrique ;
- DEA Méthode
Certaines expériences optent pour une pondération en fonction du poids de la variable en termes de développement (BIP 40, IBEE).
Normalisation : de quoi parle-t-on ?
La normalisation permet de ramener sur une échelle commune des variables exprimées dans des unités de mesure différentes. Il importe donc de choisir la méthode au regard de l’usage visé par l’indicateur et en cohérence avec les concepts et valeurs portés dans l’expérimentation.
Pour agréger des temps de trajets moyens avec des pourcentages de satisfaction par rapport au temps consacré à différentes activités, il faut créer une échelle fictive commune exprimée dans des bornes de 0 à 100. Il faudra alors déterminer à quoi est égale la valeur maximale de 100 et à quoi correspond la valeur minimale de 0.
Quelle méthode choisir ?
La personne qui souhaite construire des indices synthétiques peut opter pour différents choix.
Quelques exemples de normalisation & d’expériences associées
Comparative | Centrée réduite | Comparative avec borne fixée | Unité commune *Monétaire *Pourcentage *Unité spécifique | Indice spécial | « Mixte » |
BIP40 ; ISS ; Better life Index ; Indice de Pauvreté humaine | Indice de Soutenabilité Environnementale | IDH ; Indicateurs d’inégalités de genre | Indice de progrès véritable Indicateur de Pauvreté Humaine Empreinte Ecologique | HPI BNB | Indicateur de Progrès Social IBEST |
Source : Ottaviani (2016)
La normalisation détermine l’intervalle de valeurs par rapport auquel seront retraduits et, donc interprétés les indices.
La méthode de normalisation comparative simple a par exemple l’avantage de la simplicité. Elle présente le défaut d’accentuer « artificiellement » les différences entre les territoires observées. Or, la meilleure performance enregistrée sur l’indicateur peut s’avérer non soutenable d’un point de vue social et/ou environnemental. Une autre limite concerne l’évolution temporelle des variables : celle-ci amène à procéder à une renormalisation.
Le choix d’une borne peut s’appuyer sur une moyenne des observations existantes (méthode comparative simple), soit sur des seuils définis de manière réglementaire ou via une discussion collective (IBEST, BNB). La détermination des valeurs des bornes minimales et maximales croise la question des seuils de soutenabilité. La réflexion sur les seuils de soutenabilité amène à s’interroger sur « qu’est-ce qui est assez » ? L’intégration de la convention sociopolitique du bien vivre et de seuils associés peut s’appuyer sur la construction d’un indice spécial. C’est le cas pour le bonheur national brut. Dans le BNB, sont considérés comme heureux ceux qui ont atteints un seuil de suffisance dans 2/3 des domaines considérés + Pourcentage des domaines où ceux qui ne sont pas heureux sont sous le seuil de suffisance. L’indicateur final correspond à la différence entre 100 % et ces deux pourcentages.
Pour aller plus loin :
- Fiche déjà rédigée sur des exemples de normalisation
Retour à la page
Construire des boussoles