Le fromage suisse d’une réforme : pourquoi les garde-fous laissent passer les erreurs

Partager :

Série Boîte noire — dossier n° 2 sur 54.

En France, entre l’idée d’une réforme et son application au guichet d’une caisse d’allocations familiales, un texte de loi passe par une dizaine d’étapes. Il y a un arbitrage en cabinet, la rédaction par une direction d’administration centrale, une étude d’impact, l’avis du Conseil d’État et la délibération en Conseil des ministres. Viennent ensuite deux lectures au Parlement, avec commissions et amendements, parfois un contrôle du Conseil constitutionnel, puis les décrets d’application, les circulaires, les systèmes informatiques et les agents. En principe, chaque étape permet de repérer un défaut.

Des mesures coûteuses ou injustes passent pourtant régulièrement tous ces filtres. Créée en 2012, la contribution de 3 % sur les dividendes a été invalidée cinq ans plus tard, et la facture pour l’État a atteint environ 10 milliards d’euros. Comment un défaut peut-il franchir autant de contrôles sans être arrêté ?

Pour les accidents industriels et aériens, le psychologue James Reason a proposé une image restée célèbre, celle du « fromage suisse ». Ce deuxième dossier de la série l’applique à l’élaboration des politiques publiques, dans la continuité du dossier n° 1 consacré à la méthode d’enquête sans faute.

Le mécanisme

Un système complexe est protégé par plusieurs couches de défense successives. Dans un avion, ce sont la conception, la maintenance, les procédures, la formation, les alarmes, le contrôle aérien et le second pilote. Aucune n’est parfaite, et chacune a des trous, comme une tranche d’emmental. Certains trous viennent d’erreurs actives (un oubli, un mauvais réglage). D’autres viennent de conditions latentes, comme une procédure ambiguë, un effectif trop juste ou un calendrier trop serré. Ces trous se déplacent et s’ouvrent ou se ferment selon les circonstances. L’accident se produit quand, à un instant donné, les trous de plusieurs tranches s’alignent et qu’une trajectoire de danger peut aller jusqu’au bout.

Transposé à une réforme, le modèle se lit ainsi. Les tranches correspondent aux institutions et aux procédures chargées de filtrer les erreurs :

  • L’étude d’impact, obligatoire pour les projets de loi depuis la loi organique du 15 avril 2009, qui doit présenter les options possibles et leurs conséquences économiques, sociales, financières et environnementales.
  • L’avis du Conseil d’État, qui examine la qualité juridique du texte et peut en relever les fragilités.
  • La consultation des organismes concernés (partenaires sociaux, conseils consultatifs, collectivités), et plus rarement celle du public.
  • Le débat parlementaire, en commission puis en séance.
  • Le contrôle de constitutionnalité, a priori ou par question prioritaire de constitutionnalité.
  • La mise en œuvre par l’administration, qui rencontre les premiers cas réels.
  • L’évaluation ex post, menée par la Cour des comptes, les inspections, les organismes d’évaluation ou des chercheurs.

Les trous sont de plusieurs sortes : un délai trop court, une donnée absente, un amendement ajouté en séance sans étude préalable, un ménage type qui ne ressemble à aucun ménage réel, une alerte émise puis restée sans suite. Le modèle a l’intérêt de déplacer la question. Plutôt que de chercher « qui n’a pas vu le problème ? », on se demande « pourquoi tous les filtres ont-ils laissé passer ce problème-là, et pas d’autres ? ».

Ce que dit la recherche

Un modèle issu de l’industrie à risque

Reason a formalisé la distinction entre erreurs actives et conditions latentes dans Human Error (1990), avant de développer le modèle des défenses en profondeur dans Managing the Risks of Organizational Accidents (1997). L’image des tranches de fromage, rendue populaire en particulier par son article de 2000 dans le British Medical Journal, s’est répandue dans l’aviation, le nucléaire et la médecine. Justin Larouzée et Jean-Christophe Le Coze (2020) ont retracé l’histoire du modèle et recensé les critiques qui lui ont été faites. Selon eux, ses fondements systémiques le rendent toujours pertinent, pourvu qu’on ne le réduise pas à une simple illustration.

Les critiques à connaître

Thomas Perneger (2005) a interrogé des professionnels de la qualité hospitalière. Beaucoup comprenaient mal ce que représentaient les trous et les tranches, ce qui réduisait l’utilité pratique du modèle. Erik Hollnagel (2004) le juge trop linéaire : dans les systèmes complexes, les accidents naissent souvent d’une combinaison de variations normales plutôt que d’une suite de défaillances identifiables. Ces critiques sont utiles ici, car une réforme ne traverse pas des filtres l’un après l’autre comme un objet inchangé. Elle est souvent modifiée à chaque étape, et le défaut final peut venir d’une interaction entre étapes. C’est le cas d’un amendement qui change un seuil alors que l’étude d’impact en avait calculé les effets pour une autre valeur.

Le paradoxe de la redondance

Ajouter des barrières ne suffit pas à garantir la sécurité. À propos de la sécurité nucléaire, Scott Sagan (2004) a montré que la redondance peut avoir des effets pervers, chaque couche comptant implicitement sur les autres. On retrouve là les travaux classiques de John Darley et Bibb Latané (1968) sur la dilution de la responsabilité : plus il y a de témoins, moins chacun se sent obligé d’agir. Dans la fabrique de la loi, le rédacteur peut penser que le Conseil d’État relèvera les problèmes juridiques, et le Conseil d’État qu’il ne se prononce pas sur l’opportunité. Le parlementaire suppose que l’administration a fait les calculs, l’administration que le Parlement a tranché. Chacun a raison dans son domaine, et personne ne regarde l’ensemble.

Les chiffres, et ce qu’ils valent

Quelques données donnent une idée de l’épaisseur réelle des tranches françaises.

Pour l’étude d’impact, depuis 2009, la Conférence des présidents de l’assemblée saisie peut refuser d’inscrire un projet de loi dont l’étude d’impact est insuffisante, et le Conseil constitutionnel doit alors se prononcer. Ce mécanisme n’a donné lieu qu’à une seule décision, en juillet 2014, sur le projet de loi relatif à la délimitation des régions. Le Conseil a jugé l’étude conforme, tout en précisant qu’il ne contrôlait que la présentation du texte. Plusieurs institutions ont sévèrement jugé la qualité des études. Dans un référé de juin 2018, la Cour des comptes les estimait peu éclairantes pour les ministères sociaux. En 2019, le Conseil économique, social et environnemental y voyait souvent un plaidoyer du gouvernement. Les économistes Benjamin Monnery et Bertrand du Marais, dans une analyse statistique d’une trentaine d’études produites entre 2017 et 2019, ont conclu à une qualité très inégale et souvent médiocre. Dans son étude annuelle de 2020, le Conseil d’État regrettait lui aussi qu’elles reposent rarement sur une vraie comparaison des options.

Certains angles ne sont pas couverts. Les propositions de loi d’origine parlementaire et les amendements, y compris ceux du gouvernement, échappent à l’obligation d’étude d’impact. Or, du fait des amendements, le texte adopté est souvent nettement plus long que le texte déposé. La production législative est en outre abondante : plus de 1 000 lois promulguées entre 2003 et 2023, dont un record de 67 en 2021, selon la direction des affaires juridiques des ministères économiques.

Ce que valent ces chiffres : ils décrivent l’existence et la forme des barrières, mais pas leur efficacité. On ignore combien d’erreurs ont été arrêtées en amont, puisqu’une erreur évitée ne laisse en général aucune trace publique. On retrouve le biais habituel de l’analyse des accidents, qui étudie les trajectoires allées jusqu’au bout et jamais celles stoppées dès la première tranche.

Exemples historiques

La contribution de 3 % sur les dividendes : cinq tranches franchies

La contribution additionnelle de 3 % sur les montants distribués par les sociétés a été créée en 2012 pour compenser la perte d’une autre recette jugée contraire au droit européen. Après des décisions de justice européennes et nationales, le Conseil constitutionnel l’a invalidée en 2017. L’État a dû rembourser les entreprises, pour environ 10 milliards d’euros d’après les estimations publiées alors. Le rapport de l’IGF de novembre 2017 est un document rare, proche d’une enquête de type BEA. Il note que le risque de contrariété au droit de l’Union paraissait sérieux dès 2015, mais qu’aucune décision de mise en conformité n’avait été prise avant l’automne 2016. Il note aussi que l’administration fiscale n’avait pas proposé d’alternative, alors qu’elle savait depuis 2012 que le dispositif comportait un risque budgétaire. Plusieurs tranches avaient donc repéré le trou, mais aucune n’avait pour mission de le boucher, ni les moyens de le faire. Le rapport recommande notamment un inventaire régulier des risques juridiques, l’information du Parlement sur les contentieux et une consultation publique avant tout nouveau dispositif fiscal.

La contribution carbone de 2009 : une tranche qui a joué son rôle

Le modèle aide aussi à comprendre quand les barrières fonctionnent. Le 29 décembre 2009, le Conseil constitutionnel a censuré la contribution carbone adoptée dans la loi de finances pour 2010. Il a constaté que les exemptions prévues laissaient hors de la taxe 93 % des émissions d’origine industrielle (hors carburants). La charge pesait donc surtout sur les ménages et les carburants, d’où une rupture d’égalité devant les charges publiques et une contradiction avec l’objectif environnemental affiché. Ici, une tranche a bien arrêté la trajectoire, mais au tout dernier stade, après l’étude d’impact, l’avis du Conseil d’État et le vote du Parlement. L’angle mort distributif de la taxe carbone réapparaîtra en 2018 (dossier n° 19).

La réforme des retraites de 2020 : une alerte formelle

Dans son avis de janvier 2020 sur le projet de système universel de retraite, le Conseil d’État a indiqué que le délai de trois semaines qui lui était laissé, ajouté aux nombreuses modifications du texte pendant son examen, ne lui avait pas permis de remplir sa mission dans les conditions requises. Il trouvait les projections financières lacunaires et jugeait l’étude en deçà de ce qu’elle aurait dû être. Il relevait aussi que le renvoi à des ordonnances pour des éléments structurants privait de la vue d’ensemble nécessaire pour apprécier les conséquences de la réforme. Dans ce cas, c’est la tranche elle-même qui documente le trou, en signalant publiquement qu’elle n’a pas eu le temps de filtrer. Le projet a été suspendu en mars 2020 avec la crise sanitaire, si bien qu’on ne sait pas quel poids cette alerte aurait eu.

Ailleurs : quand l’alerte juridique ne suffit pas

En Australie, le système de recouvrement automatisé des trop-perçus sociaux, appelé Robodebt, a fonctionné de 2016 à 2019 avec une méthode de calcul dont la base légale avait été contestée dès sa conception. En 2023, la commission royale d’enquête a décrit une série de barrières (conseils juridiques, tribunaux administratifs, médiateur) qui avaient chacune perçu une partie du problème sans réussir à l’arrêter. Le dossier n° 44 lui sera consacré. Au Royaume-Uni, Anthony King et Ivor Crewe (2013) retrouvent le même schéma dans plusieurs dizaines de décisions. Quelqu’un, quelque part, connaissait le défaut, mais l’information n’arrivait pas jusqu’à la personne en mesure d’agir.

Le poids du regard des autres

Une barrière est toujours plus qu’une procédure. C’est aussi un groupe de personnes, avec sa culture, sa position sociale et ses relations avec les autres tranches. Plusieurs effets de regard affaiblissent ainsi les filtres.

Le premier est la déférence. Une direction d’administration centrale qui rédige l’étude d’impact d’une mesure annoncée par le président ou le Premier ministre n’est pas placée comme un évaluateur indépendant. Le CESE parlait de plaidoyer, et on peut y voir une conséquence prévisible de la hiérarchie. Le deuxième est l’homogénéité. Membres des cabinets, rapporteurs du Conseil d’État et cadres des directions financières ont souvent suivi les mêmes formations et fréquentent les mêmes lieux (dossier n° 4). Quand tous les trous viennent d’une même expérience sociale, ils tendent à s’aligner, et ce qui échappe à une tranche échappe aussi aux autres. Le modèle de Reason suppose des barrières indépendantes, alors que des barrières formées de profils semblables sont corrélées.

Le troisième tient à la façon dont on perçoit ceux qui alertent. Une association de locataires, un syndicat de petits commerçants ou une organisation patronale de chefs d’entreprise familiale qui signalent un effet de seuil peuvent passer pour les défenseurs d’un intérêt particulier, et leur signalement est alors minimisé. Ce sont pourtant souvent eux qui connaissent les cas concrets. Cette erreur de lecture joue dans les deux sens. Un ministère peut soupçonner les représentants des hauts patrimoines d’exagérer l’effet d’une taxe, tout comme il peut soupçonner les associations de lutte contre la pauvreté de dramatiser celui d’une baisse d’aide. Le soupçon est parfois fondé, mais il ne dispense pas d’examiner les chiffres présentés.

Ce qui aurait pu être fait

Pour la contribution de 3 %, le rapport de l’IGF indique lui-même la marche à suivre : recenser et suivre les risques juridiques dans un inventaire à jour, confier cette revue à une structure distincte de celle qui a conçu la mesure, consulter la Commission européenne en amont et prévoir une consultation publique. Il proposait également d’étendre l’avis du Conseil d’État aux amendements fiscaux les plus importants. Dans les termes de Reason, ces mesures épaississent une tranche ou en ajoutent une qui soit indépendante.

Pour les études d’impact, plusieurs pays ont choisi un contrôle externe. Au Royaume-Uni, le Regulatory Policy Committee, organisme indépendant créé en 2009, publie un avis sur la qualité des évaluations d’impact. En Allemagne, le Nationaler Normenkontrollrat, mis en place en 2006, examine les coûts des projets de texte. Ces organes n’empêchent pas toute erreur, mais ils séparent celui qui défend une mesure de celui qui en évalue les effets.

Deux trous français pourraient enfin être réduits sans réforme constitutionnelle. Le premier en prévoyant une évaluation sommaire des amendements gouvernementaux majeurs, par exemple une microsimulation de leurs effets distributifs. Le second en garantissant au Conseil d’État un délai d’examen minimal pour les textes structurants. Le dossier n° 49 présentera les outils de microsimulation disponibles.

Où le facteur humain peut intervenir

  • Rendre les tranches indépendantes : une barrière formée de personnes au parcours, à la position sociale ou à l’institution de rattachement différents repère d’autres trous.
  • Donner à chaque tranche le droit explicite de bloquer, ou au moins d’obtenir une réponse écrite à son alerte, sur le modèle d’une liste de vérification qu’on ne peut pas clore tant qu’un point reste ouvert.
  • Protéger le temps : sans délai suffisant, une barrière cesse d’en être une. Le Conseil d’État l’a écrit en 2020.
  • Confier à quelqu’un la vision d’ensemble, pour limiter la dilution de la responsabilité décrite par Darley et Latané.
  • Recueillir les quasi-accidents, car les erreurs arrêtées de justesse sont les données les plus utiles pour mesurer la qualité des barrières.

Les limites de ce que l’on sait

Le modèle du fromage suisse est une métaphore et non une théorie prédictive. Il n’indique ni le nombre de tranches nécessaires ni l’épaisseur à leur donner. Ses critiques l’ont rappelé, il peut aussi donner une image trop linéaire de processus faits en réalité d’allers-retours et de négociations. Il comporte enfin un risque, celui de présenter chaque échec comme une « défaillance du système » au point d’effacer les choix politiques assumés. Une mesure qui pénalise un groupe peut l’avoir fait volontairement. Il ne s’agit plus alors d’un trou dans le fromage, mais d’une décision que le débat démocratique doit juger.

Les sources sur les délibérations internes sont d’ailleurs rares. Le rapport de l’IGF sur la contribution de 3 % fait exception, et il a lui-même été critiqué. Il a été rédigé en quelques semaines par une inspectrice générale qui avait dirigé la direction de la législation fiscale de 2004 à mars 2012, quelques mois avant la création du dispositif (ce qu’elle mentionnait elle-même), et certains commentateurs l’ont trouvé trop peu sévère. Le rappel est utile : l’enquêteur fait lui aussi partie d’une tranche, et son indépendance compte.

Enfin, les travaux sur la qualité des études d’impact portent sur des échantillons limités et ne disent pas si une meilleure étude aurait modifié la décision. Le lien entre la qualité de l’évaluation ex ante et celle de la politique menée reste, pour l’instant, peu démontré sur le plan empirique.

Pour aller plus loin : Décision et incertitude : pourquoi on se trompe · L’erreur humaine : la comprendre pour mieux l’éviter

Références scientifiques et sources

Cet article s’appuie sur les travaux et sources suivants :

  • Reason J. (1990). Human Error. Cambridge University Press.
  • Reason J. (1997). Managing the Risks of Organizational Accidents. Ashgate.
  • Reason J. (2000). Human error: models and management. British Medical Journal, 320, 768-770.
  • Larouzée J., Le Coze J.-C. (2020). Good and bad reasons: The Swiss cheese model and its critics. Safety Science, 126, 104660.
  • Perneger T. V. (2005). The Swiss cheese model of safety incidents: are there holes in the metaphor? BMC Health Services Research, 5, 71.
  • Hollnagel E. (2004). Barriers and Accident Prevention. Ashgate.
  • Sagan S. D. (2004). The problem of redundancy problem: why more nuclear security forces may produce less nuclear security. Risk Analysis, 24(4), 935-946.
  • Darley J. M., Latané B. (1968). Bystander intervention in emergencies: diffusion of responsibility. Journal of Personality and Social Psychology, 8(4), 377-383.
  • King A., Crewe I. (2013). The Blunders of Our Governments. Oneworld.
  • Loi organique n° 2009-403 du 15 avril 2009 relative à l’application des articles 34-1, 39 et 44 de la Constitution.
  • Conseil constitutionnel (2014). Décision n° 2014-12 FNR du 1er juillet 2014.
  • Conseil constitutionnel (2009). Décision n° 2009-599 DC du 29 décembre 2009, Loi de finances pour 2010.
  • Conseil d’État (2020). Avis sur un projet de loi organique et un projet de loi instituant un système universel de retraite, 24 janvier 2020.
  • Conseil d’État (2020). Conduire et partager l’évaluation des politiques publiques. Étude annuelle 2020. La Documentation française.
  • Inspection générale des finances (2017). Rapport relatif à la contribution de 3 % sur les montants distribués, novembre 2017.
  • Monnery B., du Marais B. (2020). Note d’analyse statistique d’une trentaine d’études d’impact de projets de loi (2017-2019). EconomiX, Université Paris Nanterre et CNRS.
  • Scordia B. (2021). Les promesses non tenues des études d’impact des projets de loi. Acteurs publics, 29 janvier 2021.
  • Royal Commission into the Robodebt Scheme (2023). Report. Commonwealth of Australia.

Cet article pourrait aider quelqu’un que tu connais ?
Partage-le en un clic, c’est souvent le meilleur point de départ d’une vraie conversation.

Ou sur :

Leave a comment

0.0/5