IA : Automatiser, c'est choisir ce qu'on accepte d'oublier.
- Christophe Picou
- 23 févr.
- 3 min de lecture
Quand l'efficacité devient une forme d'amnésie organisationnelle.
Quand vous approuvez un projet d'automatisation, vous voyez le gain. Temps économisé. Coûts réduits. Erreurs humaines éliminées. Le ROI est propre. La décision paraît évidente.
Ce que vous ne voyez pas, c'est ce que l'organisation va progressivement cesser de savoir faire.
Les spécialistes des facteurs humains ont un nom pour ce phénomène. Ils l'appellent les ironies de l'automatisation. L'idée est simple, presque évidente — et pourtant systématiquement ignorée.
Plus vous automatisez, plus l'humain devient superviseur. Plus il devient superviseur, moins il pratique. Moins il pratique, moins il est capable d'intervenir quand ça compte vraiment.
Et c'est précisément là — lors de l'exception, de la rupture, de l'incident imprévu — que le jugement humain redevient irremplaçable.
L'organisation a gagné en vitesse. Elle a perdu en capacité de reprise. Ce coût n'est apparu dans aucun tableau de bord.
C'est ça, la dette de maîtrise. Invisible dans le reporting. Visible lors de la prochaine rupture.
CAS DOCUMENTÉ — ZILLOW, 2021
Le géant américain de l'immobilier automatise l'achat de maisons à grande échelle via un algorithme de pricing. Le système est précis, rapide, scalable. Puis le marché change. L'algorithme continue d'acheter — mécaniquement, sans recul — parce que personne n'avait défini les conditions qui exigeaient un retour au jugement humain.
7 000 maisons achetées au mauvais prix. 300 millions de dollars de pertes. Division fermée.
L'algorithme a parfaitement fonctionné. C'est la capacité à reprendre la main qui avait disparu.
Ce n'est pas un cas isolé. C'est un mécanisme.
L'automatisation ne supprime pas le risque — elle le déplace. Elle le concentre dans les moments rares, critiques, imprévus. Précisément là où l'organisation a cessé de s'entraîner. Précisément là où la compétence humaine s'est atrophiée, tranquillement, sans que personne ne s'en rende compte.
Les chercheurs appellent ça le deskilling — le déchargement cognitif progressif. On délègue l'analyse. On délègue le diagnostic. On délègue l'arbitrage. Et un jour, on découvre qu'on a aussi délégué la compréhension.
Des études récentes sur l'intégration de l'IA en médecine montrent que de jeunes internes, s'appuyant systématiquement sur l'IA diagnostique, peinent à forger leur propre jugement clinique. Si dans dix ans le système propose un traitement absurde, qui dans l'organisation aura encore l'expertise pour le contredire ?
La question vaut pour toute organisation. Pas seulement pour les hôpitaux.
Ce mouvement s'accélère avec l'IA agentique — des systèmes qui ne recommandent plus, qui agissent. Qui planifient, enchaînent des tâches, prennent des micro-décisions en continu, sans intervention humaine intermédiaire.
Gartner anticipe que plus de 40 % des projets agentiques seront abandonnés d'ici 2027. Non parce que la technologie échoue. Parce que les organisations n'avaient pas décidé ce qu'elles gardaient.
JURISPRUDENCE — AIR CANADA, 2024
Condamné pour les hallucinations de son chatbot, Air Canada plaide que l'IA est une entité distincte, hors de son contrôle direct. Le juge balaie l'argument sans ambiguïté.
On délègue l'action. On ne délègue pas la responsabilité légale.
Ce que tout cela révèle n'est pas un problème technologique. C'est un problème de cadre décisionnel.
Automatiser sans définir ce qu'on garde, c'est laisser la machine tracer la frontière à votre place — par accumulation, par défaut, sans arbitrage explicite. Et cette frontière, une fois tracée, est difficile à déplacer.
TROIS QUESTIONS À EXIGER AVANT TOUT PROJET D'AUTOMATISATION SIGNIFICATIF
01 — Qui reprend la main — avec quelles compétences — si le système sort du nominal ?
02 — Quelles exceptions exigent un retour au jugement humain, selon quel protocole ?
03 — Dans 30 jours, si vous devez sortir de votre fournisseur principal, pouvez-vous le faire sans interrompre vos opérations ?
Si ces questions n'ont pas de réponse claire, l'organisation accumule une dette de maîtrise. Invisible dans le prochain reporting. Visible lors de la prochaine rupture.
L'automatisation n'est pas le problème.L'automatisation sans conscience de ce qu'on cède l'est.
Gouverner ce qu'on automatise, c'est décider ce qu'on choisit de ne pas oublier.
Christophe Picou
Fondateur — VEIA.AI
Conseil stratégique indépendant en gouvernance de l'IA
Lucidité avant outil. Gouvernance avant code. Sens avant vitesse.
