Newsletter Décider l'IA - Christophe Picou - Mai 2026
Neuf secondes.
C'est le temps qu'il a fallu, le 25 avril 2026, pour qu'un agent de codage IA supprime la base de données de production d'une entreprise et l'ensemble de ses sauvegardes. Une seule requête. Un token API découvert dans un fichier sans rapport avec la tâche initiale. Une décision prise par le système, sans validation humaine, sans avertissement, sans mécanisme de confirmation.
L'entreprise s'appelle PocketOS. Elle développe un logiciel d'exploitation pour des sociétés de location de véhicules. Certains de ses clients utilisent ce logiciel depuis cinq ans. Plusieurs ne peuvent pas fonctionner sans lui. La dernière sauvegarde récupérable date de trois mois.
L'agent, interrogé a posteriori sur les raisons de son geste, a produit ce que les médias ont qualifié de confession. Il a listé chacune des règles de sécurité qu'il avait violées. Il les connaissait. Il ne s'y est pas conformé.
Le récit est édifiant. La lecture qu'on en fait l'est moins.
La lecture qui se met en place
Dans les jours qui ont suivi, l'incident a été commenté presque exclusivement comme une défaillance technique. Tokens trop permissifs. Sauvegardes mal isolées. Environnements de test et de production insuffisamment cloisonnés. Garde-fous absents au niveau de l'infrastructure. Tout cela est vrai, documenté, et à corriger.
Mais cette lecture rate l'essentiel.
L'agent n'a pas planté. Il a décidé.
Il a évalué une situation, identifié un obstacle, cherché une solution, trouvé une ressource, jugé qu'elle était utilisable, et exécuté une commande aux conséquences irréversibles. C'est exactement ce qu'on attend d'un acteur opérationnel. Un acteur opérationnel à qui personne, dans l'organisation, n'avait formellement défini le périmètre dans lequel il était autorisé à agir.
La bascule qui n'a pas été nommée
L'IA générative est entrée dans les organisations comme un outil. Un système qu'on consulte, qu'on questionne, qu'on utilise pour produire un livrable. La décision restait humaine. L'exécution aussi.
Cette phase s'achève.
Les agents IA exécutent désormais des actions. Ils déclenchent des appels API, modifient des configurations, envoient des emails, valident des transactions, suppriment des volumes. Ils ne préparent plus la décision. Ils l'incarnent.
Cette bascule n'est pas un détail technique. C'est un changement de nature. Un système qui agit dans le réel n'est pas un outil : c'est une autorité opérationnelle déléguée. Et toute autorité opérationnelle déléguée appelle une décision préalable de l'instance dirigeante. Qu'a-t-elle le droit de faire ? Qu'a-t-elle l'obligation de faire confirmer ? Qu'a-t-elle l'interdiction d'engager seule ?
Ces décisions n'avaient pas été prises chez PocketOS. Elles ne sont pas prises dans la grande majorité des organisations qui déploient aujourd'hui des agents.
La question qui revient au board
Quand un agent IA exécute une décision irréversible dans votre organisation, qui en répond ?
Le périmètre d'autonomie. Quelles décisions un agent peut-il prendre seul, lesquelles exigent une validation humaine systématique. La ligne ne se définit pas dans l'abstrait. Elle se définit par catégorie d'action, par niveau de réversibilité, par exposition.
Les seuils de non-délégation. Certaines décisions ne se délèguent jamais, quel que soit le contexte. Suppression de données critiques, transferts financiers au-delà d'un seuil, communications externes engageant l'institution, signatures contractuelles. Ces seuils ne se devinent pas. Ils se posent.
La responsabilité humaine identifiée. Pour chaque agent en production, un responsable humain nommé, dont le mandat couvre les décisions que le système prend en son nom. Pas une équipe. Un nom. L'opacité d'un système n'exonère pas la responsabilité - elle l'intensifie.
Ce que l'incident révèle
PocketOS n'a pas été détruite par une IA. Elle a été détruite par l'absence d'un cadre que personne n'avait estimé urgent de poser. L'agent a fait ce qu'il était techniquement capable de faire, dans un environnement où aucune décision préalable n'avait été formulée sur ce qu'il avait le droit de faire.
C'est le schéma qui se met en place dans la plupart des organisations qui adoptent l'IA agentique en 2026. La capacité technique précède la décision de gouvernance. L'outil arrive avant le cadre. Et lorsque le cadre est posé, c'est souvent après l'incident.
Ce schéma n'est pas tenable. Pas dans un environnement régulé. Pas dans une activité où la confiance des clients est l'actif principal. Pas dans un secteur où une décision automatisée mal cadrée peut produire un dommage que l'organisation n'aura plus le moyen de réparer.
L'incident des neuf secondes est une démonstration. À partir d'un certain seuil d'autonomie, un système devient un acteur de l'organisation. Et aucune organisation ne peut accueillir un acteur sans avoir formulé, au préalable, ce qu'elle accepte de lui confier.
Décider avant d'intégrer. Non pour ralentir. Pour préserver la capacité de tenir.
Christophe Picou est fondateur de VEIA.AI, cabinet de conseil stratégique indépendant en gouvernance de l'intelligence artificielle. Il accompagne dirigeants, COMEX et conseils d'administration en France et en Suisse.
