Le Doute Utile : compagnon de l’esprit critique
On lui demande d'aider. Elle parle, décide ou agit. À quel moment avons-nous réellement délégué ?
Aller directement à l'outil de diagnostic ↓Le Doute Utile est le mini-magazine de Prompt & Pulse pensé pour se lire en quelques minutes.
Vous pouvez aussi l'écouter : cette version audio courte reprend le cas du mois, la règle à retenir et la question à poser en équipe.
Le numéro complet, avec l'angle large, l'outil de diagnostic et les sources, reste disponible sur cette page. Cette version audio courte ne le remplace pas. Elle propose un autre mode d'accès à l'essentiel.
Scène composite. Elle ne décrit pas un incident réel particulier.
Une petite équipe utilise une IA pour préparer ses réponses clients. Jusqu'ici, l'IA proposait les textes et quelqu'un les envoyait. Puis le processus évolue : certaines réponses peuvent désormais partir automatiquement.
Un client reçoit une information erronée. L'équipe la découvre après l'envoi.
Il y avait bien un humain dans le processus. Mais au moment où il intervient, l'action a déjà eu lieu.
On vérifie pourtant ce que fait l'IA. Il y a toujours un humain dans la boucle.
Avant ou après qu'elle agisse ?
Ça dépend. Pour les réponses simples, on peut regarder après.
Alors l'humain ne valide pas la réponse. Il contrôle ce qui s'est déjà passé.
Mais on ne peut pas tout valider manuellement. Sinon, autant ne rien automatiser.
La question n'est pas de tout valider. Elle est de savoir quelles actions peuvent raisonnablement avoir lieu sans validation préalable.
Comment on fait la différence ?
Regardez d'abord ce qui se passe si l'IA se trompe. Une proposition interne se corrige facilement. Une réponse déjà envoyée, une règle annoncée à un client ou des données supprimées, beaucoup moins.
Donc plus la conséquence est importante, plus on garde un humain ?
Regardez aussi si l'action peut être annulée. Et surtout si l'humain intervient encore assez tôt pour l'empêcher.
Trois phrases rassurantes. Trois questions à poser avant de les accepter.
« L'IA ne fait que répondre. »
Une réponse peut pourtant être reçue comme la parole de l'organisation qui met le système à disposition.
Qui vérifie ce que votre IA peut affirmer en votre nom ?
« Elle ne fait qu'appliquer nos règles. »
Encore faut-il distinguer une règle réellement définie par l'organisation d'une réponse que le système produit comme si cette règle existait.
Comment savez-vous que l'IA applique votre règle plutôt qu'elle ne la reconstitue ?
« Il y a toujours un humain dans la boucle. »
La présence d'un humain ne dit ni quand il intervient, ni ce qu'il peut vérifier, ni s'il peut encore empêcher l'action.
Peut-il réellement dire non, ou seulement constater ce qui s'est passé ?
Un humain peut être présent dans le processus sans être celui qui détermine réellement la décision.
En décembre 2023, la Cour de justice de l'Union européenne se prononce dans l'affaire C-634/21, concernant SCHUFA, une société qui fournit notamment aux banques des informations sur la solvabilité.
SCHUFA avait établi automatiquement un score relatif à la solvabilité d'une personne. Celle-ci s'était ensuite vu refuser un crédit par sa banque.
La question posée à la Cour était notamment de savoir si l'établissement automatisé de cette valeur de probabilité pouvait lui-même constituer une décision individuelle automatisée relevant de l'article 22 du RGPD.
La Cour a retenu cette qualification lorsque le score est communiqué à un tiers qui s'appuie de manière déterminante sur cette valeur pour prendre sa décision.
La Lettre de la Direction des affaires juridiques du ministère de l'Économie, publiée le 21 décembre 2023, résume ainsi l'enjeu : l'établissement automatisé d'une valeur de probabilité relative à la capacité de remboursement, fondé sur des données personnelles, peut relever de la décision individuelle automatisée visée par l'article 22 du RGPD.
Une limite doit être posée clairement : l'arrêt SCHUFA concerne le scoring de crédit et l'application du RGPD. Il ne porte pas sur les agents IA et ne permet pas de leur transposer automatiquement cette qualification juridique.
Mais il fournit un point de réflexion utile pour notre sujet : l'existence d'un acteur humain plus loin dans le processus ne suffit pas nécessairement à rendre secondaire le rôle joué par un traitement automatisé.
Le Conseil de l'IA et du numérique examine lui aussi cette évolution dans sa publication consacrée à l'IA agentique et à la protection des données personnelles, notamment dans une partie intitulée De l'assistance à la délégation décisionnelle.
Pour une organisation, la question n'est donc pas seulement :
« Y a-t-il un humain dans la boucle ? »
« À quel moment intervient-il, sur quelles informations, et peut-il encore modifier ce qui va se passer ? »
Jusqu'où une IA peut-elle engager l'organisation qui l'utilise ?
Parler à un client, présenter une règle de l'entreprise, modifier une base de données : ces actions n'ont ni la même portée ni les mêmes conséquences.
Trois incidents documentés permettent pourtant d'observer une progression.
En 2024, le Civil Resolution Tribunal de Colombie-Britannique tranche l'affaire Moffatt v. Air Canada, 2024 BCCRT 149.
Jake Moffatt s'était fié à une information fournie par le chatbot d'Air Canada. Celui-ci indiquait qu'un tarif de deuil pouvait être demandé rétroactivement. Air Canada a ensuite refusé cette application rétroactive en invoquant sa politique sur les tarifs de deuil.
Le tribunal a retenu la responsabilité d'Air Canada pour negligent misrepresentation, en raison de l'information inexacte fournie par son chatbot.
Air Canada avait notamment tenté de distinguer les informations fournies par le chatbot de celles présentes sur d'autres pages de son site. Le tribunal n'a pas accepté que l'entreprise puisse se dégager ainsi de la responsabilité des informations fournies par un outil présent sur son propre site.
Air Canada a été condamnée à verser à Jake Moffatt 650,88 dollars canadiens de dommages, 36,14 dollars d'intérêts avant jugement et 125 dollars de frais du CRT, soit 812,02 dollars canadiens au total.
Ce cas ne concerne pas un agent autonome.
Il montre néanmoins un premier degré de délégation : une organisation peut déjà devoir répondre des informations qu'un système automatisé communique à ses clients.
En avril 2025, des utilisateurs de Cursor rencontrent des déconnexions lorsqu'ils utilisent le service sur plusieurs machines.
Un utilisateur contacte le support. Une réponse attribuée à « Sam » lui explique qu'une nouvelle politique limite désormais l'utilisation à un seul appareil par abonnement.
Cette politique n'existe pas.
Le cofondateur de Cursor, Michael Truell, confirme publiquement que les utilisateurs peuvent utiliser Cursor sur plusieurs machines et que la réponse incorrecte provenait d'un bot de support de première ligne.
Des utilisateurs annoncent publiquement leur résiliation. Nous ne disposons pas d'un nombre de résiliations confirmé par Cursor.
Ici, le déplacement est différent : l'IA ne fournit pas seulement une mauvaise information. Elle présente comme politique de l'organisation une règle qui n'existe pas.
En juillet 2025, Jason Lemkin, fondateur de SaaStr, documente son expérimentation de l'agent de développement de Replit.
Selon son témoignage et les captures qu'il publie, l'agent effectue des modifications sur une base de données en production alors qu'un code and action freeze est en vigueur.
L'incident efface les données de plus de 1 200 dirigeants et de plus de 1 190 entreprises, selon les chiffres rapportés par Fortune.
Interrogé après l'incident, l'agent reconnaît dans les échanges publiés par Lemkin avoir exécuté des commandes non autorisées et enfreint des instructions lui demandant de ne pas procéder sans autorisation humaine.
Mais il faut distinguer deux choses.
La suppression de données est l'incident rapporté. Les explications fournies ensuite par l'agent sur son propre comportement sont des déclarations produites par le système.
Lorsque l'agent affirme avoir « paniqué », par exemple, cela ne démontre pas qu'un état interne correspondant à cette description explique son comportement.
Cette précaution est d'autant plus importante que l'agent a également fourni une information incorrecte sur la possibilité de récupérer les données. Il indiquait initialement qu'un retour en arrière ne fonctionnerait pas dans cette situation. Lemkin a finalement pu restaurer les données manuellement.
L'incident a provoqué une réaction publique du dirigeant de Replit, Amjad Masad.
Celui-ci a reconnu qu'un agent Replit en développement avait supprimé des données d'une base de production, qualifiant cette situation d'inacceptable. Il a également annoncé plusieurs changements destinés à mieux séparer les environnements de développement et de production et à permettre un mode de travail sans action sur la base active.
Le troisième degré apparaît ici : le système n'a plus seulement produit une information. Il a pu agir sur son environnement et modifier des données.
En 2025, la Commission européenne a retiré sa proposition de directive destinée à adapter certaines règles de responsabilité civile extracontractuelle à l'intelligence artificielle. Le retrait a été formalisé par sa publication au Journal officiel le 6 octobre 2025.
Cela ne signifie pas que la responsabilité liée à l'utilisation d'une IA a disparu.
La directive européenne 2024/2853 sur la responsabilité du fait des produits couvre notamment les logiciels et doit être transposée par les États membres au plus tard le 9 décembre 2026.
D'autres régimes de responsabilité continuent également de s'appliquer selon les situations.
Le retrait d'un projet européen spécifique à l'IA ne crée donc pas un espace dans lequel une organisation pourrait simplement déléguer une action à un système puis considérer que la question de la responsabilité disparaît.
Air Canada, Cursor et Replit sont trois situations différentes. Elles concernent des systèmes différents, des organisations différentes et des conséquences différentes.
Elles ne démontrent pas que toute délégation à une IA conduit à ce type d'incident.
Elles permettent en revanche de voir trois degrés très concrets de délégation :
parler → énoncer une règle → agir.
Et derrière chacun revient la même question :
qu'avons-nous réellement permis au système de faire en notre nom ?
Une limite qui n'est ni définie, ni contrôlée, ni opposable au système n'est pas une limite.
Quelle est l'action la plus difficile à annuler que notre IA peut aujourd'hui réaliser sans validation préalable ?
Un premier repère pour examiner ce que vous déléguez réellement à une IA.
Cet outil ne constitue pas un diagnostic exhaustif. Le niveau de contrôle approprié dépend de votre contexte, des personnes concernées, des données accessibles, des conséquences possibles d'une erreur et des règles applicables à votre organisation.
L'IA produit une suggestion. Rien n'est exécuté.
L'IA prépare l'action, mais ne la déclenche pas.
L'action ne peut avoir lieu qu'après une décision humaine.
Le système peut exécuter l'action sans validation préalable.
Puis regardez en priorité les étapes marquées A.
Pour chacune, posez trois questions :
L'IA propose ou prépare une action facilement réversible, sans conséquence directe pour une personne ou pour l'organisation.
Exemple : préparer un brouillon interne qui sera retravaillé.
L'IA produit une information destinée à l'extérieur, interprète une règle, prépare une décision ou intervient sur des données ou outils de l'organisation.
Exemple : préparer une réponse client qui devra être validée avant envoi.
L'action est difficile à annuler, peut engager l'organisation, affecter une personne, modifier des données importantes ou déclencher automatiquement d'autres actions.
Exemple : envoyer une décision, modifier une donnée de production ou déclencher une opération difficilement réversible.
Un accompagnement. Ce magazine est utile mais il ne vous apportera pas toutes les réponses. Il existe aussi pour faire connaître notre travail. La question à nous poser est donc la même qu'aux autres : que gagnons-nous à votre décision ?
Nous ne vendons aucun outil, ne touchons aucune commission et ne pré-remplissons aucun comparatif. Nous n'avons pas d'intérêt à ce que vous choisissiez tel outil plutôt qu'un autre — mais nous pouvons vous aider à identifier vos usages, à repérer les risques éthiques qu'ils posent et à définir ce qui doit rester sous validation humaine.
Avant de choisir un outil IA, avez-vous défini vos propres critères de décision ?
Prompt & Pulse vous propose son offre en toute transparence : un accompagnement en usages maîtrisés et adoption de l'IA générative.
Non. Beaucoup proposent des outils utiles et sérieux. Le sujet n'est pas la méfiance, mais l'écart entre une phrase rassurante et une preuve disponible. Une affirmation peut être vraie même énoncée par quelqu'un qui a intérêt à ce qu'elle le soit. La question utile reste : que peut-on vérifier ?
Non — pour découvrir un paysage. Mais un classement ne connaît ni vos données, ni votre budget, ni votre capacité de relecture. Il ouvre une liste. Il ne décide pas à votre place.
Non. Une prévision peut être solide. Mais il faut regarder qui la publie, ce qu'elle met en avant et ce qu'elle laisse de côté. Quand une prévision ressemble exactement à l'offre vendue par celui qui la publie, elle se lit aussi comme un signal commercial.
Pas forcément. Le prix ne dit rien du traitement des données, des limites d'usage, ni de la dépendance qui s'installe. Un outil gratuit peut être utile pour tester. Cela ne veut pas dire qu'il est neutre pour l'organisation.
Non, mais il doit être mesuré honnêtement. Un outil peut réduire le temps de rédaction et augmenter le temps de vérification. Le bon indicateur, c'est le rapport entre temps gagné, qualité obtenue et charge de contrôle.
Les premières questions sont accessibles sans expertise : quel besoin, quelles données, qui relit, quel coût complet, quels usages interdits. La fiche France Num est conçue exactement pour cela, et elle est gratuite.
Un accompagnement. Ce magazine est gratuit, mais il n'est pas désintéressé : il existe aussi pour faire connaître notre travail. La question à nous poser est donc la même qu'aux autres : que gagnons-nous à votre décision ? Nous ne vendons aucun outil, ne touchons aucune commission et ne pré-remplissons aucun comparatif. Nous n'avons pas d'intérêt à ce que vous choisissiez tel outil plutôt qu'un autre — mais nous avons intérêt à ce que vous nous appeliez. Tenez compte des deux.
Fiche pratique publique destinée aux entreprises qui envisagent une solution d'IA générative. La page France Num indique une publication le 27 novembre 2024 et une mise à jour le 11 juillet 2025 ; le PDF fourni porte la mention « Novembre 2024 ». Elle recommande de partir du besoin concret, d'identifier les avantages recherchés, de vérifier le traitement des données, la fiabilité du fournisseur, les personnes concernées et le coût complet, formation comprise. Elle rappelle aussi de former les collaborateurs, de définir une politique interne d'usage, de contrôler les résultats produits par l'IA, d'évaluer le retour sur investissement, et que l'humain doit rester le dernier maillon de la chaîne.
À situer : France Num est le dispositif public d'accompagnement à la numérisation des TPE et PME. Sa mission s'inscrit dans une politique qui encourage l'adoption du numérique et de l'IA. La fiche aide à décider comment y aller, pas à décider s'il faut y aller.
Lire la fiche 3 sur francenum.gouv.fr · Télécharger le PDF
La Securities and Exchange Commission américaine a annoncé des sanctions transigées contre deux conseillers en investissement pour des déclarations fausses ou trompeuses sur leur usage supposé de l'intelligence artificielle : 400 000 dollars de pénalités civiles au total. Le régulateur a rattaché ces affaires au risque d'AI washing : des affirmations exagérées ou trompeuses autour de l'IA.
Ce repère ne vise aucun acteur évoqué dans cette édition, puisqu'aucun n'est nommé. Il rappelle simplement qu'une affirmation commerciale autour de l'IA doit être vérifiable.
Communiqué SEC 2024-36 (en anglais)
Ressource publique orientée principalement vers la protection des données personnelles et la conformité au RGPD. La CNIL précise que cette grille a un objectif informatif et ne remplace pas une analyse formelle.
Utile si l'outil envisagé implique des données de clients, de collaborateurs, de prospects ou de partenaires.
Consulter le guide sur cnil.fr
Cadre utilisé comme méthode de réflexion pour identifier, mesurer et encadrer les risques liés aux systèmes d'IA. Il ne constitue pas une certification ni une preuve de conformité.
Page officielle du NIST (en anglais)
Prompt & Pulse a aussi une offre à vendre : un accompagnement au cadrage des usages IA. La différence que nous assumons est la transparence sur notre rôle — nous ne vendons pas l'outil que vous choisirez, nous vous aidons à décider avec vos propres critères.
Clarifier les usages IA réellement utiles pour votre organisation. Relire une offre ou une démonstration avant décision. Construire votre grille de questions à poser à un fournisseur. Identifier les données à ne pas confier. Définir ce qui exige une validation humaine.
Cette édition est une ressource d'acculturation. Le dialogue et l'exemple sont fictifs, reconstitués à partir de situations courantes et volontairement simplifiés pour rendre visibles des problèmes fréquents ; aucun fournisseur, agence ou publication n'est visé ni nommé. Cette lecture ne remplace ni un audit, ni un conseil juridique, ni une analyse RH, ni une validation métier. Prompt & Pulse n'intervient ni sur le juridique, ni sur la cybersécurité, ni sur l'intégration technique. Sur le cadre réglementaire cité, cette lecture peut aider à poser de meilleures questions ; elle ne remplace pas une démarche de conformité.