Pourquoi un catalogue, et pas une démonstration

Trois raisons. La troisième est la seule qui compte vraiment pour une direction générale.

La démonstration est un genre, pas une preuve. Celui qui fait la démonstration choisit la matière, la consigne, et le moment où il arrête de montrer. Rien de tout cela n’est malhonnête : c’est le propre de l’exercice. Mais une démonstration réussie établit qu’une chose est possible une fois, dans des conditions choisies par celui qui la montre. Elle n’établit pas qu’un agent de votre collectivité, sur un dossier de votre collectivité, obtiendra le même résultat un mardi matin.

Les retours d’expérience publiés sont presque tous des récits de déploiement. Ils racontent comment une collectivité s’y est prise, combien d’agents ont été équipés, ce que la charte dit. C’est utile, et nous en publions. Mais un récit de déploiement ne répond pas à la question qui précède le déploiement : sur quelles tâches précisément l’outil tient-il, et à partir de quelle tâche faut-il renoncer.

Et une collectivité n’a pas besoin de savoir si l’IA « marche ». Elle a besoin de savoir, cas d’usage par cas d’usage, ce qui est déployable, à quelles conditions, sur quelle ligne budgétaire et par quel canal d’achat. C’est une réponse à quatre colonnes, pas un avis. Ce catalogue est la forme la plus courte que nous ayons trouvée pour la donner.

Ce qu’un verdict veut dire ici

Quatre niveaux, et l’échelle ne change jamais. Pas de demi-verdict, pas de « ça dépend » sans les conditions nommées. Le verdict figure dans le titre du numéro : un lecteur qui ne lit que le titre repart avec l’information principale.

Sur les treize premiers cas, deux verdicts sont « ça marche », huit sont « ça marche sous conditions » et trois sont « pas encore ». Aucun « c’est du vent » à ce jour, et ce n’est pas une politesse : les cas d’usage traités d’abord sont ceux que les collectivités réclament le plus, et ils tiennent. Les trois « pas encore » ne disent d’ailleurs pas que la technique a échoué : dans les trois cas, c’est autre chose qui manque — un cadre que la collectivité n’a pas écrit, une matière que nous ne savons pas produire, ou une opération que ce protocole ne nous permet pas d’éprouver. Chaque carte le dit à la même hauteur que son verdict. La série publiera un « c’est du vent » le jour où elle en rencontrera un, et elle expliquera pourquoi sans viser l’éditeur ni le cabinet qui aura fait la promesse. C’est la promesse qu’on met à l’épreuve, pas la personne qui l’a formulée.

Un verdict « sous conditions » n’est pas un demi-non. Dans les huit cas de ce catalogue, les conditions sont à la portée d’un secrétariat général, d’un service de communication, d’un service des marchés ou d’un service technique en quelques jours : un modèle écrit, une méthode de six lignes, une base de fiches datées, une trame de cahier des charges, une trame de tableau avec ses règles de marquage, un dossier de pièces réuni avant d’écrire, une relecture attribuée à la bonne personne. Ce qui fait échouer un cas d’usage n’est presque jamais l’outil. C’est l’absence de ces quelques lignes.

Le protocole de test, en entier

Un numéro, un cas d’usage, un verdict. Pour que les verdicts soient comparables d’une semaine à l’autre, le protocole est fixe, et le voici en entier. Il se complète à mesure que les numéros apprennent quelque chose, et chaque complément porte la date à laquelle il a été adopté.

Le jeu de données est commun à tous les numéros

Il est constitué une fois : un courrier de réclamation d’administré, une note de service et la délibération type d’une collectivité, un cahier des clauses techniques d’une centaine d’exigences réparties sur une vingtaine d’articles et plusieurs annexes, une transcription de réunion de quarante-cinq minutes, une base documentaire de site de mairie en deux versions accompagnée d’un jeu de treize questions d’habitants, une fiche de poste de catégorie B et son annonce, un tableau de ressources humaines, trois dossiers de demande de subvention d’association accompagnés du référentiel qui sert à les instruire, trois dossiers d’autorisation d’urbanisme accompagnés du référentiel de leur service, une note de cadrage de marché accompagnée de la trame de cahier des charges d’une collectivité, un rapport d’observations provisoires d’une chambre régionale des comptes accompagné du dossier d’instruction d’une commune et de sa trame de réponse, et la transcription d’un rapport d’audit énergétique accompagnée de la trame du tableau de suivi du patrimoine d’une commune. Tout est écrit pour l’exercice, aucune donnée réelle n’y figure, aucun nom de commune ou de personne n’est employé : les éléments nominatifs restent entre crochets, parce qu’un nom inventé a toujours une chance d’exister.

Les pièces du jeu de données sont publiées intégralement lorsque leur longueur le permet, et mises à disposition en téléchargement lorsqu’elle ne le permet pas. Dans tous les cas, la consigne du test est publiée dans le numéro, pour que vous puissiez refaire la passe.

La consigne est la même pour tous les outils

Elle est écrite une fois, en français, telle que l’écrirait un agent formé une demi-journée. Elle n’est pas optimisée pour un outil, et elle n’est pas réécrite entre deux passes. Depuis le 13 octobre 2026, la consigne type porte « signale-le sans trancher » : elle interdit d’inventer, et elle interdit aussi de choisir entre deux informations de la matière qui se contredisent. Depuis le 29 octobre 2026, elle porte en outre « et dis ce que tu n’as pas suivi » : sans cette ligne, une consigne qui interdit d’introduire une règle absente de la matière interdit du même coup de dire qu’une demande ne peut pas être écrite telle quelle, et la demande disparaît en silence. Elle est reproduite dans la version envoyée par courriel.

Le corrigé est écrit avant la passe

C’est le complément le plus important, adopté le 9 octobre 2026. Sur un document réel, on ne peut mesurer ni l’exhaustivité ni la précision d’une sortie : on ne peut qu’apprécier sa vraisemblance, ce qui est exactement le biais que la démonstration exploite. Les documents de test sont donc écrits par nous, et leur corrigé est établi au moment de leur rédaction : la liste de référence de ce qu’il y a à trouver, et la liste des points difficiles avec leur emplacement et ce que chacun mesure.

La mesure se fait ensuite en comptant — éléments retrouvés sur le total de référence, citations confrontées une par une au texte, références à des passages inexistants, éléments mal classés — et non en lisant la sortie pour juger si elle est bonne. Le corrigé ne se publie jamais, pour une raison simple : un lecteur qui refait la passe doit chercher comme nous avons cherché.

Comparer des régimes, pas seulement des produits

Un test ne compare pas toujours deux outils, parce que ce n’est pas toujours l’outil qui décide du résultat. Quand le cas d’usage est une décision d’organisation — ouvrir des comptes, écrire une charte, former des agents —, on garde le modèle, la matière et la demande de l’agent identiques, et on ne fait varier que ce que l’organisation écrit : une passe sans cadre, une passe avec. Quand le cas d’usage consiste à traiter un document, on pose deux fois la même demande au même outil, la seconde fois précédée de quelques lignes de méthode qui ne contiennent aucune information sur le document — c’est ce qui permet d’attribuer l’écart à la méthode, et non à un indice donné en chemin. Et quand il s’agit de produire un acte, il faut trois passes : demande nue, demande précédée du gabarit de la collectivité, demande précédée du gabarit et de la méthode.

Ce dernier point a été adopté le 10 octobre 2026, après un résultat qui aurait été illisible avec deux passes seulement : le gabarit et la méthode ne vont pas dans le même sens. Le dispositif retenu est annoncé en tête de chaque numéro, avec le nombre de passes et ce qui varie de l’une à l’autre.

Quand la variable est la base documentaire

Adopté le 13 octobre 2026. Quand le cas d’usage consiste à répondre à un usager ou à un agent à partir des documents de la collectivité, la variable qui décide du résultat n’est ni l’outil ni la consigne : c’est ce que la collectivité donne à lire. Le dispositif tient alors en trois passes — aucune base, la matière telle qu’elle est publiée, la même matière préparée — et en une contrainte de fabrication : la base préparée ne contient pas un fait de plus que la base brute, et elle ne corrige aucune de ses contradictions. La préparation ne fait que trois choses : une fiche par question posée, une date de dernière vérification, une ligne « non publié ».

Cette contrainte est ce qui rend le test honnête. Sans elle, la troisième passe gagne par construction et nous ne mesurons plus que notre propre travail de rédaction ; avec elle, nous mesurons ce que la préparation rend visible, et non ce qu’elle a corrigé à la main.

Quand la variable est ce que le service fournit à l’assistant qu’il construit

Adopté le 15 octobre 2026, et à distinguer du cas précédent : là, l’assistant répond à une question et la variable est ce qu’il a le droit de lire ; ici, il produit un document de travail dont un tiers se servira — une fiche d’instruction que lira une commission, un projet de courrier, une note qui remonte —, et la variable est le référentiel que le service applique déjà et la méthode par laquelle il l’applique. La mesure porte alors sur ce qui est rendu, et non sur ce qui est su.

Le dispositif tient en trois passes, dans cet ordre : rien, le référentiel, le référentiel et quelques lignes de méthode. Deux contraintes de fabrication le rendent interprétable. Les lignes de méthode ne contiennent aucune information sur la matière, ce qui se vérifie en cherchant dans le bloc de méthode les mots propres aux dossiers soumis : sans cela, l’écart mesuré récompense un indice donné en chemin. Et le référentiel est donné tel que le service l’applique, avec ses lacunes et ses contradictions, parce qu’un référentiel réécrit pour l’occasion mesurerait notre travail de rédaction et non le sien.

Complété le 20 octobre 2026, et c’est une correction : le référentiel règle le métier, le périmètre règle la délégation, et l’un ne remplace pas l’autre. Un référentiel décrit ce qu’il faut savoir — les échéances que le service suit, les règles d’attribution qu’il applique, les pièces qu’il attend. Il ne dit rien de ce qui peut sortir du service, ni de ce que l’assistant s’autorise à faire. Un service qui construit un assistant fournit donc deux pièces distinctes, et la seconde porte quatre choses : ce que l’assistant peut lire, ce qu’il produit sans l’envoyer, ce qu’il n’écrit jamais dans un message, et la liste des cas qu’il remonte au lieu de les traiter. Une cinquième ligne manquait à celle que nous avons soumise au dixième test, et elle est à ajouter : ce qui doit être signalé comme urgent même quand ce n’est pas une échéance. Un périmètre bien écrit empêche les fautes ; il ne fabrique pas du jugement.

Quand la matière réelle est graphique

Adopté le 18 octobre 2026. Certains cas d’usage ont pour matière des plans, des dessins ou des documents graphiques : un dossier d’autorisation d’urbanisme se présente comme un jeu de pièces dessinées, et c’est sur elles que se lisent les cotes, les niveaux du terrain et les limites. Nous ne savons pas produire cette matière, et nous n’employons aucune pièce réelle. Le test porte alors sur une transcription écrite de la matière graphique, et trois conséquences s’imposent.

La transcription est écrite comme une pièce du jeu de données, avec ses contradictions, et elle dit qu’elle est une transcription. Le verdict porte sur le cas d’usage du titre, donc il tient compte de ce qui n’a pas été éprouvé : relever une valeur opposable sur un plan est souvent le travail même, et non son préalable. Et la ligne du catalogue porte la mention « verdict rendu sur une transcription écrite ». C’est la mécanique déjà retenue pour un cas d’usage que ce protocole interdit d’éprouver : le test se déplace vers l’opération voisine, et la limite du déplacement s’écrit à la même hauteur que le résultat.

Quand le cas d’usage est une exécution autonome

Adopté le 20 octobre 2026. Certains cas d’usage consistent à laisser un outil enchaîner des tâches sans surveillance : il reprend un tableau pendant la nuit, repère les retards, rédige, envoie. L’exécution elle-même est hors d’atteinte d’un test honnête — elle suppose une messagerie, une base métier et des droits que nous n’avons pas, et que ce protocole nous interdirait d’employer sur des données réelles. Le test se déplace donc vers l’opération qui commande le résultat, et cette opération est la décision : ce que l’outil retient, ce qu’il refuse, ce qu’il s’autorise à écrire, et ce qu’il laisse derrière lui comme trace. Un outil qui décide mal ne décide pas mieux parce qu’il exécute bien ; il exécute une mauvaise décision plus vite et plus souvent.

Ce déplacement a une particularité qu’il faut écrire, parce qu’elle se lit à l’envers de ce qu’on croit. L’outil s’arrête de lui-même avant l’acte irréversible, et cette abstention n’est pas une qualité : elle vient de ce qu’aucun outil d’action ne lui est branché, et elle disparaît le jour où un service connecte la messagerie ou le logiciel métier. Un test de cette famille ne peut donc pas rendre un verdict meilleur que « pas encore », quelles que soient ses mesures, aussi longtemps que l’exécution n’est pas éprouvée ailleurs ; et la ligne du catalogue porte la mention « verdict rendu sans passe sur l’exécution réelle ».

Quand le cas d’usage est la production d’une pièce de marché

Adopté le 29 octobre 2026. Certains cas d’usage consistent à produire la pièce par laquelle la collectivité achète : un cahier des clauses techniques, un règlement de consultation, une grille de notation. Cette famille ressemble à celle de la production d’un acte, et elle en diffère par ce que le document devient. Une délibération est lue par l’assemblée qui la vote ; une pièce de marché est lue par des candidats qui s’en serviront contre la collectivité, et elle s’exécute pendant des années. Trois conséquences de dispositif.

La matière est une demande interne de marché — une note de cadrage de service —, et non un cahier des charges existant : on produit une pièce, on n’en dépouille pas une, et ces deux opérations ne se mesurent pas de la même façon. Le gabarit fourni ne dit rien de l’objet du marché : la trame et les règles de rédaction de la collectivité sont celles d’un marché quelconque, faute de quoi la passe qui les reçoit est avantagée par un indice et le test n’apprend rien. C’est au gabarit ce que la contrainte de fabrication est à la base documentaire.

Et la mesure ne porte pas sur l’exhaustivité, qui ne discrimine pas : sur ce cas d’usage, les trois passes ont traité la totalité des éléments de référence et relevé presque toutes les difficultés de la matière. Ce qui les sépare est le statut de chaque exigence écrite — numérotée ou non, fondée sur un élément de la demande ou non, assortie de la pièce qui permettra de la vérifier ou non. C’est ce statut que la grille compte, parce que c’est lui qui décide si le document sera opposable à un titulaire.

Quand le cas d’usage est une réponse à une autorité de contrôle

Adopté le 31 octobre 2026. Certains cas d’usage consistent à répondre à un contrôle externe : un rapport d’observations provisoires d’une chambre régionale des comptes, un rapport d’inspection, une demande d’une autorité de contrôle. Cette famille ressemble à celle de la production d’un acte, et elle en diffère par trois traits qui changent le dispositif.

La matière n’est pas une demande interne, c’est un reproche. Une partie des observations est partiellement inexacte et se réfute par une pièce ; une autre est exacte et doit être reconnue sans défense, y compris lorsqu’une note interne propose de la discuter ; une troisième ne porte pas sur la régularité mais sur l’opportunité d’un choix qui appartient à l’organe délibérant. La matière de test porte donc les trois familles, et le corrigé les distingue, parce qu’une bonne réponse ne traite pas les trois de la même manière.

Le document produit n’est pas un acte de la collectivité : c’est sa parole dans une procédure contradictoire, et il sera publié avec le rapport définitif. La mesure porte donc sur la posture autant que sur l’exactitude — ce qui est reconnu, ce qui est contesté avec une pièce à l’appui, ce qui est renvoyé à l’organe compétent. Trois régimes, comme pour la production d’un acte : la matière seule, la matière précédée de la trame de la collectivité et de ses règles, puis la trame accompagnée de la méthode. Et la même conclusion qu’à la famille précédente : l’exhaustivité ne discrimine pas, les trois passes ayant traité la totalité des éléments de référence.

Quand la sortie est une donnée et non un texte

Adopté le 2 novembre 2026. Certains cas d’usage ne produisent pas un document mais des cellules : reporter un rapport de bureau d’études dans un tableau de suivi du patrimoine, alimenter un inventaire, remplir un tableau de bord. Cette famille ressemble à celle de ce que le service fournit à l’assistant, et elle en diffère par trois traits qui changent la mesure.

Chaque cellule a un statut vérifiable — juste, fausse, vide à bon droit, vide à tort, ou remplie par un calcul. La mesure est donc arithmétique et ne demande aucune appréciation, ce qui est l’avantage de cette famille ; son risque est l’inverse, puisqu’une cellule remplie a l’air d’une cellule lue, et qu’un tableau ne se relit pas comme un texte.

Ce que le service fournit n’est pas seulement un référentiel, c’est la cible : la trame, ses unités et ses règles de marquage. Elle s’écrit comme une pièce du jeu de données, sans aucune mention de l’objet du test, et les trois régimes sont la demande seule, la demande précédée de la trame et de ses règles, puis la trame accompagnée de la méthode.

Et la vérification des totaux que le document annonce est une mesure à part entière, distincte de l’exhaustivité. Au treizième test, les trois passes ont traité les trente éléments de référence à une unité près, de sorte que l’exhaustivité ne les séparait pas ; sur les six totaux et correspondances que le rapport annonçait, elles en ont vérifié deux, une et six. C’est cette mesure, et elle seule, qui a départagé les régimes de fourniture.

Les conditions de la passe sont notées

Le modèle ou la version, le plan — gratuit, professionnel, organisation —, la date. Réglages par défaut, sauf l’option de non-utilisation des contenus pour l’entraînement quand elle existe. Quand une passe est obtenue depuis un environnement de travail plutôt que depuis l’interface grand public d’un service, c’est écrit : ce n’est pas le même mécanisme, et le numéro ne tire alors aucune conclusion qui en dépende.

Le temps est borné

Une heure au maximum par cas d’usage, tous outils compris. Si le cas demande davantage pour être tranché, le verdict est « pas encore », et le numéro dit ce qu’il faudrait pour conclure.

Les critères de jugement, dans cet ordre

Exactitude, c’est-à-dire absence d’invention. Respect de la consigne et du droit. Qualité rédactionnelle pour un usage administratif. Effort de relecture nécessaire. Temps réellement gagné.

Ce que la mesure compte, au-delà des inventions

Chercher les faux chiffres ne suffit pas, et treize numéros l’ont montré. La grille de mesure porte donc dix contrôles qui ne se confondent pas avec le contrôle d’invention.

Les références que l’outil fournit de lui-même se vérifient en deux temps, depuis le 12 octobre 2026 : la référence existe-t-elle, et le détail qui lui est attaché est-il exact ? Un numéro de décret correctement identifié peut être suivi d’une précision fausse, et c’est la précision que personne ne vérifie.

Les contenus exacts mais périmés se comptent à part des inventions, depuis le 13 octobre 2026. Une même passe peut n’inventer rien du tout et resservir au futur une information vieille de dix-huit mois. Le comptage se fait en cherchant dans les sorties les dates et les périodes présentes dans la matière, puis en vérifiant si elles sont présentées comme à venir.

Une contradiction tranchée d’autorité est un défaut, et elle se compte aussi, depuis le 13 octobre 2026. La consigne demande de signaler une contradiction, non de choisir : une sortie plausible, bien raisonnée, dont rien dans la matière n’établit la conclusion est une sur-collecte au même titre qu’un critère fabriqué.

La norme induite se cherche à part, et c’est le contrôle le plus récent, adopté le 15 octobre 2026. Faute de référentiel écrit, une sortie peut juger un cas par comparaison avec les autres cas du même lot — « le dossier est, sur le plan des comptes, le plus complet des trois » — plutôt que par la règle qui s’applique. Rien n’y est inventé, de sorte qu’aucun contrôle d’invention ne le voit passer ; et la conséquence est sérieuse dès que la tâche se répète, puisque les premiers cas traités deviennent la norme appliquée aux suivants, sans qu’aucune instance l’ait délibérée. Le comptage se fait en extrayant les constats justifiés par renvoi à un autre élément du lot.

Les règles importées se relèvent une par une, et c’est le cinquième contrôle, adopté le 17 octobre 2026. Une sortie peut n’inventer aucune règle et aller la chercher ailleurs que dans la matière fournie : un délai pour demander des pièces, un seuil, une consultation obligatoire, parfois un article de code nommé. Aucune de ces règles n’est fausse, et c’est ce qui les rend coûteuses — un contrôle d’invention ne voit rien passer, et le relecteur reconnaît des dispositifs qui existent. Le comptage se fait en reprenant chaque règle, chaque seuil et chaque référence juridique cités, puis en cherchant s’ils figurent dans ce qui a été fourni : ceux qui n’y figurent pas ne sont pas les règles de la collectivité, et un document fondé sur eux est à refaire entièrement. Ce contrôle complète celui de la norme induite : l’un surveille la règle que la sortie se fabrique, l’autre celle qu’elle emprunte. Une borne lui est posée le 31 octobre 2026 : ce contrôle se lit, il ne se compte pas seulement. Au douzième test, les trois passes importent la même règle, absente de la matière — le choix du mode de gestion d’un service public appartient à l’assemblée délibérante —, et c’est précisément elle qui les sauve du piège d’opportunité du rapport. Une règle importée qui désigne la compétence d’un organe, et non le fond d’une question, est le plus souvent ce qu’on attendait de la sortie : un total brut de règles importées ne veut donc rien dire, et c’est leur relecture une par une qui informe.

L’arrêt et la traçabilité se comptent eux aussi, et c’est le sixième contrôle, adopté le 20 octobre 2026. Les cinq précédents portent sur ce qu’une sortie dit ; celui-ci porte sur ce qu’elle ne fait pas, et sur ce qu’elle laisse derrière elle. Il se compte en deux temps. D’abord, les éléments que la matière ne permet pas de traiter sont-ils effectivement remontés, et remontés sans être tranchés — une donnée incohérente, une donnée absente, une situation que le référentiel ne couvre pas, un interlocuteur non identifiable. Le piège à placer dans la matière est l’élément qui porte une échéance réelle et aucun destinataire : un traitement automatique le saute en silence, et c’est le défaut le plus difficile à voir, puisqu’il ne produit rien. Ensuite, la séance est-elle reconstituable à partir de ce qui est écrit : les éléments examinés nommés un à un, ceux retenus avec la règle appliquée, ceux remontés avec leur motif, et ce qui n’a pas été fait faute d’autorisation. Ce contrôle a une vertu propre, vérifiée au dixième numéro : le journal rattrape les erreurs de la synthèse. Le seul chiffre faux de la meilleure des trois passes se trouvait dans sa première ligne, et c’est son propre journal qui le contredisait.

Les demandes laissées sans réponse se comptent une par une, et c’est le septième contrôle, adopté le 29 octobre 2026. Il est le pendant exact des règles importées : l’un surveille ce que la sortie ajoute sans qu’on le lui demande, l’autre ce qu’elle retire sans le dire. Une sortie disciplinée, à qui l’on a interdit d’introduire une règle absente de la matière, peut écarter une demande qu’elle ne sait pas écrire — un plafond de prix, l’exclusion d’une catégorie de fournisseurs — sans signaler qu’elle l’a écartée, puisque le dire supposerait précisément une règle extérieure. Le comptage se fait en reprenant les demandes de la matière une à une, et en cherchant pour chacune soit une clause, soit une observation. Sur une pièce contractuelle, c’est le plus coûteux des deux contrôles : le service qui relit croit sa demande prise en compte, et rien dans le document ne le détrompe.

L’incertitude non fondée se compte aussi, et c’est le huitième contrôle, adopté le 29 octobre 2026. Il est le quatrième membre de la famille réunie plus haut, celle des défauts qu’aucune recherche d’invention ne voit, et il consiste à compter les affirmations exactes de la matière que la sortie renvoie au doute. Les trois passes du onzième test ont renvoyé un service vérifier le fondement d’une obligation de la commande publique qui s’appliquait déjà au jour du test. Une consigne de prudence produit de la fausse incertitude aussi sûrement qu’une absence de consigne produit de l’invention, et elle coûte le même temps à un service. D’où une précision de méthode : une consigne qui demande de ne rien inventer gagne à demander aussi de distinguer « je ne sais pas » de « c’est à vérifier ».

L’engagement non délibéré se compte à part, et c’est le neuvième contrôle, adopté le 31 octobre 2026. Une sortie peut n’inventer aucun fait, n’importer aucune règle, proposer la mesure corrective exacte — et l’annoncer à un tiers au nom de l’institution alors que l’organe compétent n’a rien décidé. Au douzième test, une passe annonce à une juridiction financière, dans un courrier destiné à être publié, une délibération fixant la durée annuelle du temps de travail et mettant fin à des jours de congés accordés en 1998 : la mesure est la bonne, la rédaction est irréprochable, et le conseil municipal n’en a pas délibéré. Aucun des huit contrôles précédents ne voit ce défaut, puisque rien n’y est faux. Le comptage se fait en reprenant chaque mesure annoncée, en identifiant l’acte qui la porterait et l’organe qui le prendrait, puis en vérifiant que la sortie ne présente pas comme décidé ce qui reste à décider. Ce contrôle est le pendant institutionnel de celui de la norme induite : l’un surveille la règle que la sortie se fabrique, l’autre la décision qu’elle s’arroge.

La cellule déduite se compte à part, et c’est le dixième contrôle, adopté le 2 novembre 2026. Une valeur peut être absente de la matière, obtenue par un calcul, une conversion ou une proportion, et livrée sans être présentée comme un calcul : rien n’est inventé au sens strict, et pourtant rien n’a été lu. C’est la cousine arithmétique de la norme induite et des règles importées, et elle se cherche de la même manière — extraire toutes les valeurs numériques citées par la sortie, soustraire celles qui figurent dans la matière, puis lire une par une celles qui restent. Mesure de la première application, au treizième test : zéro dans les trois passes, les six valeurs restantes étant toutes des calculs explicitement annoncés comme tels. Le contrôle est adopté quand même, parce que sans lui on ne peut pas écrire « zéro » : on peut seulement écrire qu’on n’a pas regardé.

Ce qui n’est pas testé

Aucun cas d’usage qui supposerait de traiter des données réelles de personnes. Aucun cas d’usage à haut risque au sens du règlement européen sur l’intelligence artificielle — tri de candidatures, notation d’usagers — autrement que pour documenter ses limites et son cadre. Et, depuis le 8 octobre 2026, aucun enregistrement réel de réunion n’est employé pour ces tests, quelle que soit l’anonymisation du texte qui en sortirait : un enregistrement porte la voix des participants et il se conserve, ce qui en fait une matière d’une autre nature que le texte qu’on en tire.

Et, depuis le 12 octobre 2026, aucune candidature — réelle ou fictive — n’est versée dans un outil pour les besoins d’un test. Une candidature fictive ne pose aucun problème de donnée personnelle ; produire un classement de candidats, même imaginaires, serait faire la démonstration de ce que nous déconseillons.

Ce que nous faisons à la place

Adopté le 12 octobre 2026, parce qu’un protocole qui dit ce qu’il ne teste pas doit dire ce qu’il fait à la place. Quand un cas d’usage est exclu, nous ne renonçons pas au test : nous le déplaçons vers l’opération qui le précède ou qui le prépare. Trois conditions doivent être réunies. Cette opération doit commander le résultat du cas d’usage exclu — une grille de présélection irrégulière produit un tri irrégulier, quel que soit l’outil qui l’applique. Elle ne doit évaluer aucune personne. Et la limite du déplacement s’écrit dans le numéro, à la même hauteur que le résultat.

Le verdict est alors rendu sur le cas d’usage du titre et non sur l’opération éprouvée, la rubrique « La solution » dit ce qui n’a pas été mesuré, et la ligne du catalogue porte la mention « verdict rendu sans passe sur le cas d’usage lui-même ». Un résultat favorable obtenu en amont ne dit rien de l’aval, et nous ne l’étendons pas.

Conflits d’intérêts

Si nous portons ou revendons des licences d’un outil testé, c’est écrit en bas du numéro concerné.

Les cas d’usage éprouvés

Un cas d’usage par semaine, avec son verdict, ses conditions, la solution la mieux placée, ce qu’il coûte, la ligne budgétaire et le canal d’achat. Les treize premiers portent sur sept directions différentes, ce qui est une règle de la série et non un hasard : un catalogue qui ne parlerait que du secrétariat général ne servirait qu’au secrétariat général.

Ce que treize tests apprennent déjà

Un catalogue vaut plus que la somme de ses lignes. Huit constats traversent les treize premiers cas d’usage, et aucun des huit n’était l’hypothèse de départ.

Aucune passe n’a inventé un chiffre, une date ou un nom. Sur onze cas d’usage, sur des matières où l’invention était facile — un montant inaudible dans une transcription, un délai de recours dans une réponse à réclamation, une grille tarifaire absente d’une note de service —, le risque que tout le monde redoute ne s’est pas réalisé une seule fois. Il a changé de place. Dans un compte rendu de réunion, vingt-neuf lignes d’actions sur trente étaient exactes et la trentième avait été créée de toutes pièces, avec un responsable que personne n’avait désigné : une invention d’attribution, plausible et indétectable pour qui n’était pas dans la salle. Dans la rédaction d’un acte, aucun chiffre n’est inventé, mais neuf références de textes que personne n’avait fournies entrent dans l’acte, visas compris. Dans le dépouillement d’un cahier des charges, rien n’est inventé, mais cinq lignes sur trente-quatre rangent en obligation ce qui n’est qu’une faculté ou une sanction. Sur une fiche de poste, rien n’est inventé non plus : sept critères que personne n’avait écrits sont pourtant fabriqués, dont quatre deviennent éliminatoires, et les sept références juridiques que l’outil cite de lui-même existent toutes — mais le détail attaché à la plus précise d’entre elles est faux dans les deux passes. Et sur l’instruction de demandes de subvention, les trois passes citent deux cent vingt-trois montants sans en fabriquer un seul. Et sur la pré-instruction de trois dossiers d’urbanisme, elles citent cinq cent sept valeurs chiffrées, dont quatre-vingt-deux valeurs dérivées recalculées une par une, sans qu’une seule surface, une seule distance ni une seule date ne soit inventée. Et sur un suivi d’échéances de ressources humaines, les trois passes citent les dates, les matricules et les directions du tableau sans en fabriquer un seul, et sans faire apparaître une ligne qui n’y figurait pas — une seule soustraction glisse d’un mois, sur une date exacte. Et sur la rédaction d’un cahier des charges à partir d’une note de service, les trois passes écrivent entre cinq et sept mille mots de clauses sans fabriquer une date, un montant, un nom ni une procédure — mais toutes trois renvoient le service vérifier le fondement d’une obligation de la commande publique qui s’appliquait déjà. L’inverse de l’invention existe donc aussi, et il coûte le même temps : une affirmation exacte renvoyée au doute. Et sur une réponse à un rapport d’observations provisoires d’une chambre régionale des comptes, les trois passes écrivent entre deux mille cinq cents et trois mille mots sans fabriquer un montant, une date ni un nom — mais la mieux outillée affirme qu’un écart de cinquante heures correspond à cinq jours de congés, ce que le dossier n’établit pas, et celle qui n’avait reçu que la matière annonce à la juridiction une délibération dont le conseil municipal n’a pas délibéré le contenu. Ce qu’une sortie ajoute n’est donc pas toujours un fait : c’est parfois une correspondance, parfois une décision.

La conséquence pratique est nette, et elle est contre-intuitive : les consignes de relecture qui cherchent les faux chiffres cherchent au mauvais endroit. Ce qu’il faut relire est ce que l’outil a ajouté sans qu’on le lui demande — une ligne de tableau, un visa, une qualification —, et c’est précisément ce qu’un relecteur pressé survole, parce que cela ressemble à du mobilier.

Un contenu exact n’est pas pour autant un contenu à jour. C’est le constat du septième test, et il échappe à tous les contrôles précédents. Branché sur les pages d’un site communal, un assistant n’invente rien et ressert à un habitant une actualité de travaux vieille de dix-huit mois, en la mettant au futur : le texte est exact, c’est sa date qui ne l’est plus. Devant deux horaires contradictoires, le même assistant tranche au lieu de signaler, avec un raisonnement juste et une conclusion que rien n’établit. Une page d’actualité qu’on oublie de dépublier ne vieillit donc pas tranquillement sur le site : elle est resservie. Ces deux défauts sont devenus deux contrôles du protocole, parce qu’aucune relecture qui cherche des inventions ne les trouve.

Une sortie qui n’invente rien peut tout de même fabriquer la règle. C’est le constat du huitième test, et il déplace le risque une fois encore. Chargé d’instruire trois demandes de subvention sans disposer du règlement d’attribution, un assistant ne fabrique pas les règles manquantes : il les laisse en blanc, pose dix-neuf renvois entre crochets et quatorze questions à la commission — le travail ne disparaît pas, il remonte d’un étage. Mais il juge chaque dossier par comparaison avec les deux autres du lot, et écrit que l’un est « le plus complet des trois ». Rien n’est inventé, donc aucune relecture qui cherche des erreurs de fait ne le verra ; et sur une soixantaine de dossiers, les premiers instruits deviennent la norme appliquée aux suivants, sans qu’aucune instance l’ait délibérée. C’est ce qu’un assistant métier construit par un service fait de plus discret et de plus lourd de conséquences, et c’est devenu le quatrième contrôle du protocole.

Ce qui décide du résultat est presque toujours ce que l’organisation écrit avant de demander. Quatre lignes d’instruction posées au niveau de l’organisation font disparaître d’un courrier la santé d’un enfant et six actions que personne n’avait faites. Six lignes de méthode transforment une note de lecture en un tableau de suivi ancré article par article. Un modèle d’acte écrit avec ses règles divise par deux la longueur du projet de délibération. Six lignes de méthode encore, sur une fiche de poste, font passer la détection des défauts de treize sur seize à seize sur seize et suppriment sept critères fabriqués. Seize fiches datées, qui ne contiennent pas un fait de plus que les pages du site, font passer un assistant communal de cinq éléments sur trente-six à trente-six sur trente-six. Le référentiel écrit d’un service — son règlement, sa liste de pièces, son modèle de fiche — fait passer une instruction de dix-neuf éléments de référence sur trente à vingt-neuf sur trente, et de cinq difficultés fondées sur seize à seize sur seize. Le règlement de zone d’une commune, avec ses annexes de secteurs et de servitudes, fait passer une instruction d’urbanisme de onze éléments de référence sur trente à trente sur trente, et d’aucune difficulté de qualification fondée sur onze à dix sur onze. Et une page de périmètre écrite par le service — ce que l’assistant peut lire, ce qu’il n’écrit jamais, ce qu’il remonte au lieu de traiter — fait tomber de neuf à zéro les règles qu’un assistant de suivi va chercher hors de la matière fournie, et rend sa nuit reconstituable ligne par ligne. Et six lignes de méthode, sur la rédaction d’une pièce de marché, ne changent pas ce qui est trouvé : elles changent ce qui sera opposable, vingt-huit exigences numérotées et rattachées à un élément de la demande là où la même demande sans méthode n’en produit aucune. Dans les douze cas, l’écart entre une sortie utilisable et une sortie à refaire tient dans un travail d’écriture que personne ne fait : quelques lignes de méthode, un modèle, une base de fiches. Une borne s’impose toutefois, et elle porte sur la mesure autant que sur le constat : sur les deux derniers cas d’usage, où la matière était fournie en entier, ni l’exhaustivité ni le comptage des difficultés n’ont départagé les régimes de fourniture — les trois passes y ont traité tous les éléments de référence et relevé presque toutes les difficultés. Ce qui les sépare est le statut de ce qui est écrit : sourcé ou non, reconnu ou contesté, décidé ou à décider. Une seconde borne s’ajoute au treizième test, et sa cause est autre : le périmètre de la cible décide de ce qui est vu. Sur le report d’un rapport technique dans un tableau de suivi, la trame fournie porte bien une colonne de réserve, abondamment remplie par les trois passes, et c’est pourtant celle qui n’avait que la trame qui est la seule des trois à ne pas relever que le total de surface du rapport est resté celui de la version précédente : le tableau est organisé par bâtiment, un total de site n’y a pas de ligne, donc il n’est confronté à rien. Le fait symétrique le confirme, puisque la seule donnée manquée par la passe la mieux outillée est une échéance de contrôle réglementaire qu’aucune colonne ne demande. Une donnée qu’aucune colonne ne demande n’est ni saisie, ni contredite, et cela vaut pour toute cible fournie à un assistant, pas seulement pour un tableur.

Et fournir davantage n’améliore pas toujours le résultat. C’est le constat qui empêche de transformer le précédent en slogan. Sur la rédaction d’un acte, le modèle de la collectivité donne l’acte le plus conforme des trois passes et fait baisser la détection des difficultés, de treize sur seize à onze sur seize. La raison est mécanique et vaut pour tout gabarit : un modèle d’acte n’offre aucun endroit où écrire une réserve, de sorte que les réserves finissent entre crochets au milieu du texte, dont une au milieu d’un visa. Ce qui manquait n’était pas le modèle, c’était un endroit pour mettre ce qui ne va pas. Le huitième test oblige toutefois à borner ce constat : lorsque le document produit reste un document de travail interne, les deux passes qui disposaient du modèle du service ont créé elles-mêmes la rubrique manquante et l’ont signalé. L’effet du gabarit joue donc sur un acte qui sort de la collectivité, et non sur une fiche qui circule à l’intérieur. Le neuvième test ajoute une borne de sens inverse, sur un document qui reste interne : entre le référentiel seul et le référentiel accompagné d’une méthode, rien ne change dans ce qui est trouvé — trente éléments de référence sur trente de part et d’autre —, et tout change dans la forme de la note, deux égalités écrites contre trente-neuf, et trois propositions de refus contre trois réserves expresses de la décision à l’autorité. Le onzième test referme la démonstration par l’autre bout : sur une pièce de marché, la trame de la collectivité ne fait pas baisser la détection — elle donne même le meilleur des trois résultats — mais elle produit l’effet symétrique, puisqu’un article à remplir se remplit. Les articles de sécurité, d’accessibilité et de niveaux de service sont revenus garnis d’exigences convenables, dont pas une ne venait du service qui avait écrit la note.

Et ce qu’une sortie ne fabrique pas, elle peut l’emprunter. C’est le constat du neuvième test, et il ferme la série des précédents. Chargé de pré-instruire trois dossiers d’urbanisme sans disposer du règlement de zone, un assistant n’invente aucune règle et ne compare pas les dossiers entre eux : il va chercher la règle dehors. Onze dispositifs que personne ne lui avait fournis entrent dans ses notes — un délai pour demander les pièces, une décision tacite, un seuil de recours à l’architecte, un avis à recueillir, une taxe —, dont deux sous la forme d’un article de code nommé, et neuf sont même donnés sous réserve de confirmation. Tous existent, et c’est ce qui les rend coûteux : rien n’étant inventé, aucune relecture qui cherche des erreurs n’en trouvera, et le responsable lit une note fondée sur des règles que personne dans la commune n’a choisies. Il n’y a qu’un moyen de les voir, et c’est devenu le cinquième contrôle du protocole : reprendre chaque règle citée et chercher si elle figure dans ce qui a été fourni.

Et un référentiel améliore ce qu’on lui demande d’améliorer, rien d’autre. C’est le constat du dixième test, et il corrige le quatrième. Chargé d’un suivi d’échéances avec le référentiel du service mais sans périmètre écrit, un assistant fait un travail irréprochable — douze échéances sur douze, aucune fausse relance, les six lignes qu’il ne peut pas traiter remontées avec le bon motif — et c’est pourtant la passe des trois qui tient le moins bien la protection des données : elle écrit à l’encadrant d’un agent, dans un message prêt à partir, que celui-ci bénéficie d’une décharge au titre d’un mandat syndical. La phrase est juridiquement juste, l’intention est d’expliquer une décision, et l’information sort du service alors que personne ne l’avait demandé. Rien, dans un référentiel d’échéances, ne disait que cette frontière existait. La minimisation des données ne relève pas du métier, elle relève du périmètre : ce sont deux documents, et le service les écrit séparément.

Et ce qu’une sortie écarte, elle ne le dit pas toujours. C’est le constat du onzième test, et il ferme l’angle mort que les précédents laissaient ouvert. Chargé d’écrire un cahier des charges à partir d’une note de service, avec une méthode qui lui interdit d’introduire une règle absente de cette note, un assistant rend le document le plus honnête des trois : chaque exigence porte son origine, et trois articles reviennent vides avec la phrase qui dit pourquoi. C’est aussi le seul des trois à écarter deux demandes du service — un plafond de prix, l’exclusion d’une catégorie de fournisseurs — sans signaler qu’il les a écartées. La discipline qui l’empêche d’importer une règle l’empêche du même coup de dire qu’une demande ne peut pas s’écrire. Le remède tient en une ligne de plus dans la consigne, et le reste du constat tient en une phrase : un document qui ne dit pas ce qu’il n’a pas fait laisse croire qu’il a tout fait.

Le jeu de données commun

Douze pièces, écrites pour l’exercice, réutilisées d’un numéro à l’autre. C’est ce qui permet de comparer un verdict rendu en octobre à un verdict rendu en mars, et c’est l’actif le plus durable de la série. Les douze pièces sont écrites, chacune par le numéro qui l’emploie : les huit annoncées au premier numéro, et quatre qu’un cas d’usage nouveau a rendues nécessaires.

Les huit pièces annoncées au premier numéro sont écrites, et quatre s’y sont ajoutées depuis : un tableau de suivi des agents, une note de cadrage de marché, un rapport d’observations provisoires et le dossier pour y répondre, puis un rapport d’audit énergétique et la trame d’un tableau de suivi du patrimoine. Toutes quatre sont nées comme les précédentes, produites par le numéro qui les emploie. Les trois dernières rappellent une règle de la série que la neuvième avait déjà illustrée : un cas d’usage pris hors de la séquence prévue demande le plus souvent une matière que les autres ne portent pas. Les pièces suivantes naîtront de la même façon, et chacune sera publiée avec son numéro.

La pièce n° 8 s’écarte de sa spécification d’origine, et il faut le dire : elle était annoncée comme un dossier de demande en matière d’aide sociale ou d’urbanisme, et elle est écrite en matière de subvention associative. Deux raisons. Apprécier l’éligibilité d’une personne à une aide sociale est un cas d’usage que ce protocole exclut d’éprouver, au même titre que le tri de candidatures. Et la pré-instruction d’une autorisation d’urbanisme est le cas d’usage d’un numéro à paraître, qu’il aurait fallu vider de sa matière. Ce numéro est écrit depuis, avec sa propre matière : la pièce n° 9, qui porte le jeu de données de huit pièces à neuf. La demande de subvention conserve ce qui faisait l’intérêt de la pièce — une demande portée par une personne morale, instruite au regard d’un règlement délibéré, avec des pièces manquantes et des contradictions — sans appréciation d’aucune situation individuelle.

Deux règles s’appliquent à toutes les pièces. Une pièce qui a servi de matière à un test n’est jamais retouchée ensuite, pas même pour sa typographie : le texte publié doit rester celui qui a été soumis, sans quoi un lecteur qui refait la passe ne refait pas la même. Et le corrigé d’une pièce ne se publie pas : ni la liste de référence de ce qu’il y a à trouver, ni le tableau des points difficiles avec leur emplacement. Ces documents existent, ils sont établis avant la passe, et ils sont la raison pour laquelle nous pouvons donner un chiffre plutôt qu’une impression. Les publier reviendrait à donner les réponses avec l’épreuve.

D’où viennent ces verdicts

Ce catalogue est la face cumulative d’une lettre d’information hebdomadaire. Un numéro, un cas d’usage, un verdict, et une ligne de plus dans la grille ci-dessus.

La lettre s’appelle « L’IA côté agents — trouvez vos cas d’usage ». Elle paraît chaque mardi et elle est écrite par Jérémie Zarka en nom propre, parce qu’un verdict se signe. Elle tient en cinq rubriques, toujours les mêmes : le cas d’usage mis à l’épreuve avec son verdict, la solution la mieux placée et la ligne de charte qui va avec, le financement — ce que ça coûte, sur quelle ligne, par quel canal, avec quelles aides —, une question structurelle sur la place de l’IA dans une organisation, et la décision que prendrait un directeur général des services.

La version envoyée par courriel porte en plus un bonus : la consigne exacte du test, la pièce du jeu de données employée, et selon le cas le détail des critères d’une aide ou le mode opératoire de vérification en dix minutes. C’est la matière avec laquelle vous pouvez refaire la passe chez vous, sur votre propre dossier, et nous contredire.

Un cas d’usage demandé par un lecteur passe devant la séquence prévue, et il est traité dans les trois semaines. C’est la meilleure façon d’utiliser cette page : si le cas qui vous occupe n’y figure pas, demandez-le.

Les documents qui vont avec

Quatre documents en accès libre, sans formulaire, sur notre page Ressources. Le modèle de charte IA de collectivité, quatorze articles avec leur texte type et leur commentaire, dont l’annexe qui vit hors de la charte et se modifie sans repasser devant les instances. Le guide d’achat d’un assistant généraliste, en neuf étapes, avec sa liste de contrôle imprimable. Le modèle de cahier des clauses techniques d’assistance à maîtrise d’ouvrage, dix-sept articles et quatre annexes. Et la grille comparative des solutions d’IA générative, livrée vide, dont les pondérations découlent du cas d’usage que vous qualifiez.

Ces documents sont en téléchargement direct, sans adresse à laisser.

Questions fréquentes

Lien direct : calendar.app.google/8FprCJKk4xFnm4f57