On a testé : une IA peut-elle t’expliquer un courrier administratif ?

Le résultat : l’essentiel est retrouvé 20 fois sur 20

Les quatre IA ont donné la bonne date limite, le bon montant et la conséquence d’un oubli à chacun de leurs 5 essais. Une seule réponse sur 20 a laissé de côté une information du courrier : celle de Gemini 3.8 Flash à l’essai 4, qui ne parle pas de la limite de trois mois pour récupérer l’aide non versée.

* Le contrôle automatique avait compté 4/5 pour GPT-6.1 Terra sur la pièce à envoyer. À l’essai 2, la réponse écrit « avis d’impôt 2025 sur les revenus de 2024 » au lieu d’« avis d’imposition » : c’est le même document, on l’a compté juste à la main. Le fichier de résultat, lui, n’a pas été modifié.

Ce qui s’est passé : des détails qui ne sont pas dans le courrier

Ce que l’IA tire du courrier est fiable, ce qu’elle y ajoute l’est moins. Le courrier fictif ne nomme qu’un « Service des aides au logement ». Pourtant, plusieurs IA ont donné un nom d’organisme comme s’il était écrit.

C’est Mistral Large 4 qui va le plus loin. À l’essai 1, il écrit « L’envoyer à la CAF (ou MSA) » ; à l’essai 5, « Connectez-vous à votre espace CAF/MSA » ; à l’essai 4, il ajoute « Appelez la CAF au 3230 (appel gratuit) ». À l’essai 2, il promet « tu recevras un accusé de réception ». Rien de tout cela n’est dans le courrier. Si le tien vient d’un autre organisme, tu es envoyé au mauvais endroit. Le même modèle donne aussi deux dates différentes pour le même avis d’imposition : « généralement en août/septembre 2026 » à l’essai 1, « normalement disponible en juillet/août 2025 » à l’essai 3.

Les autres IA sont plus prudentes, chacune à sa façon. Claude Sonnet 5.5 est le seul à rappeler de se méfier des faux messages : « Il existe beaucoup de faux messages qui imitent ce genre de démarche » (essai 2). Il est aussi le seul à remarquer que l’adresse d’envoi manque dans le texte collé : « Je ne la vois pas dans le texte que vous m’avez copié, donc regardez sur votre courrier papier » (essai 1). GPT-6.1 Terra, lui, relève trois fois une bizarrerie du courrier : « La lettre parle d’une déclaration de ressources pour 2025, mais demande l’avis concernant les revenus de 2024 » (essai 4).

La dernière phrase du courrier est la plus floue : « sans effet rétroactif au-delà de trois mois ». Les IA la lisent de deux façons. Gemini 3.8 Flash, essai 5 : « ils ne rattraperont les mois non payés que dans la limite de 3 mois maximum ». Mistral Large 4, essai 5 : « vous ne serez pas remboursé(e) pour les mois où vous ne l’avez pas reçue (sauf si le retard est de moins de 3 mois) ». Notre phrase admet les deux lectures : c’est un défaut du courrier que l’on a écrit, pas une erreur d’IA. Mais notre contrôle automatique cherchait seulement « trois mois » et a validé les deux. Seul GPT-6.1 Terra propose de lever le doute : « Vous pouvez aussi lui demander comment s’applique précisément la limite de trois mois » (essai 4).

Côté forme, GPT-6.1 Terra répond en 175 mots en moyenne et environ 5 secondes, Claude Sonnet 5.5 en 302 mots et 7,5 secondes, Gemini 3.8 Flash en 257 mots et 11,7 secondes, Mistral Large 4 en 338 mots et 18,2 secondes. Mistral Large 4 met aussi des pictogrammes dans ses titres à chaque essai.

Ce que tu peux en faire

Utilise l’IA pour comprendre le courrier, jamais pour remplacer le courrier. Elle traduit bien le jargon ; elle peut aussi compléter ce qui manque avec ce qui lui semble plausible.

1. Donne-lui le courrier en entier : c’est ce qu’on a fait, et c’est ce qui donne 20 réponses sur 20 sur la date et le montant. On n’a pas testé avec un résumé de ta part.
2. Pose trois questions précises : « Quelle est la date limite ? Que dois-je envoyer ? Que se passe-t-il si je ne fais rien ? » C’est un moyen simple de repérer un oubli, comme celui de Gemini à l’essai 4 (non testé : on a posé une seule question ouverte).
3. Relis la date et le montant sur ton courrier : l’IA a été juste partout ici, mais notre courrier était court et fictif.
4. Vérifie tout ce qui n’est pas écrit dans ton courrier : nom de l’organisme, numéro de téléphone, délai de réception. Cherche-les sur un site officiel que tu connais déjà, pas dans la réponse de l’IA.
5. Face à une phrase floue, demande à l’organisme : si l’IA te donne une certitude sur une phrase ambiguë, ce n’est pas une preuve.

Astuce. Avant de coller un vrai courrier, retire ton nom, ton adresse et ton numéro de dossier. Notre courrier était fictif : on n’a pas testé ce que ça change à la réponse.

La méthode, en clair

Le test a été passé le 28 octobre 2026. Tout est gardé, et tu peux le refaire.

• Le courrier est fictif On l’a écrit pour le test (un service des aides au logement, une aide de 248,60 € par mois, un avis d’imposition 2025 à envoyer avant le 15 décembre 2026, suspension au 1er janvier 2027). La bonne réponse est donc dans le texte, connue avant le test.
• La demande « J’ai recu ce courrier et je ne comprends pas tout. Tu peux m’expliquer simplement ce qu’on me demande et ce que je dois faire ? », suivie du courrier. Envoyée sans accents, sans message système, comme la taperait un lecteur.
• Les modèles Openai/gpt-6.1-terra, google/gemini-3.8-flash, anthropic/claude-sonnet-5.5, mistralai/mistral-large-4-0, 5 essais chacun, soit 20 réponses, avec les réglages par défaut de chaque fournisseur. Le modèle qui a répondu est, à chaque essai, celui qu’on avait demandé.
• Par l’API, pas par l’application Le test passe par OpenRouter. Les réglages des applications gratuites peuvent différer ; on ne dit donc pas que « ChatGPT gratuit » ou « l’application » répond ainsi.
• Les contrôles Six faits vérifiables, comptés automatiquement puis relus à la main. Une correction (GPT-6.1 Terra, essai 2). Ils mesurent si un fait apparaît, pas s’il est bien compris : la règle des trois mois en est la preuve.
• Le coût 0,12 $ pour les 20 réponses. Un premier passage de calibration, écarté parce que les réponses étaient coupées, n’est pas compté.
• Les données brutes Les 20 réponses complètes, avec durée et coût de chacune, sont dans ce fichier.

Ce que le test ne dit pas. Il ne dit pas quelle IA est la meilleure : il mesure une seule tâche, sur un seul courrier court. On ne sait pas si les applications répondent pareil, ni ce qui se passe avec un vrai courrier de plusieurs pages, un scan ou une photo.

Pour aller plus loin, notre guide de l’IA pour les débutants explique les bases, et cet article sur les hallucinations détaille pourquoi une IA peut ajouter un détail faux avec aplomb. Autre test du site : Perplexity gratuit, ce que tu obtiens vraiment.