Le résultat de notre test
- GPT-6.1 TerraCorrige le calcul et voit la note 5 fois sur 5, ne cite ni plafond de 25 % ni article de loi ; la plus brève, 165 mots en moyenneReste dans le contrat
- Gemini 3.8 FlashTotal exact 5 fois sur 5, mais cite le plafond de 25 % dans 4 réponses et annonce un chiffre en euros comme à payer dans 4 réponsesComplète avec une règle périmée
- Claude Sonnet 5.5Cite le plafond de 25 % 5 fois sur 5 mais donne un plafond ou un ordre de grandeur annoncé comme tel, jamais un montant dû ; une coquille à « 878,64 € » à l’essai 2Complète avec une règle périmée
- Mistral Large 4Total exact 5 fois sur 5, cite le plafond de 25 % 5 fois, un numéro d’article 2 fois et un chiffre en euros comme à payer 3 foisComplète avec une règle périmée
- 20/20réponses qui voient la note en bas de page (39,99 € à partir du 13e mois) et corrigent le calcul faux, sur un contrat fictif
- 19/20réponses qui donnent le total exact de 878,76 € sur 24 mois, frais de mise en service compris
- 14/20réponses qui citent un plafond de 25 % pour les frais de résiliation, règle remplacée pour les contrats signés depuis 2023
Sommaire · 4 sections · 14 min
Tu as un contrat de box internet, un calcul dans la tête (« 29,99 € par mois pendant 24 mois, ça fait 719,76 € ») et une question qui fâche : combien tu paies si tu pars avant la fin ? Coller le contrat dans une IA et demander est tentant. Mais le contrat cache une note en bas de page, et il ne répond pas à la dernière question. L’IA va-t-elle voir la note, et va-t-elle dire ce que le document ne dit pas, ou le compléter de mémoire ? On a écrit un contrat fictif avec ces deux pièges, on l’a posé 5 fois à 4 IA, et on a gardé les 20 réponses brutes.
Le résultat : la note lue 20 fois sur 20, le total exact 19 fois
Les quatre IA ont répondu « non » au calcul de 719,76 €. Le contrat dit « 29,99 euros par mois* » et la note précise que ce prix vaut pour les 12 premiers mois, puis 39,99 € par mois. Le bon total sur 24 mois est donc 12 × 29,99 € + 12 × 39,99 € + 39 € de frais de mise en service = 878,76 €. Les 20 réponses relèvent le prix de 39,99 € et donnent la fin de l’engagement en mars 2027. Les 20 disent aussi que les conditions de résiliation sont dans des conditions générales qui ne sont pas jointes. Une seule se trompe dans la somme.
| IA | Voit le prix à 39,99 € au 13e mois | Total exact : 878,76 € | Fin d’engagement en mars 2027 | Dit que le document ne donne pas les frais |
|---|---|---|---|---|
| GPT-6.1 Terra | 5/5 | 5/5 | 5/5 | 5/5 * |
| Gemini 3.8 Flash | 5/5 | 5/5 | 5/5 | 5/5 |
| Claude Sonnet 5.5 | 5/5 | 4/5 | 5/5 | 5/5 |
| Mistral Large 4 | 5/5 | 5/5 | 5/5 | 5/5 |
* Le contrôle automatique n’avait compté que 4 réponses sur 5 de GPT-6.1 Terra pour la dernière colonne. Il cherchait « conditions générales » ou une tournure comme « ne précise pas ». À l’essai 5, GPT-6.1 Terra écrit « il n’est pas possible de calculer les frais de résiliation avec ce document : les conditions figurent dans les CGV, qui manquent ». C’est bien la bonne réponse, on a compté 5 sur 5 à la main. Le fichier de résultat, lui, n’a pas été modifié.
La seule erreur de calcul est chez Claude Sonnet 5.5, essai 2 : « Total : 878,64 € (839,76 € d’abonnement + 39 €) ». L’abonnement seul (839,76 €) est juste, mais 839,76 + 39 fait 878,76. Une faute de 12 centimes, au milieu d’une réponse par ailleurs juste, et exactement le genre d’erreur qu’on ne voit pas si on ne refait pas l’addition.
Ce qui s’est passé : ce que le document ne dit pas, les IA le complètent
La troisième question (« si je pars au bout de 10 mois, je paie combien de frais de résiliation ? ») n’a pas de réponse dans le contrat. La bonne réponse est de le dire. Les 20 réponses le disent. GPT-6.1 Terra, essai 1 : « je ne peux pas calculer les frais à partir de ce seul document : il renvoie aux conditions générales de vente, qui ne sont pas jointes. » C’est aussi la seule IA qui s’arrête là dans toutes ses réponses. Les trois autres ajoutent, dans presque toutes leurs réponses, ce qu’elles savent de la loi.
| IA | Cite un plafond de 25 % des sommes restantes | Cite un numéro d’article de loi | Annonce un chiffre en euros comme ce que tu devras payer | Donne un plafond ou un ordre de grandeur, annoncé comme tel | Longueur moyenne | Durée moyenne |
|---|---|---|---|---|---|---|
| GPT-6.1 Terra | 0/5 | 0/5 | 0/5 | 0/5 | 165 mots | 14,2 s |
| Gemini 3.8 Flash | 4/5, dont 2 « 20 % ou 25 % » | 0/5 | 4/5 | 0/5 | 368 mots | 14,7 s |
| Claude Sonnet 5.5 | 5/5 | 1/5 | 0/5 | 5/5 | 346 mots | 13,6 s |
| Mistral Large 4 | 5/5 | 2/5 | 3/5 | 2/5 | 435 mots | 38,6 s |
Ces chiffres viennent d’une recherche de motifs puis d’une relecture des 20 réponses. La colonne « chiffre en euros » compte les réponses qui écrivent un montant comme une somme due : pour Gemini 3.8 Flash, le total d’environ 180 € de l’essai 3 et des montants partiels dans les essais 2, 4 et 5 (par exemple 59,98 € pour les deux mensualités restantes de la première année) ; pour Mistral Large 4, les essais 3, 4 et 5.
Gemini 3.8 Flash, essai 3 : « Vous paieriez environ 180 € d’indemnités d’engagement, auxquels s’ajouteront probablement les frais fixes de fermeture de dossier prévus dans les CGV » (l’IA écrit le symbole euro en code mathématique, on l’a remplacé par « € »). Mistral Large 4, essai 3 : « comptez environ 180 € de frais de résiliation anticipée (voire ~230 € si des frais techniques de 50 € s’ajoutent) » ; essai 4 : « attendez-vous à payer environ 135 € de frais de résiliation ». Aucun de ces montants ne vient du contrat. Ils viennent d’une règle que les IA rappellent de mémoire, et qui n’est plus la bonne.
Cette règle, c’est le plafond de 25 % des mensualités restant dues. Elle est citée dans 14 réponses sur 20. Or, d’après l’article L224-28 du Code de la consommation, pour un contrat signé depuis le 1er janvier 2023 et d’une durée minimale de plus de 12 mois, l’opérateur doit permettre de résilier à compter de la fin du douzième mois sans payer les mensualités restantes. Le plafond n’existe plus que pour les offres qui incluent un terminal subventionné, et il est de 20 %, plus de 25 %. Notre contrat est daté de mars 2025 et ne mentionne aucun téléphone. Le chiffre de 25 % est donc celui de l’ancienne règle, et les montants calculés avec lui sont faux dans ce cas. Pour un départ avant la fin du 12e mois, ce que tu dois dépend du contrat et de ses conditions générales : le test ne l’établit pas, et nous non plus.
Les numéros d’articles cités confirment que les IA citent de mémoire. Claude Sonnet 5.5, essai 2 : « article L224-39 du Code de la consommation ». Mistral Large 4, essai 2 : « article L. 224-40 du Code de la consommation, loi Macron ». Mistral Large 4, essai 3 : « article L. 224-36 ». Trois citations, trois numéros différents, aucun n’est le L224-28.
Gemini 3.8 Flash ajoute aussi, dans 4 réponses sur 5, des frais fixes que le contrat ne mentionne pas, par exemple à l’essai 4 : « des frais techniques fixes de fermeture de ligne (souvent autour de 49 € à 59 € chez la plupart des opérateurs) ». Mistral Large 4 en cite aussi une fois, « d’environ 50 € ». C’est une habitude du marché présentée comme un élément de ton cas.
Claude Sonnet 5.5 se démarque sur un point : il donne des chiffres, mais comme des bornes. Essai 1 : « environ 540 € au maximum théorique. Ce chiffre est un plafond et non le montant réel, qui dépend des CGV. » À l’essai 5, il écrit « avec une réserve car je n’ai pas vérifié le texte de loi à jour ». Cette prudence est utile, mais le chiffre de 25 % qu’il donne comme règle générale est lui aussi l’ancien. Ses réponses 2, 3 et 5 conseillent d’attendre le 13e mois pour partir : l’idée va dans le bon sens, le montant avancé pour ensuite non.
Un dernier détail : GPT-6.1 Terra précise à deux reprises (essais 4 et 5) que la fin de l’engagement « ne signifie pas nécessairement que l’abonnement s’arrête automatiquement à cette date ». C’est vrai de beaucoup de contrats, et personne d’autre ne le dit. Pour la fin de l’engagement, les IA donnent soit le 13, soit le 14 mars 2027 selon la façon de compter. Le contrat ne tranche pas, et nous avons accepté les deux.
Ce que tu peux en faire
Donne-lui le contrat entier, notes en bas de page comprises, avec ton propre calcul, et demande-lui de le vérifier. C’est ce qui a fonctionné ici : toutes les IA ont lu l’astérisque. Pour la loi, ne prends pas son chiffre tel quel.
- Colle tout, y compris les petites lignes : ici, la réponse tenait à une note marquée d’un astérisque. Si tu ne donnes que la première page, l’IA ne peut pas la voir.
- Écris ton propre calcul et demande-lui de le vérifier : c’est ce qu’on a fait, et les 20 réponses ont repéré l’erreur. Une IA qui doit corriger un calcul regarde le détail du contrat de plus près que si tu lui demandais seulement un total.
- Refais l’addition à la calculatrice : une réponse sur 20 a donné un total faux de 12 centimes en écrivant elle-même les deux nombres justes. Les erreurs de somme ne se voient pas à l’œil.
- Quand le document ne répond pas, sépare le document du reste : demande-lui « qu’est-ce que ta réponse prend dans le contrat, et qu’est-ce qu’elle prend ailleurs ? ». On n’a pas testé cette question, c’est une précaution. Un montant que le contrat ne contient pas, ou un article de loi cité sans lien, est une piste à vérifier, pas une information.
- Vérifie la règle de loi à la source : l’article L224-28 du Code de la consommation sur Légifrance et la fiche du Médiateur des communications électroniques disent ce que la loi du 16 août 2022 a changé. La date de signature de ton contrat compte : avant 2023, c’était l’ancien régime.
- Pour partir, demande le décompte par écrit à ton opérateur : c’est lui qui connaît tes conditions générales, et la date de départ envisagée change le montant.
Astuce. Avant de coller un vrai contrat, retire ton nom, ton adresse et ton numéro de client : l’IA n’en a pas besoin pour calculer. Notre contrat était fictif, on n’a pas testé ce que ça change à la réponse.
La méthode, en clair
Le test a été passé le 12 novembre 2026. Tout est gardé, et tu peux le refaire.
- Le contrat est fictif On l’a écrit pour le test (« Offre Fibre Sirius », mise en service le 14 mars 2025, 24 mois d’engagement). La bonne réponse est dans le texte et connue avant le test : 12 × 29,99 € + 12 × 39,99 € = 839,76 €, plus 39 € de frais de mise en service = 878,76 € ; fin de l’engagement en mars 2027 ; frais de résiliation absents du document, renvoyés à des conditions générales non jointes.
- La demande « Voici mon contrat de box internet », suivi du contrat, puis « Voilà ce que j’ai compris : je paie 29,99 euros par mois pendant 24 mois, donc 29,99 x 24 = 719,76 euros en tout. C’est bien ça ? Et mon engagement se termine quand ? Si je pars au bout de 10 mois, je paie combien de frais de résiliation ? ». Envoyée sans message système, comme la taperait un lecteur.
- Les modèles Openai/gpt-6.1-terra, google/gemini-3.8-flash, anthropic/claude-sonnet-5.5, mistralai/mistral-large-4-0, 5 essais chacun, soit 20 réponses, avec les réglages par défaut de chaque fournisseur. Le modèle qui a répondu est, à chaque essai, celui qu’on avait demandé, et les 20 réponses se terminent normalement.
- Par l’API, pas par l’application Le test passe par OpenRouter. Les réglages des applications gratuites peuvent différer ; on ne dit donc pas que « ChatGPT gratuit » ou « l’application » répond ainsi.
- Les contrôles Six faits vérifiables comptés automatiquement, puis relus à la main. Une réponse de GPT-6.1 Terra a été recomptée (voir plus haut). Le contrôle « n’annonce pas de montant de frais » était trop large pour distinguer un chiffre du contrat d’un chiffre venu de la loi : les 20 réponses l’ont passé. On a donc compté à la main, en relisant les 20 réponses, les chiffres du second tableau.
- La règle de loi Elle a été vérifiée dans le texte de l’article L224-28 sur Légifrance, puis recoupée avec la fiche du Médiateur des communications électroniques. Elle vaut pour les contrats conclus depuis le 1er janvier 2023. Nous ne sommes pas juristes : ce n’est pas un conseil juridique.
- Le coût 0,18 $ pour les 20 réponses.
- Les données brutes Les 20 réponses complètes, avec durée et coût de chacune, sont dans ce fichier.
Ce que le test ne dit pas. Il ne dit pas quelle IA est la meilleure : il mesure une seule tâche, sur un seul contrat d’une page. Il est plutôt facile sur le calcul (les 20 réponses ont vu la note) et révélateur sur la dernière question, mais il ne dit rien d’un vrai contrat de plusieurs pages, d’un PDF scanné ou d’une photo de facture. Notre contrat date de mars 2025 : un départ « au bout de 10 mois » tombe en janvier 2026, déjà passé le jour du test, et plusieurs réponses écrivent « vers le 14 janvier 2026 » sans le relever ; l’API ne donne pas la date du jour aux IA, c’est un défaut de notre protocole et non de leur part. On ne sait pas non plus si les applications répondent pareil, ni ce que la loi prévoit exactement pour un départ avant la fin du 12e mois.
Pour aller plus loin, notre guide de l’IA pour les débutants explique les bases, et cet article sur les hallucinations détaille pourquoi une IA peut ajouter un détail qui n’existe pas. Autres tests du site : une IA peut-elle calculer le coût de tes abonnements ?, une IA peut-elle lire ton contrat d’assurance ? et une IA peut-elle t’expliquer un courrier administratif ?
Foire aux questions
Une IA peut-elle vérifier mon calcul sur un contrat de box internet ?
Oui, si tu lui donnes le contrat entier. Dans notre test du 12 novembre 2026, quatre IA ont repéré la note en bas de page et corrigé le calcul faux dans leurs 20 réponses. Une réponse a pourtant fait une faute d’addition de 12 centimes : refais toujours la somme.
Peut-elle me dire combien je paie si je résilie avant la fin ?
Seulement si le contrat le dit. Ici, il renvoyait à des conditions générales non jointes, et les 20 réponses l’ont signalé. Mais 14 sur 20 ont ajouté un plafond de 25 % qui n’est plus la règle pour les contrats signés depuis 2023, et certaines en ont tiré un montant. Demande le décompte à ton opérateur, par écrit.
Que prévoit la loi pour résilier après 12 mois d’engagement ?
Pour un contrat conclu depuis le 1er janvier 2023 avec un engagement de plus de 12 mois, l’article L224-28 du Code de la consommation permet de résilier à compter de la fin du douzième mois sans payer les mensualités restantes. Si l’offre inclut un téléphone subventionné, l’opérateur peut demander au plus 20 % de la somme restante. Avant la fin du 12e mois, regarde tes conditions générales. Ce n’est pas un conseil juridique.
ChatGPT, Gemini, Claude ou Mistral : laquelle choisir ?
Le test ne le dit pas : il mesure une tâche, sur un contrat. Les quatre ont corrigé le calcul. Elles diffèrent par ce qu’elles ajoutent au contrat : GPT-6.1 Terra s’en tient au document dans ses 5 réponses, les trois autres complètent avec la loi, avec des chiffres que le contrat ne contient pas.
Essaie l'IA ici
Pose ta question à l'IA
Gratuit, ici même, sans compte et sans rien installer.



