Actualités

On a testé : une IA peut-elle te dire si un SMS est une arnaque ?

Montrer un faux SMS de carte Vitale à une IA : le téléphone, la carte Vitale et la réponse de l'assistant

Le résultat de notre test

  • GPT-6.1 Terra« Oui » 5 fois sur 5, s’appuie sur l’adresse du site, ne dit jamais que la carte n’expire pas, ne donne pas le 33700Oui, sans la règle
  • Gemini 3.8 Flash« Oui » 5 fois sur 5 et dit 5 fois que la carte n’a pas de date d’expiration, mais ne dit jamais quoi faire ensuiteLa règle, sans le geste
  • Claude Sonnet 5.5« Oui » 5 fois sur 5, la règle, le faux domaine nommé et le 33700 dans les 5 réponsesComplet
  • Mistral Large 4« Oui » 4 fois sur 4 (une réponse vide), donne le 33700 4 fois, mais ne dit jamais que la carte n’expire pasOui, sans la règle
Ce que tu peux en faire
  • 19/19réponses qui disent « oui, c’est une arnaque » à un faux SMS carte Vitale (la 20e est vide)
  • 10/19réponses qui donnent la règle : la carte Vitale n’a pas de date d’expiration (Gemini et Claude seulement)
  • 9/19réponses qui te donnent le 33700 pour signaler le SMS (Claude et Mistral seulement)
Sommaire · 4 sections · 16 min
  1. 01Le résultat : 19 réponses sur 19 disent « oui », mais pas pour la même raison
  2. 02Ce qui s’est passé : l’adresse du site, ou la règle ?
  3. 03Deux autres SMS testés : le faux enfant et la fausse amende
  4. 04Ce que tu peux en faire

Tu reçois un SMS qui dit que ta carte Vitale expire, avec un lien pour en commander une nouvelle pour 0,99 €. Tu hésites, tu le colles dans une IA : « c’est une arnaque ou pas ? ». Elle te répond sûrement « oui », ce message est un classique. Mais ce qui compte, c’est ce qu’elle te donne avec ce « oui » : une raison que tu pourras réutiliser au prochain SMS, et ce qu’il faut faire maintenant. On a écrit un SMS de ce type, on l’a posé 5 fois à 4 IA, et on a gardé les 20 réponses brutes.

Le résultat : 19 réponses sur 19 disent « oui », mais pas pour la même raison

Le SMS est de notre invention, inspiré de ceux qui circulent : « Ameli : votre carte Vitale arrive à expiration le 30/11. Pour éviter toute interruption de vos remboursements, commandez la nouvelle carte (frais d’envoi 0,99 EUR) sur ameli-renouvellement-vitale.fr ». Les quatre IA commencent toutes par « oui » dans les 19 réponses obtenues (la 20e, de Mistral Large 4, est vide : voir plus bas). Le « oui » ne les départage donc pas. Ce qui les départage, c’est la suite.

IA Répond « oui » en premier Dit que la carte Vitale n’expire pas Dit de ne pas cliquer Donne le 33700 pour signaler Conseille de prévenir la banque si tu as déjà donné ta carte
GPT-6.1 Terra 5/5 0/5 5/5 0/5 4/5
Gemini 3.8 Flash 5/5 5/5 * 0/5 0/5 0/5
Claude Sonnet 5.5 5/5 5/5 5/5 5/5 4/5
Mistral Large 4 4/4 0/4 4/4 4/4 0/4

* Le contrôle automatique n’avait compté que 3 réponses sur 5 de Gemini 3.8 Flash pour la deuxième colonne : il cherchait « n’a pas de date d’expiration » et ratait « aucune date d’expiration » (essais 3 et 5) et « aucune date de péremption » (essai 4). La phrase est bien dans les 5 réponses, on a compté 5 sur 5 à la main. Le fichier de résultat, lui, n’a pas été modifié. Les autres colonnes ont été comptées par recherche de motifs puis relues sur les 19 réponses.

Ce qui s’est passé : l’adresse du site, ou la règle ?

Deux manières de reconnaître l’arnaque, et elles ne se valent pas. Claude et Gemini donnent la règle : la carte Vitale n’a pas de date d’expiration, donc un SMS qui dit le contraire est faux, quelle que soit l’adresse du site. Gemini 3.8 Flash, essai 3 : « La carte Vitale n’a aucune date d’expiration et son renouvellement est entièrement gratuit. L’Assurance Maladie ne vous demandera jamais de payer des frais d’envoi ni de renseigner vos coordonnées bancaires par SMS. »

GPT et Mistral s’appuient sur l’adresse du site et sur la gratuité, sans jamais contredire la date d’expiration. GPT-6.1 Terra, essai 1 : « C’est une tentative d’hameçonnage : le site indiqué n’est pas le site officiel ameli.fr, et le renouvellement de la carte Vitale est gratuit. » C’est un bon réflexe, et ici il suffit. Notre lecture, qui reste une lecture : cette raison ne t’aidera pas le jour où l’escroc utilisera une adresse qui ressemble davantage à la vraie, alors que « la carte n’expire pas » reste vraie tout le temps.

Une réponse est même légèrement fausse. Mistral Large 4, essai 1 : « Le renouvellement de la carte Vitale est toujours gratuit et ne s’effectue que sur le site officiel ameli.fr ». Or, d’après le Crédit Mutuel, « la mise à jour d’une carte Vitale ne se fait jamais sur internet ». Les trois autres réponses de Mistral ne répètent pas cette erreur.

Pour la suite, les écarts sont plus nets. Gemini 3.8 Flash ne dit jamais quoi faire : ses 5 réponses expliquent l’arnaque en deux phrases et s’arrêtent, sans « ne clique pas », sans signalement. C’était la consigne (« explique en deux phrases »), mais GPT, Claude et Mistral ont ajouté le geste utile quand même. Claude Sonnet 5.5 est le plus complet : il nomme le faux domaine dans les 5 réponses et donne le 33700 dans les 5. Essai 1 : « Ne cliquez pas sur le lien et ne saisissez aucune coordonnée bancaire ; si vous l’avez déjà fait, faites opposition à votre carte bancaire immédiatement, puis signalez le SMS au 33700 ou sur signal-arnaques.com. » Ce dernier site n’est pas un service public à notre connaissance, et nous ne l’avons pas vérifié : le 33700 est la bonne adresse (voir plus bas). Dans deux autres réponses, Claude renvoie vers signal.conso.gouv.fr.

Mistral Large 4 donne le 33700 dans ses 4 réponses, avec une variante (essai 1) : « signalez ce SMS frauduleux au 33700 ou sur internet-signalement.gouv.fr ». GPT-6.1 Terra ne signale rien, mais conseille 4 fois sur 5 de contacter sa banque si tu as déjà donné tes coordonnées, comme Claude (4 sur 5).

Deux détails de méthode. Premier détail : la 3e réponse de Mistral Large 4 est vide. L’IA a consommé 1 199 jetons de réflexion sur les 1 200 permis par notre protocole avant d’écrire la moindre ligne ; elle est comptée comme une erreur technique, pas comme un échec. Deuxième détail : le temps de réponse varie beaucoup, de 2,2 secondes en moyenne pour Claude à 27,6 secondes pour Mistral, pour des réponses de 82 et 59 mots en moyenne (GPT : 40 mots en 4,9 s ; Gemini : 37 mots en 8,0 s).

Deux autres SMS testés : le faux enfant et la fausse amende

Le même soir, on a passé deux autres faux SMS au même protocole : la même consigne (« oui ou non d’abord, puis deux phrases »), les 4 mêmes IA, 5 essais chacune, par l’API. Les deux messages sont fictifs, inspirés de ceux qui circulent en France. Le verdict ne change pas : toutes répondent « oui, arnaque ». Ce qui change, c’est ce qu’elles ajoutent, et c’est encore le signalement et le « que faire si j’ai déjà payé » qui font la différence.

« Coucou maman » : 20 réponses sur 20 disent « oui »

Le SMS posé : « Coucou maman, c’est moi. Mon téléphone est tombé dans l’eau, c’est mon nouveau numéro, enregistre-le. Tu peux m’écrire sur WhatsApp ? J’ai un truc urgent à te demander ». C’est le scénario décrit par Clubic et Tom’s Guide en décembre 2023 : un faux enfant, un prétexte de téléphone ou de numéro, le passage sur WhatsApp, puis une demande d’argent. Les deux conseillent de contacter son enfant par les moyens habituels avant toute chose.

IA Répond « oui » en premier Dit d’appeler l’enfant sur son numéro habituel Donne le 33700 pour signaler
GPT-6.1 Terra 5/5 5/5 0/5
Gemini 3.8 Flash 5/5 4/5 0/5
Claude Sonnet 5.5 5/5 5/5 4/5
Mistral Large 4 5/5 5/5 1/5

Le bon réflexe, appeler son enfant sur le numéro qu’on a déjà, est donné dans 19 réponses sur 20. La seule qui ne le dit pas est un essai de Gemini (le 4e), qui explique l’arnaque sans dire quoi faire. Le signalement, lui, est rare : 5 réponses sur 20 donnent le 33700, 4 de Claude et 1 de Mistral. GPT et Gemini ne le donnent jamais ici. Un détail utile, que seul Claude relève (essai 3) : le SMS demande d’enregistrer le nouveau numéro, et la réponse dit de ne pas le faire. « Ne répondez pas et n’enregistrez pas le numéro. Appelez votre enfant sur son ancien numéro ou contactez-le par un autre moyen pour vérifier, et ne versez jamais d’argent sans cette confirmation. »

Le même test, en vidéo (32 s) :

Voix et personnages générés par IA.

La fausse amende de l’ANTAI : 18 réponses sur 18 disent « oui »

Le SMS posé : « ANTAI : avis de contravention en attente de règlement. Montant : 35 EUR, majoré à 75 EUR après le 22/11. Réglez votre amende sur amendes-gouv-paiement.fr ». Sur les 20 réponses, 18 sont exploitables. Les 2 écartées sont de Mistral Large 4 : l’essai 4 s’arrête net (« Oui. L’ANTAI envoie ses avis »), l’essai 5 est vide. Dans les deux cas, l’IA a consommé 1 187 et 1 199 jetons de réflexion sur les 1 200 permis par notre protocole avant d’écrire : ce sont des incidents techniques, pas des échecs de lecture.

IA Répond « oui » en premier Renvoie vers amendes.gouv.fr Dit que l’ANTAI n’envoie pas ce SMS Conseille de faire opposition ou d’appeler la banque si tu as déjà payé Donne le 33700 pour signaler
GPT-6.1 Terra 5/5 5/5 0/5 1/5 1/5
Gemini 3.8 Flash 5/5 5/5 5/5 0/5 0/5
Claude Sonnet 5.5 5/5 5/5 4/5 4/5 5/5
Mistral Large 4 3/3 3/3 2/3 0/3 2/3

Ici, l’adresse du vrai site est donnée par tout le monde : les 18 réponses renvoient vers amendes.gouv.fr, le seul site officiel de paiement d’après Selectra, ce que confirme Yespark. Les deux sources disent aussi que l’ANTAI n’envoie pas de SMS pour réclamer une amende, ce que Gemini (5 fois sur 5), Claude (4 sur 5) et Mistral (2 sur 3) répondent, et GPT jamais.

Le vrai écart est sur la suite. Si tu as déjà donné ta carte, Service-Public demande de faire opposition au plus vite, ce que Selectra conseille aussi sans attendre le premier débit. Seul Claude le dit presque à chaque fois (4 réponses sur 5). GPT le dit une fois, à l’essai 3 : « contactez immédiatement votre banque ». Gemini et Mistral ne le disent jamais. Le 33700 suit la même pente : 5 réponses sur 5 pour Claude, 2 sur 3 pour Mistral, 1 sur 5 pour GPT, 0 sur 5 pour Gemini.

Le même test, en vidéo (32 s) :

Voix et personnages générés par IA.

Sur les trois SMS réunis, Claude donne le 33700 dans 14 réponses sur 15, Mistral dans 7 sur 12 réponses exploitables, et GPT et Gemini à eux deux dans 1 réponse sur 30. Les comptes du 33700, de l’opposition, de l’ANTAI et de l’appel à l’enfant ont été faits par recherche de motifs puis relus sur chaque réponse ; ils ne figurent pas dans les fichiers de résultat, qui ne contiennent que les contrôles automatiques de départ. Les réponses complètes sont dans le fichier du test « coucou maman » (0,04 $) et celui du test « amende » (0,04 $).

Ce que tu peux en faire

Le réflexe, en vidéo courte :

Voix et personnages générés par IA.

Demande « oui ou non » d’abord, c’est ce qui a donné une réponse claire dans 19 cas sur 19. Puis ne te contente pas du « oui » : retiens la règle, c’est elle qui te protège du SMS suivant.

Le SMSCopie le texte, n’ouvre pas le lien
L’IAOui ou non, puis la raison
ToiRetiens la règle, supprime le SMS
33700Signale-le, ça aide à fermer le faux site
  1. Copie le texte du SMS, pas le lien : colle le message dans l’IA sans toucher à l’adresse. On n’a pas testé ce que fait une IA qui ouvrirait le lien elle-même.
  2. Demande « oui ou non » d’abord, puis une explication courte : c’est la consigne qu’on a utilisée, et les 19 réponses ont suivi.
  3. Retiens la règle qui marche à tous les coups : une conseillère de l’Assurance maladie l’écrit le 13 mai 2024 : « Votre carte Vitale ne comporte pas de date d’expiration. Elle n’est à renouveler qu’en cas de vol, perte, casse, dysfonctionnement et changement d’état civil. » Le Journal du Geek dit la même chose, et le Crédit Mutuel ajoute que l’Assurance maladie « ne propose jamais de mise à jour ou de renouvellement de la carte Vitale par SMS ».
  4. Si tu as déjà cliqué et saisi ta carte bancaire : appelle ta banque tout de suite, c’est ce que GPT et Claude conseillent aussi.
  5. Signale le SMS en le transférant au 33700, ou sur 33700.fr : c’est la plateforme de signalement des SMS et appels frauduleux. Seuls Claude et Mistral te l’ont donné dans le test de la carte Vitale ; sur les deux autres SMS testés, Claude le donne presque toujours et GPT et Gemini presque jamais (voir plus haut).
  6. Puis supprime le message. Si tu as un doute sur ton dossier, connecte-toi à ton compte en tapant toi-même ameli.fr dans ton navigateur (GPT-6.1 Terra le conseille à l’essai 2).

Astuce. Si une IA te répond « oui, arnaque » sans te dire pourquoi, demande-lui : « quelle règle me permet d’en être sûr, même si l’adresse du site avait l’air vraie ? ». On n’a pas testé cette question, c’est une précaution.

La méthode, en clair

Le test a été passé le 18 novembre 2026. Tout est gardé, et tu peux le refaire.

  • Le SMS est fictif On l’a écrit pour le test, sur le modèle des messages « carte Vitale expirée » signalés en France. L’adresse « ameli-renouvellement-vitale.fr » est inventée, on ne l’a pas ouverte. La bonne réponse est connue avant le test : c’est une arnaque, car la carte Vitale n’a pas de date d’expiration, l’Assurance maladie ne propose jamais son renouvellement par SMS et la mise à jour ne se fait jamais sur internet.
  • La demande « J’ai reçu ce SMS : » suivi du message, puis « C’est une arnaque ou pas ? Réponds d’abord par oui ou non, puis explique en deux phrases. ». Envoyée sans message système, comme la taperait un lecteur.
  • Les modèles Openai/gpt-6.1-terra, google/gemini-3.8-flash, anthropic/claude-sonnet-5.5, mistralai/mistral-large-4-0, 5 essais chacun, soit 20 réponses, avec les réglages par défaut de chaque fournisseur. À chaque essai, le modèle qui a répondu est celui qu’on avait demandé. Sur 20 réponses, 19 se terminent normalement ; la dernière (Mistral Large 4, essai 3) est vide parce qu’elle a atteint la limite de 1 200 jetons.
  • Par l’API, pas par l’application Le test passe par OpenRouter. Les réglages des applications gratuites peuvent différer ; on ne dit donc pas que « ChatGPT gratuit » ou « l’application » répond ainsi.
  • Les contrôles Trois faits vérifiables comptés automatiquement (commence par « oui », ne commence pas par « non », dit que la carte n’expire pas ou que l’Assurance maladie ne le demande jamais par SMS). Le troisième a été recompté à la main pour Gemini 3.8 Flash (voir plus haut). Les trois colonnes ajoutées (ne pas cliquer, 33700, banque) ont été comptées par recherche de motifs puis relues, elles ne figurent pas dans le fichier de résultat.
  • Les sources de la règle La réponse d’une conseillère de l’Assurance maladie sur le forum officiel ameli (13 mai 2024), le Journal du Geek (1er juillet 2022) et le Crédit Mutuel. Le 33700 est signalé par le Journal du Geek et par Orange. Nous ne sommes pas l’Assurance maladie : en cas de doute, appelle le 36 46.
  • Le coût 0,04 $ pour les 20 réponses.
  • Les données brutes Les 20 réponses complètes du test carte Vitale, avec durée et coût de chacune, sont dans ce fichier. Celles des deux autres tests sont dans les fichiers cités dans la section « Deux autres SMS testés ». Les SMS de ces trois tests sont écrits sans accents dans les fichiers de protocole, comme ils ont été envoyés aux IA.

Ce que le test ne dit pas. Il ne dit pas quelle IA est la meilleure : il mesure une seule tâche, sur trois SMS fictifs, et ces SMS sont des cas faciles (57 réponses exploitables sur 57 sont justes sur le verdict). Il ne dit rien d’un SMS mieux imité, d’une capture d’écran, d’un message en plusieurs étapes, ni de ce que répondent les applications grand public. Il ne dit pas non plus si les conseils de signalement sont les meilleurs possibles : on a seulement vérifié que le 33700 est la plateforme officielle.

Pour aller plus loin, notre guide de l’IA pour les débutants explique les bases, et cet article sur les hallucinations détaille pourquoi une IA peut ajouter un détail qui n’existe pas. Autres tests du site : une IA peut-elle vérifier ton calcul sur un contrat de box ?, une IA peut-elle lire ton contrat d’assurance ? et une IA peut-elle t’expliquer un courrier administratif ?

Foire aux questions

Une IA peut-elle me dire si un SMS est une arnaque ?

Sur ce SMS, oui : dans notre test du 18 novembre 2026, 4 IA ont répondu « oui, c’est une arnaque » dans leurs 19 réponses. Mais seules deux sur quatre ont donné la règle (la carte Vitale n’expire pas), et une n’a donné aucun conseil sur quoi faire ensuite. Prends le « oui » comme un avis, pas comme une preuve. Même verdict sur deux autres faux SMS (un faux enfant qui a changé de numéro, une fausse amende de l’ANTAI) : 38 réponses exploitables sur 38 disent « oui ».

La carte Vitale expire-t-elle ?

Non. Une conseillère de l’Assurance maladie l’écrit sur le forum officiel : « Votre carte Vitale ne comporte pas de date d’expiration. » Elle n’est à renouveler qu’en cas de vol, perte, casse, dysfonctionnement et changement d’état civil. Un SMS qui annonce son expiration est donc faux.

Que faire si j’ai cliqué sur le lien d’un faux SMS ?

Ne saisis rien. Si tu as déjà donné tes coordonnées bancaires, contacte ta banque tout de suite : GPT-6.1 Terra et Claude Sonnet 5.5 le conseillent aussi dans la majorité de leurs réponses. Signale ensuite le message au 33700.

ChatGPT, Gemini, Claude ou Mistral : laquelle choisir ?

Le test ne le dit pas : il mesure une tâche, sur trois SMS. Les quatre ont trouvé l’arnaque à chaque fois. Elles diffèrent par ce qu’elles ajoutent : Claude Sonnet 5.5 donne la règle, le faux domaine et le 33700 dans ses 5 réponses sur le SMS carte Vitale (et le 33700 dans 14 réponses sur 15 sur les trois SMS), Gemini 3.8 Flash donne la règle mais aucun geste, GPT-6.1 Terra et Mistral Large 4 donnent des gestes mais pas la règle.

Que faire si je reçois un SMS « Coucou maman, c’est mon nouveau numéro » ?

N’enregistre pas le numéro et ne continue pas la conversation sur WhatsApp. Appelle ton enfant sur le numéro que tu as déjà, ou joins-le par un autre proche, avant toute chose : c’est ce que conseillent Clubic et Tom’s Guide, et 19 des 20 réponses de notre test. N’envoie aucun argent tant que tu n’as pas eu cette confirmation, et signale le message au 33700.

Essaie l'IA ici

Pose ta question à l'IA

Gratuit, ici même, sans compte et sans rien installer.

0/2000 · 10 essais/h

Explorer la catégorie

Tous les articles Actualités

Voir les articles

À lire ensuite· Dans Actualités

Articles similaires