On m'a demandé récemment comment un ordinateur peut savoir si un paragraphe a été rédigé par ChatGPT ou par un être humain. La réponse honnête a surpris mon interlocuteur : la machine ne "sait" rien. Elle fait un pari statistique, et la plupart des gens accordent à ce pari bien plus de crédit qu'il n'en mérite.
Voici le mécanisme : un modèle de langage écrit en prédisant le mot suivant en fonction de tout ce qui précède. C'est tout le secret. Tapez "le chat s'est assis sur le" et le modèle a une idée très précise de la suite, car il a analysé des millions de phrases similaires. Il ne pense pas. Il associe des motifs à une échelle qu'aucun cerveau humain ne peut égaler.
Le problème pour le modèle est que cette prévisibilité laisse une empreinte. Les humains n'écrivent pas la phrase la plus sûre statistiquement à chaque fois. Nous faisons des digressions. Nous choisissons un mot inattendu parce qu'il nous semble juste sur le moment. Nous nous contredisons au milieu d'un paragraphe sans chercher à tout lisser. Ce "bruit" est précisément ce que traquent les détecteurs : ou plutôt, l'absence de ce bruit.
"Les détecteurs ne lisent pas le sens. Ils analysent la forme, et la forme peut être profondément trompeuse."
Les deux métriques clés : Perplexité et Burstiness
Deux mesures principales sont à l'œuvre. La première est la perplexité, qui évalue à quel point un modèle est "surpris" par les mots choisis. Des choix sûrs et prévisibles obtiennent un score faible. Un choix plus original obtient un score élevé. Le texte généré par IA tend à se situer au niveau le plus bas, car il optimise en permanence la probabilité du mot suivant.
La seconde est la variabilité du rythme (burstiness), et elle est cruciale. L'écriture humaine a une cadence naturelle : vous écrivez quatre mots, puis trente. Une longue phrase sinueuse est suivie d'une formule courte et percutante. Les textes d'IA ont tendance à tout niveler : chaque phrase a une longueur similaire, ce qui sonne bien en théorie mais s'écoute comme un métronome monotone.
S'ajoutent à cela des classificateurs neuronaux (comme RoBERTa) entraînés à repérer les tics stylistiques et les habitudes structurelles machinales.
Le filigrane numérique et ses failles
Le filigrane (watermarking) intègre un signal invisible lors de la génération. Ingénieux en théorie, il s'effondre dès que le texte est légèrement reformulé, édité ou produit par l'un des innombrables modèles qui n'intègrent aucun filigrane.
Toutes ces méthodes ne fournissent que des estimations statistiques. Voilà pourquoi un détecteur peut pénaliser un rédacteur au style formel, un étudiant s'exprimant dans une langue seconde ou un technicien au vocabulaire précis. Les outils ne comprennent pas le fond : ils jugent des probabilités.
Besoin d'une véritable vérification humaine plutôt que de suppositions algorithmiques ? Essayez WeCatchAI.