Un pourcentage apparaît à l'écran. "94% généré par IA", indique un texte rouge péremptoire. Cela ressemble à un fait scientifique indiscutable que l'on pourrait brandir devant un professeur ou un client. Pourtant, la plupart du temps, ce score s'apparente plutôt à un jeu de pile ou face déguisé sous une formule mathématique.
Une étude rigoureuse menée en 2023 a évalué quatorze outils de détection réputés (dont Turnitin et GPTZero). Tous ont affiché une précision globale inférieure à 80%, et seuls cinq ont dépassé les 70%. Imaginez : sur une pile de quarante dissertations soumises à ces outils, environ dix verdicts sont totalement erronés, sans aucun moyen de savoir lesquels.
De plus, ces systèmes hésitent souvent devant les textes ambigus et dégradent encore plus leur fiabilité dès que le texte fait l'objet d'une retouche humaine ou d'un léger travail de reformulation.
"Si un enseignant confie quarante dissertations à un détecteur, environ dix diagnostics seront faux, sans aucun indice pour identifier les erreurs."
Les faux positifs ne sont pas des cas marginaux
Les faux positifs ne sont pas de simples anomalies statistiques négligeables. Lorsqu'un être humain rédige un texte de manière authentique et qu'un logiciel affirme qu'une machine en est l'auteur, les répercussions sont immédiates. Même des écrivains professionnels comme Janelle Shane ont vu d'anciens ouvrages publiés catégorisés par erreur comme générés par IA.
Ce phénomène s'explique par la nature des métriques : une écriture soignée, formelle et respectueuse des règles académiques (exactement celle enseignée aux étudiants non anglophones) présente une prévisibilité statistique que les détecteurs assimilent à tort à un texte de machine.
Une cible en mouvement perpétuel
Les détecteurs sont entraînés sur des versions de modèles qui deviennent rapidement obsolètes face aux nouvelles générations d'IA. Ce décalage technologique permanent pénalise les rédacteurs humains.
Aucun algorithme automatisé ne devrait avoir le dernier mot sur l'honnêteté et le travail d'une personne. C'est pourquoi le consensus et le jugement humain restent irremplaçables.
Découvrez comment WeCatchAI s'appuie sur le jugement humain et l'analyse collaborative.