Aparece un porcentaje en la pantalla. "Noventa y cuatro por ciento generado por IA", dice en un confiado texto rojo. Parece un hecho científico irrefutable, algo que podrías llevar ante un decano o un cliente para ganar una discusión. Sin embargo, la mayor parte del tiempo, se parece más a lanzar una moneda al aire vestida con bata de laboratorio.
Un estudio de 2023 puso a prueba catorce herramientas de detección diferentes, incluidas las más famosas como Turnitin o GPTZero. Cada una de ellas obtuvo una precisión inferior al 80%. Solo cinco lograron superar el 70%. Piénsalo un momento: si un profesor pasa una pila de cuarenta ensayos por estas herramientas, aproximadamente diez de los veredictos emitidos son simplemente erróneos, y no hay manera de saber cuáles diez.
La misma investigación reveló algo aún más preocupante: cuando estas herramientas dudan ante textos ambiguos, tienden a catalogarlos como humanos, no como IA. Aunque parece una concesión tranquilizadora (el beneficio de la duda), significa que los resultados marcados positivamente conllevan mucha menos certeza real de la que aparenta la cifra. Y en cuanto el texto es editado o parafraseado, aunque sea ligeramente, la precisión se desploma aún más.
"Si un profesor entrega cuarenta ensayos a un detector automatizado, alrededor de diez veredictos serán erróneos, sin ningún indicador que señale cuáles."
Los falsos positivos no son casos aislados
Los falsos positivos no son excepciones que se puedan ignorar. Una persona escribe un texto con su propio esfuerzo y el software dictamina que lo hizo una máquina. Esto les ha ocurrido incluso a autores profesionales con libros publicados. Janelle Shane, por ejemplo, descubrió que fragmentos de sus obras anteriores —escritas años antes de la existencia de estas tecnologías— eran etiquetados como generados por IA por el software actual.
Parte de la razón por la que esto ocurre se debe a lo que estas herramientas miden realmente. Si tu estilo natural de escritura es ordenado, ligeramente formal o incluye repeticiones típicas de la redacción técnica, puedes aterrizar en el mismo vecindario estadístico que un texto generado por máquina, sin haber usado jamás un modelo de lenguaje. Los hablantes no nativos de inglés sufren este problema de forma desproporcionada, siendo penalizados por seguir las reglas gramaticales formales que les enseñaron.
El problema del objetivo en movimiento
Existe además un desfase continuo: los detectores se entrenan con conjuntos de datos vinculados a modelos específicos, mientras que los grandes modelos de lenguaje evolucionan a gran velocidad. Una herramienta calibrada para captar los hábitos de GPT-3.5 no necesariamente detecta los de modelos más nuevos, mientras sigue juzgando erróneamente a los humanos cuyos textos se asemejan a los viejos patrones aprendidos.
Esto no significa que la detección sea inútil, sino que la fe ciega que se deposita en una puntuación automatizada está totalmente desproporcionada con respecto a su fiabilidad real. Ningún sistema con semejante margen de error debería tener la última palabra sobre el trabajo y la reputación de una persona.
Descubre cómo WeCatchAI aprovecha el consenso entre pares y el criterio humano por encima de algoritmos rígidos.