Source: The Conversation – (in Spanish) – By Javier Arroyo Gallardo, Profesor Titular de Universidad. Departamento de Ciencias de la Computación, Universidad de Alcalá
Hoy en día cualquiera saca un libro. Muchos influencers o estrellas mediáticas los publican sin haberlos escrito. Antes eso también pasaba, pero requería del trabajo de personas en la sombra. Ahora lo hace la IA, que ha facilitado enormemente la tarea.
Tanto es así que las sospechas salpican a escritores profesionales, como ha sucedió en el caso de Thélyson Orélien, cuya novela superventas fue retirada de un certamen literario por sospecharse que estaba escrita con IA. ¿Cómo llegaron a esa conclusión? La aplicación Pangram, considerada el “estándar de referencia” de los detectores de textos escritos por IA, dio positivo. El caso ha dejado un entretenido reguero de declaraciones entre los implicados.
La necesidad de detectar —o evitar que se detecte— el uso de la IA se extiende a otros ámbitos, como escuelas y universidades, pero…
¿se puede detectar texto escrito por IA? Si es así, ¿se puede camuflar el fraude y hacerlo indetectable? Primero hay que entender como escribe una IA para responder esas preguntas.
Palabra a palabra
La IA genera el texto palabra por palabra. Decimos palabra, pero en realidad es un token, que puede ser una palabra completa, un trozo de palabra, un signo de puntuación, un número o un espacio.
Para escribir, la inteligencia artificial sigue un sencillo algoritmo: lee lo ya escrito, calcula una lista de posibles palabras siguientes junto con sus probabilidades de salir elegidas, realiza un sorteo, añade la ganadora al texto y vuelve a empezar. Las probabilidades que reciben las palabras están relacionadas con su frecuencia de aparición en los textos con los que se entrena la IA. Por tanto, aunque el texto generado es el resultado de un sorteo, las palabras más frecuentes en los textos de entrenamiento tendrán más posibilidades de aparecer.
Además, la IA está optimizada para conversar con el usuario y resolverle dudas de forma clara y didáctica. Esto hace que, si no le pedimos algo diferente, de entre la variedad de tonos posibles su escritura será neutra y expositiva.
Todo ello hace que el texto que genera la IA deje unas huellas sutiles que abren la posibilidad de reconocer su autoría.
Estrategias de detección
El entrenamiento de la IA condiciona su vocabulario priorizando términos comunes frente a otros más rebuscados. También abusa de palabras de relleno (“realmente”, “simplemente”…) o que ponen énfasis (“notable”, “fundamental”…). De igual manera, su tono didáctico hace que recurra con frecuencia a determinadas formulas (“por lo tanto, “en resumen”, “con el objetivo de”, “no solo… sino también”) y que tienda a cerrar sus argumentos con frases a modo de resumen.
Estos patrones reducen la variabilidad del texto y dejan una impronta que se puede detectar mediante estilometría, es decir, midiendo los rasgos estilísticos del texto para ver si son similares a los de los textos las inteligencias artificiales.
Otra estrategia muy usada recibe el apropiado nombre de perplejidad. La perplejidad mide lo sorprendente que resulta una secuencia de texto para una IA generadora de lenguaje.
Para calcularla, se usa un detector que maneja unas probabilidades similares a las de los sistemas generadores. Este detector recorre el texto y mide cómo de sorprendente le resulta la secuencia. La perplejidad es más fiable en textos largos, ya que el texto precedente ofrece información para reducir la incertidumbre y realizar estimaciones mejor informadas. Además, en los textos generados por IA la perplejidad tiende a ser uniforme, mientras que en los textos humanos muestra mucha más variabilidad ya que, aunque nos cueste creerlo, somos más impredecibles.
Otra táctica consiste en combatir el fuego con fuego, es decir, pedirle a una IA que verifique si el texto lo ha escrito otra IA. Se sabe que el uso de modelos comerciales, como el propio chatGPT, no da buenos resultados. Sin embargo, usar modelos entrenados específicamente en la tarea de detección es la mejor estrategia existente en la actualidad. Un ejemplo es Pangram, un detector comercial que se entrena aprendiendo a diferenciar textos humanos de sus réplicas generadas por IA y que se reentrena poniendo el foco en los falsos positivos.
Maniobras de camuflaje
Como la detección se basa en acumular indicios, las maniobras de camuflaje se afanan en hacerlos desaparecer alterando los patrones que deja la escritura.
La maniobra más sencilla consiste en pedirle a la propia IA que va a generar el texto que lo haga de una forma diferente. Esto puede incluir decirle que lo haga siguiendo un rol (por ejemplo, “escribe como un estudiante de secundaria”), evitando usar palabras de una lista negra o intercalando frases de longitudes diversas.
Otras maniobras consisten en modificar el texto generado por la IA. Para ello, la propia persona puede inyectar su propio texto, sustituir palabras que ella no usaría o reescribir fragmentos en sus propias palabras. Si es más perezosa, puede pedirle a la propia IA que lo altere o que lo parafrasee. Estudios recientes demuestran que tras sucesivos parafraseos la eficacia de los detectores desciende sensiblemente. Aproximaciones similares, pero más creativas, consisten en utilizar los traductores automáticos para traducir el texto generado a otro idioma y traducirlo de vuelta a la lengua deseada.
El ojo humano
¿Y cómo de buenas somos las personas para detectar el texto generado por la IA? Nefastas… y excelentes. Un estudio revela que el factor diferencial depende de la familiaridad con la forma de escribir de la IA. Las personas sin esa familiaridad fallan mucho y muestran un exceso de confianza en sus veredictos. Por el contrario, las personas expertas son muy difíciles de engañar. Si además se agrega el veredicto de varias de ellas, el estudio muestra que el resultado es excelente, solamente igualado por el del detector comercial Pangram. No obstante, conviene ser cautos ningún sistema de detección es infalible, por lo que siempre quedará un margen de duda.
De esta forma, mientras el texto escrito por personas tenga valor, la persecución entre el gato y el ratón continuará y las tácticas de cada bando se seguirán sofisticando. Como lectores, nuestra necesidad de conectar con la voz de otros hará que sigamos buscándolos entre líneas.
Javier Arroyo Gallardo no recibe salario, ni ejerce labores de consultoría, ni posee acciones, ni recibe financiación de ninguna compañía u organización que pueda obtener beneficio de este artículo, y ha declarado carecer de vínculos relevantes más allá del cargo académico citado.
– ref. ¿Podemos saber si un texto lo ha escrito una IA? Estrategias de detección y maniobras de camuflaje – https://theconversation.com/podemos-saber-si-un-texto-lo-ha-escrito-una-ia-estrategias-de-deteccion-y-maniobras-de-camuflaje-293573