"As an AI language model...": la academia se ha llenado de investigaciones sobre la IA escritas por la IA

Google Académico (en inglés, Google Scholar) es un motor de búsqueda desarrollado por Google y enfocado específicamente en la búsqueda de contenido y bibliografía científica y académica. Lo normal hasta ahora era encontrar citas y enlaces a libros, artículos de revistas científicas y estudios de todo tipo que estaban redactados por investigadores humanos. Pero eso era hasta ahora.

"As an AI language model...". Andrew Jean Gao, estudiante de Stanford, descubrió algo singular al hacer una búsqueda en este servicio. Quiso saber si en los resultados de búsqueda aparecerían textos escritos por una inteligencia artificial y, en concreto por ChatGPT, que suele comenzar algunos de sus párrafos con la frase "As an AI language model..." ("Como modelo de lenguaje de IA..."). Resultó que había decenas de resultados.

Artículos coescritos por ChatGPT. En estos artículos lo sorprendente es que los autores no mencionan en absoluto que han utilizado ChatGPT —o chatbots similares— para redactar los textos. Aunque no lo hagan, esa frase inicial los delata, como sucede por ejemplo con el estudio de Dharmaraja Selvamuthu, del Instituto Indio de Tecnología en Delhi, que en enero de 2023 publicó un estudio sobre predicción de valores de bolsa usando redes neuronales. Nada más empezar la descripción parece quedar claro que ChatGPT ha escrito parte (si no todo) el texto.

Ejemplos por doquier. Es fácil replicar el experimento entrando en Google Académico e introduciendo en la caja de búsqueda el texto '"As an AI language model” -“ChatGPT”' (sin las comillas simples del principio y final). Tanto en el móvil como en la web se puede comprobar rápidamente cómo los resultados son numerosos.

Citando estudios falsos de autores "X e Y". Algunos de esos estudios muestran además a las claras la debilidad de la redacción de ChatGPT, que es conocido por inventar cosas. En este estudio se citaba otro informe "de los autores X e Y (año)" que ni siquiera existe. Hacer mención literal de autores con esos nombres inexistentes y que no son más que variables ya deja claro que los usuarios que publicaron esos estudios ni siquiera se molestaron en revisarlos.

Ironías. La situación es casi irónica en algunas de esas publicaciones. Como apuntaba Kean Gao, resulta sorprendente encontrar un estudio que habla de la interacción entre humanos y robots y que quien lo haya escrito, una vez más, haya sido un modelo de lenguaje como ChatGPT. Hay incluso libros de "Introducción al sexo" que han sido también redactados usando ChatGPT.

Estudios escritos por IA que se convierten en referencias. Es habitual que los investigadores se citen unos a otros haciendo referencia a sus estudios, y eso es precisamente otro de los problemas de este descubrimiento: que estos estudios escritos parcial o totalmente por un chatbot acaben siendo referentes. Es lo que ha ocurrido con un análisis de "Yo, Robot", que ha sido citado 18 veces.

Situación preocupante. El problema no es solo de los autores que utilizan ChatGPT para redactar estos textos total o parcialmente, sino de las reputadas plataformas en las que se publican, que parece que tampoco realizan ningún tipo de control o filtrado sobre los textos. Es como si todo valiese mientras tenga el aspecto de un estudio formal. Ya se detectaron problemas graves en el ámbito de la publicación científica durante la pandemia, pero el auge de la IA generativa puede hacer que aquella situación se quede casi en anécdota al lado de esta nueva hornada de estudios (co)escritos por ChatGPT y otros chatbots.

Imagen | Sigmund

En Xataka | La revisión por pares es uno de los pilares de la ciencia. Ahora hay quien propone cambiarlo de arriba a abajo