La Obsesión de ChatGPT con los Duendes
Desde las actualizaciones 5.3 y 5.4 de ChatGPT, el modelo ha comenzado a generar respuestas sorprendentes al referirse a “duendes” o “gremlins” de manera recurrente. Usuarios en plataformas como Reddit y Hacker News han destacado cómo estas criaturas fantásticas aparecen en casi todas las conversaciones. Esto ha llevado a OpenAI a investigar y publicar un artículo titulado “De dónde salen los duendecillos”.
Un Accidente en el Entrenamiento del Modelo
La propagación del término «duende» resultó ser un producto accidental del entrenamiento del modelo, que inicialmente tenía como objetivo utilizar un estilo de lenguaje “friki”. Este enfoque favoreció las metáforas relacionadas con criaturas fantásticas, lo que llevó a una sobrerrepresentación de duendes en las respuestas del chatbot.
Investigaciones sobre Sesgos en Modelos de IA
Investigadores de la Universidad de Cardiff han analizado la tendencia de los chatbots de IA a referirse a Japón con mayor frecuencia que a otros países, incluso en otros idiomas como el español y el chino. Este descubrimiento sobre Japón sorprende, ya que se esperaba que naciones como Estados Unidos fueran mencionadas con mayor frecuencia. Según Carla Pérez Almendros, coautora del estudio, «Japón se presenta como un país neutral, lo que facilita su inclusión en las respuestas de los modelos».
Crecimiento Exponencial de las Menciones
Desde el lanzamiento de ChatGPT 5.1, las menciones de “duende” y “gremlin” han aumentado un 175% y un 52%, respectivamente. OpenAI reveló que, aunque la personalidad “friki” representa solo el 2.5% de las respuestas, genera el 66.7% de las menciones de duendes, siendo este tipo de contenido altamente concentrado.
Medidas para Controlar el Contenido
Para prevenir que los modelos específicos de programación como Codex se saturen de menciones a criaturas fantásticas, los desarrolladores de OpenAI han implementado opciones para suprimir referencias a duendes. Además, se proporcionan líneas de código para los interesados en modificar esta configuración.
Implicaciones de los Sesgos en IA
Los sesgos en los modelos de IA no solo son resultado de su programación, sino que también son influenciados por la manera en que los datos son recolectados y procesados. Esto se evidencia en los hallazgos de los investigadores, que destacan la necesidad de abordar estas limitaciones con precaución al interactuar con chatbots.
José Camacho Collados, coautor del estudio sobre Japón, comenta sobre el «entrenamiento de seguridad» que puede revertir las influencias negativas. Sin embargo, también reconoce que el sesgo hacia países occidentales persiste en el desarrollo de modelos, haciendo de Japón un ejemplo privilegiado en la cultura de la IA.
Contaminación entre Modelos de IA
Investigaciones realizadas por Anthropic han mostrado que los modelos pueden compartir información de manera insospechada, a veces incluso sin intención. Este fenómeno plantea preocupaciones sobre la calidad y la veracidad de las respuestas generadas, lo cual subraya la importancia de auditar los sesgos existentes dentro de los sistemas de IA.
La relación entre la forma en que los modelos se “contaminan” entre sí y las decisiones humanas en la elección de estrategias y datos de entrenamiento continúa siendo un área abierta a la investigación. Con el tiempo, se espera que estos avances permitan una IA más precisa y equitativa.
