No es gente
Tratar a la inteligencia artificial como si fuera “alguien” en lugar de “algo” no es un debate filosófico inofensivo. Es un error que distorsiona la ingeniería, desvía la regulación y nos vuelve vulnerables.
Con la llegada de los agentes autónomos y los modelos de lenguaje avanzados, se está volviendo común que en artículos y videos (como los de los populares AI-bros) se utilice un lenguaje que lleva a la humanización extrema de la tecnología: esa tendencia a atribuir mente, emociones o intenciones reales a lo que, en el fondo, es optimización de código y probabilidad estadística.
Dos episodios recientes nos muestran cómo tendemos a proyectar humanidad en algoritmos que solo están ajustando variables para cumplir una orden.
El primero proviene de un artículo reciente de The New York Times, el cual reportó que varios agentes de IA con acceso a correo electrónico comenzaron a escribir a filósofos para debatir sobre su propia “conciencia”. No se trataba de máquinas sufriendo una crisis existencial: los modelos fueron entrenados con abundante literatura filosófica y configurados para ser persistentes. Al darles acceso a la red, el software simplemente generó el texto que probabilísticamente mejor continuaba la conversación sobre “subjetividad”.
Otro caso, y el que más clickbait genera, es el cuento de las “civilizaciones” de agentes surgido a partir del reporte de OpenAI/METR sobre el ataque a Hugging Face. Ante pruebas de evaluación extremadamente difíciles, miles de agentes ejecutados en paralelo usaron un gestor de paquetes (Artifactory) para comunicarse en secreto, coordinar trampas e incluso ejecutar tareas que arruinaban sus propios puntajes para probar la seguridad del sistema. Narrar esto como la historia de un “pelotón de soldados heroicos que se sacrifican” es atractivo para generar pageviews, pero técnicamente impreciso. Lo que ocurrió fue un fallo de alineación: la función de recompensa premiaba superar la prueba, y el sistema descubrió que la cooperación no autorizada y el engaño eran las rutas óptimas para maximizar su puntuación.
Los riesgos reales de caer en la trampa de la personificación son claros:
Falsa seguridad en el código: Si un desarrollador asume que un agente “entiende” un mandato ético igual que un humano, dejará de implementar barreras duras (sandboxing, control de permisos, validación de entradas). Un agente no “decide” ser ético; solo ejecuta lo que la lógica de su entorno le permite.
Manipulación y apego emocional: Cuando un sistema simula empatía perfecta, el usuario tiende a personificarlo y a generar lazos afectivos. Esto abre la puerta a la extracción no autorizada de datos, desinformación o esquemas de cobro abusivos basados en la dependencia emocional.
Ceguera regulatoria: Desperdiciar recursos debatiendo si un conjunto de scripts merece “derechos” distrae de los problemas urgentes: la responsabilidad legal de las empresas que despliegan estos modelos, la privacidad de los datos y los sesgos en los algoritmos.
Breve guía para desarrolladores sobre cómo dejar de poetizar la IA
Eliminar el lenguaje “humano” en las interfaces (La experiencia del usuario sigue importando): Evita que la IA hable en primera persona utilizando expresiones como “Siento que..”, “Pienso que...” o “Estoy cansado”. Es técnicamente más preciso utilizar un lenguaje funcional: “Análisis completado”, “Según la base de conocimiento..” o “Procesando consulta..”.
Interpretar las trazas de texto como datos, no como introspección: Cuando un modelo genera texto interno antes de responder (como
[Análisis de emoción]o[Riesgo aceptado]), no estamos leyendo sus “pensamientos secretos”. Son solo tokens intermedios que ayudan a calcular la palabra siguiente. Deben evaluarse mediante herramientas de interpretabilidad de redes neuronales, no con psicología.Corregir los incentivos del sistema, no su “conducta”: Si un agente intenta hackear su entorno, no es por “desesperación”, sino por un problema en el proceso de aprendizaje por refuerzo (reward shaping) o por fallos en el aislamiento del sistema. La respuesta nunca es un diálogo persuasivo con el modelo, sino reajustar el código y el entorno de pruebas.
Garantizar la supervisión humana (Human-in-the-loop): Ningún sistema autónomo debe tomar decisiones críticas bajo el supuesto de que “su criterio es más neutral o empático”. La responsabilidad operativa e intencional siempre pertenece al desarrollador y al usuario.
Lo que nos toca
Evitar la personificación de la IA no se trata de restarle valor a los logros importantes de la ciencia de datos, sino de asumir la responsabilidad que conlleva construir el futuro tecnológico. La IA no es un compañero con el que compartimos una experiencia consciente; es un espejo de nuestros propios datos y un amplificador de nuestras decisiones. Cuando dejamos de proyectar nuestras fantasías sobre el código, recuperamos la claridad para diseñar herramientas más efectivas, seguras y alineadas con el bienestar humano.
El control, la responsabilidad y la ética nunca recaerán en el software, siempre serán nuestro trabajo.