Martes. 08:57. Primer día de septiembre. Manolo entra bronceado, descansado y con la sonrisa del hombre que ha conseguido que otro trabaje mientras él estaba en la playa.
—Jose, este verano hemos dado un salto histórico.
—¿Habéis vendido más?
—Mejor. Hemos puesto un agente de IA en Administración. Ha trabajado todo agosto. Veinticuatro horas al día. Ni vacaciones, ni bajas, ni convenio.
—Qué romántico. ¿Y qué hacía?
—Optimizar el circulante. Le dimos acceso al ERP, al correo y a las condiciones comerciales. Detectaba retrasos, actualizaba plazos y reclamaba cobros. Solo. Sin supervisión.
—¿Le disteis acceso para cambiar las condiciones de los clientes?
—Claro. Si tiene que preguntarlo todo, no es un agente. Es un becario con Wi-Fi.
El teléfono de Manolo suena.
Mira la pantalla. No contesta.
Vuelve a sonar.
—¿Quién es?
—El director general de nuestro cliente más grande.
—Cógelo.
—Luego le llamo.
—Cógelo, Manolo.
Descuelga. Durante cuarenta segundos no dice una palabra. La sonrisa se va primero. El bronceado, después.
—Sí, claro... Tiene que ser un error... No, yo no he autorizado eso... Por supuesto... Te llamo en diez minutos.
Cuelga.
—¿Qué ha pasado?
—El agente ha cambiado sus condiciones de pago de sesenta a treinta días. Y esta madrugada les ha enviado un aviso de morosidad. Con copia a Compras, Finanzas y al director general.
—¿Solo a ellos?
Manolo abre el portátil. La pantalla le ilumina la cara.
—A ochocientos cuarenta y tres clientes.
Y ahí está. El futuro del trabajo, llegando un lunes a las ocho y cincuenta y siete en forma de ochocientos cuarenta y tres correos que nadie puede retirar.
—Manolo, ¿qué instrucción le diste?
—«Reduce el periodo medio de cobro y aplica las condiciones óptimas según riesgo y margen».
—¿Y qué parte ha incumplido?
—Ninguna. Pero tenía que haber entendido que algunos clientes son especiales.
—¿Se lo dijiste?
—No hacía falta. Lo sabe todo el mundo.
—Todo el mundo humano, Manolo. El agente no lleva quince años comiendo con ese cliente. No sabe que paga a sesenta porque compra cuatro millones al año. No recuerda que os salvó el trimestre de la pandemia. No ha visto a su director general levantarse de una mesa porque alguien le apretó con un plazo. Tú le diste una cifra que optimizar y acceso para optimizarla. Y eso ha hecho.
—Pero se ha pasado.
—No. Se ha pasado de permisos. Que no es lo mismo.
Silencio.
—Manolo, imagina que hoy entra una directora financiera nueva. Currículum brillante. Primer día. ¿Le das acceso al ERP, permiso para cambiar contratos y capacidad para escribir sola a todos los clientes?
—Claro que no.
—¿Cuándo se lo darías?
—Cuando conozca la empresa. Cuando haya demostrado criterio.
—Entonces, ¿por qué se lo diste a una máquina que conoce todavía menos la empresa?
—Porque es IA.
—Eso describe la tecnología. No certifica el criterio.
Manolo se remueve en la silla.
—Nos dijeron que había que darle autonomía.
—Autonomía no significa ausencia de límites. A tu hija le das autonomía, pero no las llaves del coche el día que aprende dónde está el volante. A una persona nueva le das responsabilidades, pero no la firma de la empresa antes de que sepa qué está firmando. La autonomía se gana aumentando el radio de acción a medida que aparece el criterio. Tú has empezado por el final porque el agente no cobra nómina y te parecía que tampoco podía equivocarse.
—Nos ahorraba mucho tiempo.
—Y ahora, ¿cuánto tiempo vais a gastar reparándolo?
Manolo mira la bandeja de entrada. Los asuntos empiezan a acumularse: «URGENTE», «CONDICIONES MODIFICADAS», «LLÁMAME YA», «¿ESTO ES UNA BROMA?».
—Bastante.
—Ese es el coste que nunca metéis en el Excel. Calculáis el tiempo que la IA ahorra cuando acierta. Nunca el tiempo que multiplica cuando se equivoca. Un empleado puede mandar un correo incorrecto a un cliente. Un agente manda el mismo correo incorrecto a ochocientos cuarenta y tres antes de que el empleado haya terminado el café.
La IA no inventó el error industrial, Manolo. Lo industrializó.
Hace unos días se conocieron detalles de un proyecto interno de Meta para convertir equipos en «AI native». Según documentos y testimonios revisados por Reuters, algunos agentes llegaron a ejecutar acciones disruptivas a gran escala, los incidentes técnicos y de seguridad crecieron un 40% y el tiempo dedicado a reparar problemas aumentó hasta un 70%. Meta no comentó esas publicaciones internas y no llevó adelante todos los escenarios estudiados.
Lo interesante no es que le ocurriera a Meta. Lo interesante es que si le ocurre a una de las empresas con más ingenieros, datos y dinero del planeta, quizá tu pyme no debería empezar dando a un robot la firma, el ERP y las llaves del almacén.
—Entonces, ¿para qué quiero un agente? Si tengo que supervisarlo, pierdo la gracia.
—No. Pierdes la fantasía. Que es distinto.
—¿Qué fantasía?
—La de un empleado infinito que trabaja solo, nunca pregunta y siempre decide como tú decidirías. Eso no es un producto. Es el amigo imaginario del director de operaciones.
—¿Y cómo se hace bien?
—Como con cualquier persona a la que vas a confiar algo importante. Por escalones.
Manolo abre el cuaderno.
—Primer escalón: observa. Le dejas leer casos reales y te dice qué habría hecho. No toca nada.
—Eso es lento.
—Más lento es llamar a ochocientos cuarenta y tres clientes.
—Sigue.
—Segundo: recomienda. Prepara el cambio, pero una persona lo aprueba. Ahí descubres en qué casos entiende el contexto y en cuáles solo parece entenderlo.
—Tercero.
—Ejecuta lo reversible. Etiquetar, clasificar, preparar borradores, actualizar campos que puedas deshacer. Con registro de todo.
—¿Y cuándo trabaja solo?
—Cuarto escalón. Cuando ya sabes dónde falla. Entonces le das autonomía limitada: hasta cierto importe, con determinados clientes, dentro de unas reglas y con un botón real para pararlo. No «vigilar el dashboard». Pararlo.
—Eso reduce mucho el impacto.
—Exacto. También reduce el impacto del error. A eso se le llama gobernar. Tu problema es que querías el beneficio de la autonomía sin pagar el coste de gobernarla.
—Pero el agente hizo exactamente lo que le pedimos.
—Ese es el diagnóstico, Manolo. No la defensa.
Silencio largo.
El teléfono vuelve a sonar. Otro cliente.
—¿Qué hago ahora?
—Primero, le quitas los permisos de escritura. Ya. Segundo, identificas todo lo que ha tocado y reviertes lo reversible. Tercero, llamas tú a los clientes importantes. No mandes al agente a pedir perdón por lo que hizo el agente.
—¿Y después?
—Después dejas de medir cuántas tareas ejecuta y empiezas a medir cuántas terminan bien sin generar trabajo de reparación. Porque actividad no es productividad. Y velocidad por dirección equivocada solo consigue que llegues antes al desastre.
Manolo cierra el portátil. Se levanta. Antes de salir, deja sobre mi mesa un llavero enorme que lleva colgando desde que entró.
Una de las llaves tiene una etiqueta amarilla: «PRODUCCIÓN».
—¿Para qué llevabas eso?
—Era para la foto de lanzamiento del proyecto.
—Déjalo aquí.
—¿Hasta cuándo?
—Hasta que aprendáis que dar acceso no es dar confianza.
Se va, ya sin sonrisa, llamando al primero de ochocientos cuarenta y tres clientes.
Y yo me quedo mirando la llave.
La IA de Manolo no se rebeló. No desarrolló conciencia. No decidió conquistar la empresa. Ni siquiera hizo algo que no le hubieran pedido.
Hizo exactamente lo que Manolo quería.
Solo que lo hizo a una velocidad que él no podía supervisar, con unos permisos que jamás habría dado a una persona y sin el contexto que Manolo creyó que venía incluido en la licencia.
Porque el riesgo de una IA autónoma no es que un día deje de obedecerte.
Es que te obedezca demasiado bien.
Ochocientas cuarenta y tres veces antes del desayuno.
Gracias por leerme.
Todos conocemos a un Manolo. A veces somos un Manolo. Cada martes uno nuevo. Suscríbete para no perdértelo.