El 95 % no es una nota, es una promesa

Cuando alguien enseña un sistema con IA, tarde o temprano aparece un porcentaje. «Acierta el 95 %». «Tiene una precisión del 98 %».

Suena bien y no significa casi nada. Faltan las tres preguntas que convierten ese número en información útil.

¿El 95 % de qué?

Un porcentaje sin denominador es humo.

Si mides sobre pedidos con formato limpio, el 95 % es malo. Si mides sobre todo lo que entra de verdad —incluidos el escaneado torcido, el que lleva dos pedidos en el mismo correo y el del cliente que escribe las cantidades en el cuerpo del mensaje—, el 95 % es excelente.

El número no dice nada si no sabes contra qué se ha medido. Y aquí está la trampa habitual: casi todas las demostraciones se hacen contra los ejemplos fáciles, porque son los que el que construye el sistema tenía a mano.

Por eso yo pido documentos reales antes de prometer nada, y pido expresamente los raros. Un sistema que sólo se ha probado con los casos buenos no está probado.

¿Qué pasa con el otro 5 %?

Esta es la pregunta de verdad, y la que casi nadie contesta.

Ese cinco por ciento puede comportarse de tres maneras completamente distintas:

Se equivoca y lo sabe. El sistema detecta que no está seguro, para y avisa. Esto no es un fallo: es el sistema funcionando. Una persona resuelve veinte casos al día en lugar de cuatrocientos.

Se equivoca y no lo sabe. Mete un dato incorrecto con total confianza y sigue adelante. Nadie se entera hasta que llama el cliente. Este es el caso que arruina proyectos, y es donde hay que poner el trabajo.

Se equivoca de forma tan rara que nadie lo previó. Es inevitable y por eso existen los límites y los registros.

Un sistema con un 90 % de acierto que siempre sabe cuándo dudar es mucho mejor que uno con un 97 % que a veces se inventa las cosas con aplomo. La diferencia no está en el porcentaje: está en qué hace con su propia incertidumbre.

Si te enseñan un número y no te cuentan esto, el número no vale.

¿Cuánto cuesta cada fallo?

El tercer dato que falta. Porque el 95 % significa cosas muy distintas según qué haya al otro lado.

• Clasificar un correo mal: se arregla en dos segundos.
• Meter una cantidad mal en un pedido: sale un camión con producto de menos.
• Mandarle un precio equivocado a un cliente: es un compromiso escrito.

El porcentaje aceptable no es una propiedad del sistema, es una propiedad del proceso. En lo primero, un 90 % sobra. En lo tercero, el 99,9 % tampoco vale, y por eso ahí siempre mira una persona antes de que salga nada.

Cuando alguien me dice «quiero que acierte el cien por cien», mi respuesta es que eso no existe, ni con IA ni con personas. Lo que sí se puede garantizar es que los errores caros no ocurran nunca sin que alguien los vea, y eso no se consigue subiendo el porcentaje: se consigue decidiendo qué pasa por una persona.

Cómo se mide de verdad

No se mide con impresiones. Se mide con un conjunto de casos reales, con la respuesta correcta apuntada al lado, que se vuelve a pasar cada vez que se toca algo.

Eso son los evals. Es la parte menos vistosa del trabajo y la que separa un sistema que aguanta de una demostración bonita.

Montar unos evals requiere algo que sólo puede dar el cliente: que alguien que conozca el proceso se siente una vez y confirme, para unos cuantos casos, cuál era la respuesta buena. Es tedioso y es media mañana. Sin eso, nadie puede demostrar nada — ni yo ni nadie.

Qué preguntar la próxima vez

Si alguien te enseña un sistema con IA y te da un porcentaje, hazle estas tres:

1. ¿Medido sobre qué casos? Y pide ver los difíciles.
2. Cuando falla, ¿lo sabe? Enséñame uno que haya fallado.
3. ¿Cuánto cuesta un fallo aquí, y quién lo ve antes de que salga?

Si las tres tienen respuesta, el porcentaje empieza a significar algo.

Si no, lo que te están enseñando es una demostración, no un sistema.