Evaluación y operación
de sistemas de IA.

Describe usuarios, tareas, entradas, salidas, dependencias y consecuencias. Define éxito por tarea, no con una impresión general. Construye una taxonomía de fallos de datos, recuperación, razonamiento, herramientas, formato, seguridad y experiencia.

Prioriza errores por severidad y detectabilidad. Un promedio alto puede ocultar un fallo raro pero catastrófico; las puertas críticas se evalúan por separado.

Muestrea casos reales respetando privacidad y añade situaciones límites diseñadas. Conserva distribución, idioma, longitud, perfiles de usuario y dificultad. Separa un conjunto de desarrollo de otro que solo se use para decisiones de lanzamiento.

Versiona casos y respuestas esperadas. Revisa que el conjunto no premie una forma superficial y que incluya abstenciones cuando no existe respuesta segura.

Usa verificaciones deterministas para formato, citas y cálculos cuando sea posible. Define rúbricas humanas para utilidad, exactitud y daño. Los evaluadores basados en modelos se comparan contra juicios humanos y no se tratan como verdad.

Mide desacuerdo entre revisores y analiza errores por categoría, no solo un puntaje global. Cada métrica debe conectar con una decisión operativa.

Registra instrucciones, modelo, parámetros, herramientas, datos recuperados y configuración. Una traza debe permitir reconstruir por qué ocurrió una salida sin guardar información innecesaria.

Compara candidatos en calidad, errores críticos, latencia y costo. Establece presupuestos y alertas; optimizar precio sin observar calidad traslada el costo a usuarios y soporte.

Despliega primero a una fracción controlada, con supervisión y reversión. Define indicadores de salud y límites que detienen el lanzamiento. Preserva evidencia cuando aparece un incidente y comunica a responsables y personas afectadas.

Después del incidente, corrige la causa, añade casos de regresión y revisa si los controles organizativos fallaron. La operación convierte cada fallo relevante en aprendizaje verificable.