Supervisa un modelo de IA industrial separando calidad de entradas, cambios en distribuciones de datos o predicciones y rendimiento frente a resultados posteriores verificados. Una señal de deriva invita a investigar sin demostrar deterioro; medias estables también pueden ocultar fallos. Mantén visibles cobertura y retraso de etiquetas, mezcla y responsable de respuesta. Este ejemplo ficticio compara resultados completos con un estado inicial incompleto para aclarar qué se sabe antes de investigar, recalibrar o reentrenar.
Separa la alerta de cambio de datos de una conclusión de rendimiento.
Comprueba cobertura de etiquetas tardías antes de calcular errores.
Asigna una investigación concreta y un responsable a cada señal.
Identifica la señal antes de fijar un umbral de alerta
La documentación de Microsoft distingue deriva de datos, deriva de predicciones, calidad de datos y rendimiento medido frente a la referencia real. Necesitan entradas diferentes. Un cambio en la distribución de brillo de la cámara puede ser real sin demostrar que empeoró la detección de defectos.
Para decidir en fabricación, conserva también imágenes ausentes, unidades inválidas, revisiones de producto, cambios de iluminación, cámara, versión de modelo y umbral. Una fuente de sensor interrumpida es un incidente distinto de un cambio gradual en la población de productos.
No confundas el estado de etiquetas incompletas con el resultado global
La población actual ficticia contiene 1.000 piezas inspeccionadas. En la primera revisión solo 200 tienen resultados finales verificados. Se priorizaron esas 200 para revisión, así que no son una muestra aleatoria representativa de las 800 restantes.
Informa de cobertura de etiquetas 200/1.000 y de la regla de selección. No presentes 200 piezas etiquetadas como toda la producción ni supongas que las otras 800 son buenas. El registro recibe después resultados de todas; solo esa población completa se usa a continuación.
Compara poblaciones completas con definiciones compatibles
La referencia ficticia y la población actual completa contienen 1.000 piezas cada una: 50 defectuosas y 950 buenas según referencia. El periodo inicial detecta 45 defectos y omite 5, además de señalar por error 19 piezas buenas. El actual detecta 40, omite 10 y señala por error 38 buenas.
La sensibilidad pasa de 45/50 = 90 % a 40/50 = 80 %. La tasa de falsos positivos pasa de 19/950 = 2 % a 38/950 = 4 %. Estas diferencias observadas justifican investigar en el caso didáctico. Pocos defectos, incertidumbre muestral y diferencias operativas impiden afirmar causas con confianza solo por los porcentajes.
TP y FN son verdaderos positivos y falsos negativos; FP y TN, falsos positivos y verdaderos negativos. Las etiquetas incompletas o seleccionadas no aportan sin más denominadores de toda la población.
| Resultado de población completa | Inicial | Actual |
|---|---|---|
| Defectuosas / buenas de referencia | 50/950 | 50/950 |
| Verdaderos positivos / falsos negativos | 45/5 | 40/10 |
| Falsos positivos / verdaderos negativos | 19/931 | 38/912 |
| Sensibilidad | 90 % | 80 % |
| Tasa de falsos positivos | 2 % | 4 % |
| Piezas señaladas para revisión | 64 | 78 |
Investiga el cambio antes de reentrenar
Comprueba validez de entrada, método de referencia, mezcla de productos, imagen, versión de umbral y flujo de trabajo. Un cambio de brillo puede indicar un problema de cámara o iluminación. Reentrenar primero puede ocultar un fallo de configuración o enseñar al modelo una avería temporal.
Consulta la guía de calidad predictiva para el proceso más amplio y el análisis de umbral si cambió el intercambio entre resultados sin nuevos pesos de modelo. Ajustar el umbral también exige validación y autoridad.
- Registra la versión operativa
Conserva cámara, preprocesamiento, modelo, umbral y contexto de producto.
- Comprueba datos y etiquetas
Separa entradas inválidas, cambios de distribución y resultados incompletos.
- Investiga una señal definida
Asigna responsable y examina causas plausibles con evidencias representativas.
- Valida la respuesta elegida
Prueba reparación, recalibración, reentrenamiento o mantener el modelo con datos de evaluación que no se hayan usado para elegir ese cambio.
Elige la frecuencia según consecuencias y llegada de evidencias
Un modelo de inspección rápida puede necesitar controles inmediatos de calidad de entrada, aunque los resultados finales lleguen días después. Usa respuestas distintas para señales distintas. No esperes al panel semanal de deriva para atender la falta de evidencias obligatorias de inspección.
Acuerda criterios de alerta y alternativa ante fallos con calidad y operaciones. El marco AI Risk Management Framework de NIST trata medición y gestión de riesgos como actividades continuas. No ofrece un porcentaje universal de deriva que haga seguro cualquier modelo industrial.
Cierra el seguimiento con una decisión real
Conserva alerta, investigación, acción, autoridad y resultado posterior. «Deriva detectada» no es un resultado operativo. Registra si el cambio afectó al riesgo del cliente, la carga de revisión o la disponibilidad del proceso y qué sigue desconocido.
La descarga separa el estado de etiquetas incompletas de las dos matrices ficticias completas y deja campos para registrar la investigación.
Un ejemplo relacionado de Abolfazl
Comprueba qué cambia al trasladar el piloto de IA a otra planta.
En inglés, en el blog personal del fundador Abolfazl. Es lectura relacionada, no una fuente técnica independiente.
Lista práctica
- Versiona modelo, umbral y condiciones de captura.
- Comprueba primero entradas ausentes e inválidas.
- Separa cambios de distribución y errores medidos.
- Registra retraso y selección de etiquetas.
- Usa denominadores compatibles de poblaciones completas.
- Revisa incertidumbre y mezcla de producto.
- Asigna respuesta y alternativa aprobada.
- Valida la acción antes de cerrar la alerta.
Preguntas frecuentes
Preguntas frecuentes
Fuentes y lecturas
Referencias autorizadas utilizadas para investigar y verificar esta guía.