¿Qué hace creíble la validación de un modelo de mantenimiento predictivo?

Evalúa modelos de mantenimiento predictivo con separación temporal y por activos, etiquetas inciertas, antelación útil y carga de falsas alertas.

DigiventiÚltima revisión · 8 min de lectura
En este artículo

La puntuación de un modelo de mantenimiento sobre datos históricos solo resulta útil si la prueba se parece a la predicción que necesitas obtener. Reconocer un tramo conocido de datos de sensores que muestran deterioro es un reto distinto de advertir de un fallo futuro en equipos que operan bajo condiciones diferentes.

Por tanto, la validación de modelos de mantenimiento predictivo debe establecer algo más que la coincidencia entre las predicciones y las etiquetas históricas. Debe mostrar qué datos eran realmente desconocidos para el modelo, qué significan esas etiquetas y si los distintos fallos recibieron una advertencia útil sin generar una carga inaceptable de falsas alertas.

Empieza por el activo y la decisión de mantenimiento. La criticidad establece por qué un equipo merece atención, pero el caso de negocio del mantenimiento predictivo debe identificar el modo de fallo concreto, sus consecuencias y la decisión que mejoraría con información anticipada. La validación examina entonces si el modelo puede proporcionar realmente esa información.

Distinguir un comportamiento inusual de una predicción de fallo

Antes de interpretar una puntuación de rendimiento, distingue las afirmaciones que estás evaluando:

  • Detección de anomalías: ¿es inusual el comportamiento observado respecto a la referencia elegida?
  • Clasificación de fallos: ¿la evidencia permite asignar una categoría de fallo concreta?
  • Predicción de fallos: ¿la evidencia permite predecir un fallo futuro definido dentro de un horizonte establecido, o estimar el tiempo restante hasta ese evento?

Utiliza estas preguntas como criterios de aceptación separados. Un patrón de vibración inusual puede justificar una investigación, pero su carácter anómalo no establece por sí solo un fallo de rodamiento, la vida útil restante ni la intervención adecuada. Del mismo modo, una clasificación correcta del fallo no demuestra con cuánta antelación recibió el aviso el equipo de mantenimiento.

Considera, como ejemplo ilustrativo, la evaluación de un compresor. La mayor parte del funcionamiento registrado transcurre sin incidentes. Un modelo que indique repetidamente un funcionamiento normal podría coincidir con gran parte de ese historial y, aun así, pasar por alto el deterioro que importa. Otro modelo podría reconocer un fallo justo antes de la parada, sin ofrecer una oportunidad útil para inspeccionarlo. La exactitud global no respondería a la pregunta de mantenimiento en ninguno de los casos.

Formula la capacidad que se pretende demostrar en términos operativos: advertir del deterioro especificado con suficiente antelación para permitir una inspección antes de la pérdida de función. Pide a personal de mantenimiento cualificado que defina las evidencias relevantes del fallo, los estados de funcionamiento y el intervalo de aviso útil. Compara el modelo con la regla o el método de monitorización actual sobre esa misma base.

El punto de partida es un objetivo de gestión de activos, no un algoritmo. En el webinar sobre fiabilidad industrial, los participantes defienden establecer una estrategia de gestión de activos y tener claro qué quiere conseguir la organización antes de centrarse en la tecnología.

Hacer que la prueba histórica se enfrente al futuro

El límite entre los datos de entrenamiento y los de prueba determina qué puede demostrar un resultado. La explicación técnica de Diogo Ribeiro sobre la validación del mantenimiento predictivo señala que las ventanas de datos de sensores solapadas pueden compartir casi todo su historial. Por tanto, repartir aleatoriamente esas ventanas entre entrenamiento y prueba puede provocar una fuga de información entre ambos conjuntos. La unidad adecuada de separación puede ser un activo, una instalación o un bloque temporal futuro, en lugar de una fila individual.

Para un modelo destinado a predecir el funcionamiento futuro de un parque de equipos existente, entrena con el historial anterior y evalúa con el posterior. Mantén el periodo de prueba al margen de la selección del modelo y de las decisiones sobre el umbral de alerta. Diseña la evaluación de modo que cada predicción utilice únicamente la información disponible en el momento de emitirla.

La separación cronológica y la separación por activos responden a preguntas diferentes. Un periodo posterior en máquinas conocidas evalúa el funcionamiento futuro de esas máquinas. Reservar activos completos para la prueba evalúa la transferencia a equipos cuyo historial el modelo no ha aprendido. Si el despliegue previsto incluye activos desconocidos, evalúa explícitamente esa capacidad en lugar de considerar equivalente una prueba cronológica con equipos conocidos.

Mantén juntos los registros de un mismo episodio de fallo cuando evalúes la generalización a episodios distintos. De lo contrario, reconocer otro fragmento de una trayectoria de deterioro conocida puede confundirse con predecir un evento nuevo. En el punto de corte temporal, comprueba que las ventanas de entrada solapadas no incorporen las mismas observaciones al entrenamiento y a la prueba.

Examina también los resultados según las condiciones operativas relevantes para el despliegue: arranque, producción estable, cambios de carga o un periodo posterior a la sustitución de un componente. Distingue entre las condiciones ya evaluadas y aquellas que todavía requieren evaluación. Esto depende de la identidad del activo y el contexto de producción: la evaluación debe conservar a qué equipo, configuración y episodio operativo corresponde cada observación.

Leer el historial de mantenimiento antes de confiar en sus etiquetas

Una etiqueta de fallo describe lo ocurrido, pero la ausencia de esa etiqueta necesita interpretación. Si un activo sigue funcionando cuando termina la observación, se desconoce el momento en que acabará fallando. Esto se denomina censura por la derecha. Descartar esos registros supone perder información; asignarles un valor inventado de vida útil restante supone fabricar información.

El mantenimiento preventivo plantea una dificultad relacionada. Cuando se sustituye un componente deteriorado, el fallo que podría haberse producido deja de ser observable. Por tanto, los resultados históricos reflejan tanto las intervenciones de mantenimiento como el deterioro.

Volvamos al ejemplo ilustrativo del compresor. Supongamos que una alerta da lugar a una inspección y una sustitución, y que la inspección confirma daños. Después no se produce ningún fallo. Calificar la alerta como falsa únicamente porque el compresor no falló ignoraría la intervención. Considerarla una predicción demostrada de fallo inminente iría más allá de lo observado. El registro respalda una alerta asociada a daños confirmados y una intervención, no un tiempo hasta el fallo observado en ausencia de esa intervención.

Conserva esas distinciones en la evaluación. Separa los fallos confirmados, los defectos confirmados durante una intervención, las alertas sin resolver y los casos en los que la observación termina sin fallo. Pide a especialistas de mantenimiento que revisen las etiquetas ambiguas y distingan el momento en que se observó un defecto del momento en que se incorporó al registro.

Para evaluar una capacidad de predicción de fallos, define con precisión el evento que se quiere predecir. Una parada, una sustitución de componente y un fallo físico confirmado no deben convertirse, sin aclaración, en etiquetas intercambiables. Cuando la evidencia siga sin ser concluyente, conserva ese estado en lugar de forzar todos los casos a una categoría de acierto o error.

Contar fallos y episodios de alerta, no solo ventanas de sensores

La precisión calculada por ventanas puede contabilizar repetidamente como acierto un mismo episodio de deterioro. La evaluación por eventos, en cambio, pregunta si un fallo recibió una advertencia, cuándo llegó el primer aviso útil, cuántos episodios distintos de falsas alertas se produjeron y cuánto duraron las alarmas.

En el ejemplo del compresor, las ventanas positivas repetidas alrededor de un mismo fallo no deberían pesar más que los fallos no detectados en otros episodios. Tampoco debería una alarma persistente quedar oculta en un porcentaje aparentemente favorable solo porque el conjunto de datos contiene extensos periodos de funcionamiento normal.

Presenta la evidencia en torno a los eventos de mantenimiento:

  • Fallos advertidos y no detectados: muestra los eventos de fallo incluidos en la evaluación y cuáles recibieron un aviso que cumpliera los criterios.
  • Antelación del aviso: muestra el intervalo entre la primera alerta que cumpliera los criterios y cada fallo observado, sin ocultar los avisos tardíos.
  • Carga de falsas alertas: informa de los episodios distintos de falsas alertas en relación con un tiempo de funcionamiento especificado, junto con la persistencia de las alarmas y el esfuerzo de revisión.
  • Resultados sin resolver: conserva las alertas cuya relevancia no pudo establecerse, en lugar de contarlas como aciertos confirmados.

Especifica cómo se agrupan las alertas repetidas y cómo se vincula una alerta con un fallo antes de comparar modelos. Utiliza las mismas definiciones de eventos, el mismo tiempo de funcionamiento evaluado y el mismo intervalo de aviso para el método de referencia. En la predicción de fallos poco frecuentes, mantén visibles los recuentos de eventos junto a cualquier tasa resumida: muchas lecturas de sensores no deben presentarse como muchas demostraciones independientes de una predicción acertada.

Un aviso útil tiene un intervalo definido

Más temprano no significa automáticamente mejor. La investigación de PHM sobre evaluación de modelos predictivos sitúa los avisos dentro de un intervalo objetivo anterior al fallo. Utiliza la decisión de mantenimiento para definir ese intervalo, en lugar de dar por válida cualquier alerta que se produzca antes de un evento.

Un aviso que llega demasiado tarde para la inspección prevista debe seguir considerándose tardío, aunque identifique correctamente un fallo próximo. Una alerta muy anticipada también debe cumplir los criterios de relevancia acordados; que el fallo termine ocurriendo no debería validar retrospectivamente una alarma indefinida.

Establece los criterios de aceptación en función de las consecuencias del fallo del activo, la antelación necesaria y la capacidad del equipo para investigar alertas. Compara los resultados del modelo predictivo y del método de referencia con los mismos criterios. No interpretes una prueba sin fallos relevantes como demostración de que el modelo no dejará de detectarlos.

Una validación creíble deja una cadena de razonamiento clara: el modelo se enfrentó a un historial realmente desconocido, los resultados se interpretaron junto con las intervenciones y los distintos eventos se evaluaron según la utilidad del aviso y la carga de falsas alertas. Una buena puntuación global no puede sustituir esa cadena. La evidencia debe respaldar la capacidad concreta de mantenimiento que se afirma, no una promesa más amplia deducida de ella.

¿Necesitas ayuda con datos e IA?

Proporcionamos consultores IT para proyectos y trabajo técnico continuo. Cuéntanos qué ayuda necesitas.

Contáctanos
Volver a todos los artículos