MLOps en producción: lo que nadie te cuenta antes de deployar tu primer modelo

El momento en que el modelo deja de ser un experimento

Deployar un modelo de machine learning a producción es solo el principio. Lo que nadie te cuenta en los tutoriales es lo que pasa después: el modelo empieza a degradarse, los datos cambian, el negocio evoluciona y las predicciones que antes eran buenas dejan de serlo.

En Orbis hemos deployado modelos en producción para clientes en finanzas, retail y logística. Lo que aprendimos en el camino redefinió completamente cómo pensamos el MLOps.

El concepto drift: el enemigo silencioso

Un modelo entrenado es una fotografía del mundo en un momento dado. El mundo cambia. Los comportamientos de los usuarios cambian. Lo que se conoce como "concept drift" — el fenómeno por el cual la relación entre variables de entrada y salida se modifica con el tiempo — es la causa más común de degradación silenciosa de modelos en producción.

"Silenciosa" es la palabra clave. El modelo no falla con un error. Simplemente empieza a dar predicciones cada vez menos precisas, y si no hay un sistema de monitoreo activo, esa degradación puede pasar desapercibida durante semanas o meses.

Las tres capas de monitoreo que implementamos

Primera capa: monitoreo estadístico de los datos de entrada. Comparamos distribuciones en tiempo real contra la distribución de entrenamiento usando Population Stability Index (PSI) y Kolmogorov-Smirnov. Si los datos de entrada cambian, el modelo ya no es válido aunque sus métricas no lo muestren todavía.

Segunda capa: monitoreo de performance del modelo contra ground truth con latencia controlada. Para modelos de predicción a 30 días, la evaluación llega 30 días después — hay que diseñar el pipeline de feedback para que eso no sea un problema.

Tercera capa: monitoreo de business metrics. Porque a veces el modelo técnicamente está bien pero el contexto de negocio cambió y las decisiones que toma ya no son las correctas.

La lección más importante

El monitoreo no es una feature adicional que se agrega después. Es parte de la arquitectura desde el día uno. Los equipos que lo tratan como un afterthought terminan apagando incendios. Los que lo diseñan desde el principio, operan con confianza.