01 · Problema
Cada modelo se hacía a mano
Cada modelo o soft sensor para las plantas de los clientes se construía de forma artesanal: conectar los datos, preparar el dataset, entrenar, guardar y desplegar a mano. Con un equipo pequeño, ese ritmo limitaba cuántos casos de uso se podían atender.
02 · Solución
Tratar los modelos como un producto que se fabrica
Una plataforma interna, inspirada en la manufactura esbelta, donde todo el ciclo se hace sin código: conexión segura a la base de datos, gestión de datasets, entrenamiento, registro y respaldo de modelos, despliegue e integración directa en el producto SaaS. La misma plataforma gestiona las recomendaciones y las alertas avanzadas, construidas con modelamiento estadístico de los datos.
03 · Por qué no otra herramienta
Evaluamos las opciones del mercado
Antes de construir, evaluamos las herramientas existentes. Ninguna resolvía el problema completo:
- MLflow resuelve bien la trazabilidad de experimentos y el registro de modelos, pero no buscábamos solo eso: queríamos que entrenar y desplegar un modelo no requiriera escribir código.
- Amazon SageMaker cubre todo el ciclo de machine learning, pero para nuestro tamaño era una solución sobredimensionada: exigía un esfuerzo grande de implementación, sus costos de uso son difíciles de controlar y no resolvía el monitoreo ni la integración inmediata con nuestro producto.
Por eso construimos una plataforma propia, con capacidades parecidas a las de una suite de MLOps pero hecha a la medida de nuestros datos y de nuestro producto. Cubre el ciclo completo:
- Integración directa y segura con nuestras fuentes de datos.
- Limpieza de datos con algoritmos y también visual: los datos de sensores suelen traer outliers que a un algoritmo le cuesta distinguir, y poder revisarlos a la vista acelera mucho el trabajo.
- Transformación ágil de las variables que necesita cada modelo.
- Registro y observabilidad de los modelos.
- Despliegue directo de cada modelo, comunicándose con el producto SaaS sin pasos intermedios.
04 · Evolución
De meses a un día
- 1Artesanal
Cada modelo se construía y desplegaba a mano: unos tres meses hasta producción.
- 2Sistematizado
Automatizamos y estandarizamos pasos del proceso, y el tiempo bajó a cerca de un mes.
- 3Plataforma
Con la plataforma, un modelo podía estar en producción en un día. El tiempo restante se va en explorar los datos y encontrar el mejor modelo.
05 · Resultados
Qué cambió
Resultados reales · sin cifras por confidencialidad- Reducción: Mucho menos tiempo para llevar un modelo a producción
- Aumento: Modelos entrenados
06 · Mi contribución
Lideré el cambio de proceso
- 01Diagnosticar
- Identificación del cuello de botella en la implementación de modelos.
- 02Diseñar
- Diseño del proceso de producción de modelos.
- 03Decidir
- Decisión de construir una plataforma propia en vez de adoptar una herramienta existente.
- 04Alinear
- Alineación del equipo en torno al nuevo flujo.
07 · Tecnologías