Ciencia de datos de principio a fin: del ETL al MLOps
La inteligencia artificial ha popularizado los modelos, pero un modelo útil nunca aparece por arte de magia. Detrás hay datos que deben localizarse, limpiarse, transformarse, analizarse y vigilarse cuando el sistema ya está funcionando. Esa cadena completa es la ciencia de datos. Entenderla permite distinguir una demostración llamativa de una solución utilizable. También explica por qué el algoritmo suele ocupar menos tiempo que la preparación del dato, la validación y el mantenimiento posterior.
ETL y preprocesado: convertir datos dispersos en información utilizable
El ciclo comienza con la obtención de datos desde bases de datos, sensores, aplicaciones, hojas de cálculo, APIs o documentos. El proceso clásico se denomina ETL: extracción, transformación y carga. Primero se recupera la información; después se corrige, combina y adapta; finalmente se almacena en un repositorio preparado para el análisis.
En arquitecturas modernas también aparece ELT. Los datos se cargan primero en un lago o almacén y se transforman después, aprovechando la capacidad de cálculo de la plataforma. La elección depende del volumen, la latencia, la seguridad y el control requerido.
El preprocesado trata valores ausentes, duplicados, formatos incoherentes y variables categóricas. También puede exigir normalización, anonimización o creación de nuevas características. Un error en esta fase se propaga a todo el proyecto. Por eso la procedencia, calidad y representatividad de los datos forman parte de las obligaciones de gobernanza previstas para determinados sistemas de alto riesgo en el Reglamento europeo de inteligencia artificial.
Fundamentos estadísticos para no confundir correlación con conocimiento
La ciencia de datos no consiste únicamente en programar. Su base es estadística: distribuciones, muestreo, probabilidad, estimación, intervalos de confianza, contrastes de hipótesis y relaciones entre variables. Sin estos conceptos es fácil obtener un resultado técnicamente correcto, pero interpretarlo mal.
Un ejemplo habitual es confundir correlación con causalidad. Dos variables pueden evolucionar juntas sin que una provoque la otra. También puede existir una tercera variable que explique ambas. Otro riesgo es trabajar con una muestra sesgada y asumir que representa a toda la población.
Antes de entrenar conviene realizar un análisis exploratorio. Medias, medianas, dispersión, percentiles, valores atípicos y visualizaciones sencillas permiten detectar problemas que una métrica final podría ocultar. Esta fase también ayuda a formular una hipótesis útil y a decidir qué variable debe predecirse.
El criterio estadístico resulta especialmente importante con pocos datos, clases desequilibradas o consecuencias relevantes. Un modelo con un 95 % de acierto puede ser inútil si la clase importante aparece únicamente en el 5 % de los casos.
Modelado y validación: medir si el sistema generaliza
El modelado consiste en elegir un algoritmo, entrenarlo y ajustar sus parámetros. No siempre se necesita aprendizaje profundo. Una regresión, un árbol de decisión o un modelo de agrupamiento puede resolver el problema con menor coste y mayor facilidad de explicación.
La validación comprueba si el sistema funciona con datos que no ha visto. Normalmente se separan conjuntos de entrenamiento, validación y prueba. Otra opción es la validación cruzada, que repite el proceso con distintas particiones para obtener una estimación estable. La documentación de scikit-learn la presenta como una técnica para estimar la capacidad de generalización.
La métrica debe responder al objetivo real. En clasificación pueden utilizarse precisión, exhaustividad, F1 o área bajo la curva; en regresión, error absoluto o cuadrático. Elegir únicamente la cifra más alta puede inducir a error.
También hay que evitar la fuga de datos: información del conjunto de prueba que termina influyendo en el entrenamiento. Integrar transformaciones y modelo en una pipeline reproducible reduce ese riesgo.
MLOps: el modelo no termina cuando se despliega
Un modelo validado todavía no es un servicio fiable. Hay que versionarlo, empaquetarlo, desplegarlo, observar su rendimiento y poder sustituirlo sin interrumpir el sistema. Ese conjunto de prácticas se conoce como MLOps y aplica ideas de DevOps al aprendizaje automático.
La automatización puede abarcar pruebas del código, controles de calidad de los datos, entrenamiento, registro de experimentos, aprobación y despliegue. Las plataformas modernas también permiten comparar versiones y regresar a una anterior cuando aparece un problema. Microsoft resume el ciclo en entrenamiento, empaquetado, validación, despliegue, monitorización y reentrenamiento en su documentación técnica.
La monitorización es crítica porque el entorno cambia. Puede variar el comportamiento de los usuarios, el significado de una variable o la distribución de los datos. Es lo que se conoce como deriva. Un modelo que funcionaba bien puede degradarse sin producir un error visible.
MLOps no es simplemente subir un modelo a la nube. Es convertir un experimento en un proceso trazable, repetible y controlado durante toda su vida útil.
Python, R, SQL y visualización: qué herramientas se utilizan
Python domina muchos proyectos por su ecosistema: pandas para manipular datos, scikit-learn para aprendizaje automático, PyTorch o TensorFlow para redes neuronales y Matplotlib o Plotly para gráficos. R mantiene una posición fuerte en estadística e investigación. SQL sigue siendo imprescindible porque gran parte de los datos empresariales reside en bases relacionales.
A estas tecnologías se suman notebooks, servicios cloud, plataformas como Databricks, orquestadores como Airflow y soluciones de visualización como Power BI, Tableau o Looker. No existe una combinación universal. La arquitectura debe ajustarse al proyecto, al equipo y a sus requisitos de gobierno.
La visualización no debería llegar únicamente al final. Sirve para explorar datos, detectar anomalías, comparar modelos y comunicar resultados. Un gráfico adecuado puede mostrar una distribución, tendencia o relación que quedaría escondida en una tabla.
Conviene evitar paneles saturados y efectos decorativos. Una buena visualización responde a una pregunta concreta, utiliza escalas honestas y deja claro qué representa cada variable. Como ocurre con el modelado, más complejidad no implica necesariamente más información.
Conclusión
La ciencia de datos es un ciclo, no una colección de algoritmos. Empieza con la calidad y el contexto del dato, continúa con estadística, modelado y validación, y solo se completa cuando el sistema puede desplegarse y mantenerse con garantías. En plena expansión de la IA y de las grandes infraestructuras de computación, esa visión integral es imprescindible. ¿En qué fase crees que fracasan más proyectos: en los datos, en el modelo o al llevarlo a producción?
