Construyendo un Data Lakehouse con Databricks en AWS: de Unity Catalog a Producción
Curso de extremo a extremo para construir y operar un Databricks Lakehouse de producción desplegado en AWS, gobernanza con Unity Catalog, Delta Lake (ACID, CDF, liquid clustering), ingesta con Auto Loader y Structured Streaming, transformación con Databricks Runtime/Photon, pipelines Lakeflow/DLT, warehouses serverless de Databricks SQL y Lakeview, trabajos como código con asset bundles, expectativas de calidad de datos, Delta Sharing y Marketplace, optimización de rendimiento y de costo en DBU, CI/CD con Terraform y una arquitectura de referencia completa de capstone, con diagramas de arquitectura, casos reales de clientes, ejemplos de precios y preguntas de práctica.
Intermedio12 Semanas17 LecciónsNuniversity
ComenzarContenido del Curso
- 01Arquitectura Lakehouse en Databricks: Planos, Pilares y el Sustrato AWS
- 02Fundamentos de AWS para Databricks: diseño de VPC, root bucket, PrivateLink, KMS e IAM
- 03Fundamentos de Unity Catalog: metastore, jerarquía, grants, storage credentials y external locations
- 04Transacciones Delta Lake en AWS: anatomía del registro, time travel, CDF, clustering y VACUUM
- 05Ingestión en AWS: Auto Loader, file events, Kafka/MSK y sinks idempotentes
- 06Databricks Runtime, Photon y clusters: DBR/LTS, políticas, pools y forma del coste de cómputo
- 07Lakeflow Declarative Pipelines (antes Delta Live Tables): expectations, modos y la decisión DLT frente a Jobs
- 08SQL warehouses de Databricks y la capa de servicio: serverless, escalado, dashboards, BI y federación
- 09Lakeflow Jobs (antes Databricks Workflows): multi-task jobs como código, triggers, reintentos y la matriz de decisión del scheduler
- 10Calidad de datos en el lakehouse de Databricks: restricciones, expectations, cuarentena y monitoreo
- 11Seguridad de Unity Catalog: controles de fila y columna, etiquetas, auditoría, lineage y secretos
- 12Intercambio de datos en Databricks sobre AWS: OpenSharing, Marketplace y Lakehouse Federation
- 13Structured Streaming en el lakehouse de AWS: triggers, checkpoints, foreachBatch y exactly-once
- 14Optimización del rendimiento en Databricks/AWS: liquid clustering, diseño de archivos, skew y ajuste de warehouses
- 15Optimización de costos y economía de los DBU en AWS
- 16CI/CD para el lakehouse de Databricks en AWS: Declarative Automation Bundles, Terraform y GitHub Actions
- 17Arquitectura de referencia del capstone: observabilidad, activación de ML y el plan de 90 días para Databricks en AWS
Lecciones: 17 · 12 Semanas