Construyendo un Data Lakehouse con Databricks en AWS: de Unity Catalog a Producción

Curso de extremo a extremo para construir y operar un Databricks Lakehouse de producción desplegado en AWS, gobernanza con Unity Catalog, Delta Lake (ACID, CDF, liquid clustering), ingesta con Auto Loader y Structured Streaming, transformación con Databricks Runtime/Photon, pipelines Lakeflow/DLT, warehouses serverless de Databricks SQL y Lakeview, trabajos como código con asset bundles, expectativas de calidad de datos, Delta Sharing y Marketplace, optimización de rendimiento y de costo en DBU, CI/CD con Terraform y una arquitectura de referencia completa de capstone, con diagramas de arquitectura, casos reales de clientes, ejemplos de precios y preguntas de práctica.

Intermedio12 Semanas17 LecciónsNuniversity
Comenzar

Contenido del Curso

  1. 01Arquitectura Lakehouse en Databricks: Planos, Pilares y el Sustrato AWS
  2. 02Fundamentos de AWS para Databricks: diseño de VPC, root bucket, PrivateLink, KMS e IAM
  3. 03Fundamentos de Unity Catalog: metastore, jerarquía, grants, storage credentials y external locations
  4. 04Transacciones Delta Lake en AWS: anatomía del registro, time travel, CDF, clustering y VACUUM
  5. 05Ingestión en AWS: Auto Loader, file events, Kafka/MSK y sinks idempotentes
  6. 06Databricks Runtime, Photon y clusters: DBR/LTS, políticas, pools y forma del coste de cómputo
  7. 07Lakeflow Declarative Pipelines (antes Delta Live Tables): expectations, modos y la decisión DLT frente a Jobs
  8. 08SQL warehouses de Databricks y la capa de servicio: serverless, escalado, dashboards, BI y federación
  9. 09Lakeflow Jobs (antes Databricks Workflows): multi-task jobs como código, triggers, reintentos y la matriz de decisión del scheduler
  10. 10Calidad de datos en el lakehouse de Databricks: restricciones, expectations, cuarentena y monitoreo
  11. 11Seguridad de Unity Catalog: controles de fila y columna, etiquetas, auditoría, lineage y secretos
  12. 12Intercambio de datos en Databricks sobre AWS: OpenSharing, Marketplace y Lakehouse Federation
  13. 13Structured Streaming en el lakehouse de AWS: triggers, checkpoints, foreachBatch y exactly-once
  14. 14Optimización del rendimiento en Databricks/AWS: liquid clustering, diseño de archivos, skew y ajuste de warehouses
  15. 15Optimización de costos y economía de los DBU en AWS
  16. 16CI/CD para el lakehouse de Databricks en AWS: Declarative Automation Bundles, Terraform y GitHub Actions
  17. 17Arquitectura de referencia del capstone: observabilidad, activación de ML y el plan de 90 días para Databricks en AWS

Lecciones: 17 · 12 Semanas