Construindo um Data Lakehouse com Databricks na AWS: do Unity Catalog à Produção

Curso de ponta a ponta para construir e operar um Databricks Lakehouse de produção implantado na AWS, governança com Unity Catalog, Delta Lake (ACID, CDF, liquid clustering), ingestão com Auto Loader e Structured Streaming, transformação com Databricks Runtime/Photon, pipelines Lakeflow/DLT, warehouses serverless do Databricks SQL e Lakeview, trabalhos como código com asset bundles, expectativas de qualidade de dados, Delta Sharing e Marketplace, otimização de desempenho e de custo em DBU, CI/CD com Terraform e uma arquitetura de referência completa de capstone, com diagramas de arquitetura, casos reais de clientes, exemplos de precificação e questões de prática.

Intermediário12 Semanas17 LiçõesNuniversity
Começar

Contéudo do Curso

  1. 01Arquitetura Lakehouse no Databricks: Planos, Pilares e o Substrato AWS
  2. 02Fundação AWS para Databricks: Design de VPC, Bucket Raiz, PrivateLink, KMS e IAM
  3. 03Fundamentos do Unity Catalog: Metastore, Hierarquia, Grants, Storage Credentials e External Locations
  4. 04Transações Delta Lake na AWS: Anatomia do Log, Time Travel, CDF, Clustering e VACUUM
  5. 05Ingestão na AWS: Auto Loader, File Events, Kafka/MSK e Sinks Idempotentes
  6. 06Databricks Runtime, Photon e Clusters: DBR/LTS, Políticas, Pools e a Forma do Custo de Compute
  7. 07Lakeflow Declarative Pipelines (anteriormente Delta Live Tables): Expectations, Modes e a Decisão DLT vs Jobs
  8. 08Databricks SQL Warehouses e a Camada de Serviço: Serverless, Escalabilidade, Dashboards, BI e Federação
  9. 09Lakeflow Jobs (anteriormente Databricks Workflows): Multi-Task Jobs como Código, Triggers, Retries e a Matriz de Decisão do Scheduler
  10. 10Qualidade de Dados no Lakehouse da Databricks: Constraints, Expectations, Quarentena e Monitoramento
  11. 11Segurança no Unity Catalog: Controles de Linha e Coluna, Tags, Auditoria, Lineage e Segredos
  12. 12Compartilhamento de Dados na Databricks on AWS: OpenSharing, Marketplace e Lakehouse Federation
  13. 13Structured Streaming no Lakehouse da AWS: Triggers, Checkpoints, foreachBatch e Exactly-Once
  14. 14Otimização de Desempenho na Databricks/AWS: Liquid Clustering, Layout de Arquivos, Skew e Ajuste de Warehouse
  15. 15Otimização de Custo e Economia de DBU na AWS
  16. 16CI/CD para o Lakehouse Databricks na AWS: Declarative Automation Bundles, Terraform e GitHub Actions
  17. 17Arquitetura de Referência do Capstone: Observabilidade, Ativação de ML e o Plano de 90 Dias para Databricks na AWS

Lições: 17 · 12 Semanas