O Delta Live Tables foi renomeado para SDP. Este mini-curso aprofunda muito mais que Associate e Professional tocam no tema — Expectations, medallion declarativo, configuração YAML com Pydantic, Volumes e Schemas no Unity Catalog. Construído bilíngue desde o início.
Mesma ideia, escopo mais amplo: pipelines declarativos que cuidam de dependências, qualidade e operação por você.
O Databricks renomeou Delta Live Tables para Spark Declarative Pipelines (SDP) e abriu o runtime. Mesmo modelo declarativo — você define o que o pipeline faz, não como — com suporte de engine mais amplo. Se você usava DLT, o modelo mental se mantém. Se não usava, esse é o ponto mais limpo pra começar.
Cada aula tem notebook + guia de estudo + simulado em cenário, em PT e EN.
Por que Delta é a camada de storage que faz tudo funcionar. Transaction log, ACID, particionamento, time travel.
A base de pipelines streaming-ish. Schema enforcement, schema evolution, modo file notification.
Como o SDP funciona por baixo, como decide o que computar, o que é declarativo e o que não é.
expect / expect_or_drop / expect_or_fail. Onde colocar, como afetam lineage, como alertar em violações.
Desenhando Bronze com SDP. Quando usar streaming tables vs materialized views. Padrões de schema e metadata.
Limpeza, deduplicação, current-state tables, transformações estilo CDC com primitivas do SDP.
Modelando Gold pra consumo BI com SDP: fatos, dimensões, agregações chave.
Configurar pipelines via YAML, validar config com Pydantic, configs cientes de ambiente.
Como o SDP interage com UC. Volumes pra raw landing, schemas pra governança, permissões e lineage.
SDP faz parte da nossa família de 6 cursos. É o upsell técnico natural depois do Associate.
Sim — DLT foi renomeado pra SDP e ficou mais amplo. Os padrões que você usava em DLT se aplicam aqui. A gente começa pela API SDP nova, pra você aprender o que vai usar daqui pra frente.
Não obrigatoriamente. Você precisa estar confortável com PySpark, Delta e a ideia de medallion. Se não tem isso ainda, faz PySpark Free + Associate primeiro.
SDP aparece brevemente na prova Associate. Este mini-curso vai 10x mais fundo do que a prova testa. Vale se você for usar SDP no trabalho; é overkill se você só quer passar.
A maior parte do curso sim. Algumas features avançadas (compute classes, opções serverless) precisam de workspace pago. Cada aula deixa claro o que precisa.