Engenheiro de Dados Sênior (Azure Databricks)

**Sobre a Oportunidade** Estamos em busca de um(a) **Engenheiro(a) de Dados Sênior** para integrar um time de alta performance em um projeto de grande escala e longo prazo. Você será peça\-chave na arquitetura e sustentação de uma plataforma de dados robusta, utilizando o que há de mais moderno no ecossistema **Azure Databricks**. Buscamos um perfil com sólida experiência em computação distribuída, automação e que queira atuar com governança de dados utilizando **Unity Catalog**. **Responsabilidades:** * **Arquitetura e Sustentação:** Projetar, desenvolver e manter pipelines de dados escaláveis utilizando a plataforma **Databricks Unity Catalog**. * **Engenharia de Dados:** Construir pipelines ETL/ELT robustos, realizando a ingestão de diversas fontes e transformando dados para atender a requisitos complexos de negócio. * **Otimização e Performance:** Desenvolver e otimizar jobs em **Apache Spark** para processamento de grandes volumes, focando em eficiência e performance. * **Inovação e Reuso:** Criar frameworks e bibliotecas reutilizáveis para acelerar o desenvolvimento e garantir a padronização técnica do time. * **Governança e Qualidade:** Implementar padrões de **Medallion Architecture** e garantir a integridade dos dados através de monitoramento e observabilidade (Datadog/Grafana). * **Colaboração Técnica:** Atuar em parceria com times de Produto e Analytics para traduzir necessidades de negócio em soluções técnicas de alto impacto. **Requisitos obrigatórios:** * **Experiência Sênior:** Sólida trajetória em Engenharia de Dados, com foco em **Azure Databricks e Apache Spark**. * **Domínio Técnico:** Proficiência em **Python (PySpark)** e **SQL (Spark SQL)**. * **Ecossistema Azure:** Experiência prática com **Azure Data Lake Storage (ADLS), Azure Data Factory e Azure Key Vault**. * **Arquitetura Moderna:** Conhecimento em **Delta Lake** e padrões de arquitetura **Medallion** (Bronze, Silver, Gold). * **DataOps:** Domínio de **Git** (estratégias de branch e PRs) e fluxos de **CI/CD** para pipelines de dados. * **Inglês:** Avançado/fluente. **O que te destaca:** * Experiência prática com **Unity Catalog** (Governança e Linhagem). * Conhecimento em **Infraestrutura como Código (Terraform/Terragrunt)**. * Certificações **Databricks** ou **Azure Data Engineer Associate**. * Experiência com processamento em tempo real (**Structured Streaming / Event Hubs**). Tem o perfil para esse desafio? Candidate\-se e venha fazer parte do nosso time! Pagamento: Até R$15\.000,00 por mês Pergunta(s) de seleção: * Possui inglês avançado/fluente? * Quantos anos de experiência você possui com Azure Databricks? * Qual seu nível prático com PySpark? * Você já implementou arquitetura Medallion (Bronze, Silver, Gold)? * Já trabalhou com Unity Catalog? * Qual é sua pretensão salarial mensal, em R$, em modelo PJ? Local do trabalho: Remoto