Engenheiro de Dados Sênior

**Código da Vaga:** 1388 ### **Empresa** ### **Área(s) de Atuação** TI \- Banco de Dados **Tecnologia(s):** fullstack Azure \+ Databricks ### **Descrição da Vaga** Período: inicial 3 meses, renovável por tempo indeterminado 100% remoto * **Resumo Profissional:** * Desenvolver e otimizar arquiteturas e pipelines de dados escaláveis, seguras e orientadas à governança, utilizando tecnologias modernas em nuvem (Azure) e plataformas de processamento distribuído (Databricks), garantindo alta disponibilidade, qualidade e integração com soluções analíticas e preditivas * **Responsabilidades Principais** * **Projetar, desenvolver, implementar e otimizar pipelines de dados (books)** para alimentar modelos preditivos e analíticos. * Criar e manter arquiteturas **medallion (Bronze, Silver, Gold)** em **Data Lake** e **Lakehouse**. * Orquestrar workflows complexos com **Apache Airflow** e práticas de **CI/CD** via **Azure DevOps**. * **Automatizar processos de ingestão, transformação e validação de dados**, garantindo qualidade, integridade e consistência. * Monitorar e solucionar problemas relacionados aos pipelines de dados. * Integrar soluções com **Delta Lake**, **Unity Catalog** e ferramentas de governança. * Documentar processos e garantir boas práticas de engenharia de dados. * Trabalhar em colaboração com times de **Data Science, Analytics e Engenharia** para entender requisitos e entregar soluções robustas. * Contribuir para a evolução da arquitetura de dados da empresa. * Apoiar iniciativas de **IA Generativa** e integração com **LLMs** para análises avançadas. ### **Requisitos** * **Experiência mínima:** 5\+ anos em engenharia de dados, com atuação comprovada em ambientes Azure e Databricks**.** * **Cloud:** Microsoft Azure (Data Factory, Synapse, Data Lake Gen2, Key Vault). * **Big Data**: Databricks, Apache Spark, Delta Lake. * **Linguagens:** Python, SQL (avançado), Scala (desejável). * **Ferramentas e Tecnologias:** * AKV (Azure Key Vault) – Gerenciamento seguro de segredos e chaves. * Kafka (Apache Kafka) – Plataforma de streaming distribuído para ingestão de dados em tempo real. * Git – Controle de versão e colaboração em código. * Azure DevOps – Integração contínua (CI) e entrega contínua (CD), gestão de pipelines e repositórios**.** * **Governança:** Unity Catalog, segurança de dados, versionamento. * **Integrações:** Desenvolvimento e consumo de APIs para integração entre sistemas**.** * **Certificações desejáveis:** * DP\-900 (Azure Data Fundamentals) * AZ\-900 (Azure Fundamentals) * Databricks Certified Data Engineer Associate * **Localização** São Paulo \- SP * **Modalidade de Trabalho**Remoto * **Nível Profissional** Consultor / Desenvolvedor Sênior * **Nível Acadêmico Mínimo** Ensino Superior Graduação Completo * **Tipo de Contrato** PJ