Sênior Data Engineer | Analytics Engineer

TECNOLOGIA – SÃO PAULO / SP **Sobre a vaga:** O Engenheiro de Dados Databricks será responsável por projetar, implementar e manter pipelines de dados escaláveis na plataforma Databricks. Esta função envolve trabalhar de perto com cientistas de dados, analistas e outras partes interessadas para garantir a qualidade dos dados, otimizar o desempenho e habilitar análises avançadas. **Responsabilidades:** * Projetar e desenvolver processos ETL e pipelines de dados usando Databricks. * Colaborar com funcionais e analistas para entender os requisitos de dados e entregar soluções. * Otimizar e ajustar clusters Databricks para desempenho e eficiência de custos. * Implementar verificações de qualidade de dados e garantir a integridade dos dados. * Desenvolver e manter documentação para pipelines de dados e processos. * Monitorar e solucionar problemas de pipelines de dados e gargalos de desempenho. * Manter\-se atualizado com as últimas tendências e melhores práticas em engenharia de dados e Databricks. **Qualificações:** * Bacharelado em Ciência da Computação, Tecnologia da Informação ou área relacionada. * Experiência comprovada como Engenheiro de Dados, com foco em Databricks e Spark. * Forte conhecimento em SQL e experiência com bancos de dados relacionais. * Proficiência em linguagens de programação como Python, Scala ou Java. * Experiência com plataformas em nuvem (por exemplo, AWS, Azure, Google Cloud) e seus serviços de dados. * Compreensão dos conceitos e arquitetura de data warehousing. * Excelentes habilidades de resolução de problemas e atenção aos detalhes. * Fortes habilidades de comunicação e capacidade de trabalhar de forma colaborativa em um ambiente de equipe. **Requisitos Técnicos:** * Experiência avançada com Databricks, incluindo criação e gerenciamento de notebooks, clusters, jobs e tarefas de automação. * Conhecimento aprofundado de Apache Spark, incluindo otimização e técnicas avançadas de performance. * Experiência com Databricks Delta Lake para otimização de armazenamento e gerenciamento de dados. * Conhecimento em segurança e governança de dados no Databricks, incluindo controle de acesso, auditoria e conformidade. * Habilidade em realizar troubleshooting avançado e resolução de problemas em ambientes Databricks **Diferenciais:** * Certificação Databricks é um diferencial. * Capacidade de implementar e gerenciar pipelines de dados contínuos usando Delta Live Tables * Experiência com Delta Lake e arquiteturas de data lakehouse. * Experiência com integração de Databricks com outras ferramentas de BI e análise, como Power BI, Tableau ou Looker. * Familiaridade com o uso de Databricks para machine learning e integração com bibliotecas como MLflow. * Familiaridade com Unity Catalog * Experiência em automação de deployment e integração contínua (CI/CD) no ambiente Databricks. **Perfil Desejado:** * Comunicativo * Independente * Senso de Dono **Informações adicionais:** * Localização: São Paulo – SP; * Modelo de trabalho Híbrido 2x na semana em SP – Shopping Cidade Jardim. **Se interessou pela vaga? envie seu currículo atualizado para:** **rh@hvarconsulting.com.br** **com a pretensão salarial e mencionando no título “Sênior Data Engineer \| Analytics Engineer****”**