Data engineer

**Descrição:** Comunicação eficaz é fundamental em projetos ágeis. Isso inclui a capacidade de transmitir ideias claramente, ouvir ativamente e fornecer feedback construtivo; Boa comunicação, relacionamento interpessoal e trabalho em equipe; Ser capaz de se adaptar rapidamente a novas situações e ajustar planos conforme necessário é uma habilidade valiosa; Raciocínio lógico e capacidade analítica; Implementar soluções de ETL/ELT e integração de dados entre sistemas e fontes de dados diversas; Atuação independente em projetos de dados, desde a identificação das necessidades das áreas pares até a modelagem e disponibilização de dados, mantendo alinhamento constante com stakeholders das áreas de Negócios, Ciências Dados e Engenharia; Experiência em trabalhar em projetos ágeis; Conhecimento no ecossistema Azure; Experiência básica com Azure DevOps, incluindo trabalho com Repos, branches, Pull requests, tarefas, acompanhamento de pipelines CI/CD e uso de GIT; Conhecimento em linguagens Python; Domínio em SQL, incluindo DDL e DML; Experiência com Azure Data Factory; Experiência com Azure Databricks, incluindo criação, inicialização e utilização de clusters, uso do Databricks Repos, execução de SQL e desenvolvimento em PySpark; Utilização de Azure Storage Accounts e Data Lake Store Gen 2; Experiência em projetos de ingestão e transformação de dados; Disponibilidade para atuação híbrida (3x presencial na semana na Vila Olímpia). **Qualificações desejáveis:** Experiência prévia com dados operacionais de chão de fábrica; Conhecimento em integração com sistemas MES, ERP ou SCADA; Inglês técnico para leitura de documentação; Conhecimento em tecnologias Kubernetes do Azure, como Azure Container Instance, Azure Kubernetes Services e Azure Container Apps; Experiência no desenvolvimento de APIs em Python usando Kubernetes e/ou Azure Functions. Redigir documentos de design técnico; Gerenciar o ambiente Databricks; Gerenciar componentes em nuvem da Azure; Desenvolver soluções utilizando (Java/Python/Spark/Scala); Configurar componentes de rede em ambientes híbridos; Definir boas práticas para armazenamento de dados relacionais e não relacionais; Implementar melhorias em ambientes de Data Lake e Data Warehouse; Implementar e gerenciar bancos de dados SQL e NoSQL; Definir e desenvolver soluções de DevOps, Docker e Kubernetes; Discutir e definir as melhores soluções para integrações de sistemas; Apoiar a criação de processos de governança de dados; Discutir as melhores soluções para apoiar a estratégia de BI de autosserviço na empresa. 251022020253318888