Engenheiro de dados sênior

Descrição: * Pós\-graduação em Engenharia de Dados, Ciência de Dados, Computação ou áreas correlatas; * Experiência sólida em ambiente AWS, incluindo EKS, Glue, Athena, IAM, Lambda, ECR, RDS e DynamoDB; * Conhecimento avançado em CI/CD e práticas DevOps; * Proficiência em Kubernetes; * Experiência consolidada em Spark (PySpark) e Delta Table; * Experiência comprovada em Web Crawling; * Domínio da linguagem Python e suas principais bibliotecas de manipulação de dados; * Vivência com Apache Airflow para orquestração de pipelines; * Conhecimento prático em Kafka; * Experiência com Terraform (IaC); * Experiência com Azure DevOps; * Atuação com Databricks e Snowflake; * Certificação e/ou cursos relevantes em Engenharia de Dados. * Projetar, desenvolver e implementar soluções de engenharia de dados altamente eficientes, escaláveis e seguras; * Atuar de forma estratégica e colaborativa com equipes multifuncionais para definir requisitos e direcionar a arquitetura de dados; * Implementar e otimizar processos de CI/CD para garantir automação, versionamento e entrega contínua; * Gerenciar e otimizar ambientes Kubernetes, com uso avançado das ferramentas AWS (como EKS); * Utilizar de forma aprofundada as ferramentas AWS Developer Tools CodeCommit, CodeBuild, CodeDeploy e CodePipeline; * Desenvolver e otimizar jobs Spark (PySpark) voltados ao processamento de grandes volumes de dados, garantindo performance e qualidade; * Implementar e manter Tabela Delta, assegurando consistência e rastreabilidade dos dados; * Criar e gerenciar Web Crawlers para extração e transformação de dados da web; * Configurar e manter pipelines de dados com Apache Airflow, garantindo a orquestração e o monitoramento de processos; * Implementar e administrar ambientes Kafka para streaming de dados em tempo real; * Gerenciar infraestrutura como código (IaC) utilizando Terraform, promovendo ambientes reprodutíveis e auditáveis; * Atuar com Databricks e Snowflake, otimizando armazenamento, performance e governança dos dados; * Contribuir para a melhoria contínua das práticas de engenharia de dados, propondo inovações e mentorando profissionais da equipe. 2511140202461868021