Sr. Data Engineer

Contratante: Avantti Tecnologia Local: São Paulo – SP \| Modelo híbrido Nível: Sênior Idioma: Inglês Avançado (obrigatório) A Avantti Tecnologia está em busca de um Sr. Data Engineer para atuar em projetos estratégicos de alta complexidade, envolvendo arquitetura de dados moderna, grandes volumes de informação e ambientes em nuvem. Procuramos um talento com forte background técnico, visão arquitetural e experiência sólida na construção de plataformas e pipelines escaláveis. Requisitos: **Requisitos Técnicos** Inglês Avançado para leitura, conversação e participação ativa em reuniões internacionais. Experiência: 12 a 16 anos (ou perfil com menor experiência, desde que altamente relevante). Cloud: Desenvolvimento de sistemas de dados em AWS, GCP ou Azure. Arquitetura de Dados: Construção prática de data lakes, lakehouses e data hubs. Ingestão: Experiência com Kafka, AWS Glue e formatos como Iceberg e Parquet. Streaming: Pipelines com Kafka, Flink ou ferramentas similares. Modelagem \& Orquestração: Domínio de SQL, dbt, Airflow, Glue, incluindo SCD e evolução de esquemas. Spark: Transformações, streaming, performance tuning e debugging via Spark UI. Programação: Proficiência em Python, Java e/ou Scala; SQL avançado. DevOps: Experiência com CI/CD, repositórios de código e práticas de deploy. Governança: Sólido conhecimento em qualidade, privacidade e segurança de dados. **Responsabilidades** Desenvolver e evoluir arquiteturas modernas de dados (data lakes, lakehouses, hubs). Construir pipelines de ingestão e processamento em larga escala, incluindo arquiteturas de streaming. Atuar em projetos críticos envolvendo modelagem, transformação e governança de dados. Implementar soluções em nuvem utilizando serviços nativos de AWS, GCP ou Azure. Garantir qualidade, segurança, rastreabilidade e confiabilidade dos dados em todas as etapas. Contribuir para boas práticas de DevOps, testes, versionamento e CI/CD. Realizar troubleshooting e otimizações avançadas em pipelines e jobs Spark. Colaborar com arquitetos, engenheiros e times de negócio para soluções escaláveis e eficientes. Participar de reuniões globais e discussões técnicas em inglês.