Azure Data Engineer - Inglês

A **Capco** é uma consultoria global de tecnologia e negócios, focada no setor de serviços financeiros e energia, somos apaixonados por ajudar nossos clientes, temos 40 escritórios nas Américas, Europa e Ásia\-Pacífico! Se criatividade e inovação são sua paixão, a Capco é ideal para você. Vamos te apoiar e ajudar a acelerar sua carreira! Estamos buscando um(a) **Engenheiro(a) de Dados Azure** necessário(a) para construir pipelines de dados confiáveis e escaláveis que realizem ingestão, transformação e carregamento de dados corporativos em um Banco de Dados de Grafos RDF. Este(a) profissional terá foco em integração de dados nativa do Azure (por exemplo, Azure Data Factory) e streaming/mensageria (por exemplo, Kafka) para suportar conjuntos de dados de alta qualidade, prontos para grafos, para um MVP e futura expansão corporativa. **Responsabilidades:** * Projetar e construir pipelines batch e de streaming no Azure para ingerir dados de arquivos, APIs, bancos de dados e fluxos de eventos. * Desenvolver e operar pipelines no Azure Data Factory (ADF), incluindo agendamento, parametrização, tratamento de erros e monitoramento. * Implementar padrões de ingestão/processamento de streaming baseados em Kafka (tópicos, consumidores/produtores, evolução de schema) para suportar feeds quase em tempo real, quando necessário. * Realizar transformações e modelagem de dados para produzir saídas compatíveis com RDF (por exemplo, entradas para mapeamento de entidades/relacionamentos), garantindo consistência, rastreabilidade (lineage) e reprodutibilidade. * Trabalhar em parceria com modeladores de ontologias/grafos para alinhar as saídas dos pipelines aos esquemas de grafos, identificadores e abordagens de resolução de vínculos. * Estabelecer verificações de qualidade de dados (completude, validade, duplicidade), logs e runbooks operacionais. * Apoiar práticas de DevOps: CI/CD para artefatos de pipelines, promoção entre ambientes e dashboards/alertas operacionais. * Contribuir para a documentação técnica: mapeamentos origem\-destino, especificações de pipelines e notas de implantação. **Requisitos:** * Mais de 3 anos construindo pipelines de dados em produção no Azure, com forte experiência prática em ADF. * Experiência com Kafka (ou tecnologia equivalente de streaming/mensageria) em implementações reais. * Forte conhecimento em SQL e pelo menos uma linguagem de programação (preferencialmente Python). * Sólido entendimento de ETL/ELT, conceitos de modelagem de dados e suporte operacional de pipelines (monitoramento, reprocessamentos, SLAs). * Inglês avançado/fluente **Desejaveis:** * Familiaridade com conceitos de RDF/Knowledge Graph (triplas, IRIs, formatos de serialização como Turtle/JSON\-LD, SPARQL). * Experiência com integração a bancos de dados de grafos (por exemplo, Stardog, GraphDB, Neptune) ou camadas semânticas. * Experiência com serviços Azure comumente utilizados em pipelines (por exemplo, ADLS Gen2, Key Vault, Functions, Fabric). **Certificações:** * Microsoft Certified: Azure Data Engineer Associate (DP\-203\) * Microsoft Certified: Azure Fundamentals (AZ\-900\) * Microsoft Certified: Azure Developer Associate (AZ\-204\) (útil para Functions/integração) * Microsoft Certified: DevOps Engineer Expert (AZ\-400\) (CI/CD \+ operações de plataforma) * Confluent Certified Developer for Apache Kafka (CCDAK) ou certificação equivalente em Kafka * Qualquer treinamento/certificação em Web Semântica / Knowledge Graph (treinamentos de fornecedores como Stardog ou outras plataformas de grafos são um diferencial) . **POR QUE CAPCO:** Na **Capco** promovemos uma cultura inclusiva. Valorizamos a diversidade em todas as suas expressões. Pensamos, em conjunto, sempre em ações diversas de inclusão e de responsabilidade social através de comitês internos geridos pela nossa comunidade interna, como os grupo de Mulheres, Pessoas Com Deficiência, Pessoas Negras, LGBTQIAPN\+, Parentalidade, Gerações, entre outros. Nossas oportunidades são trabalhadas para todos(as)! **\#LifeAtCapco** **PRÓXIMOS PASSOS:** * Se você está ansioso(a) para progredir sua carreira conosco, candidate\-se e aguarde o contato de um de nossos recrutadores!