Engenheiro(a) de Dados Pleno

**VEM CONHECER A CARBIGDATA!** Somos a maior plataforma de bigdata do mercado de veículos. Nossos produtos possuem foco na localização de veículos roubados, furtados e na verdadeira situação do bem localizado. Com foco em big data analytics, atuamos nos principais players do mercado automotivo como bancos, financeiras, locadoras e seguradoras. **DESCRIÇÃO DA VAGA** Sua missão será estruturar e evoluir pipelines de dados robustos, confiáveis e escaláveis. No dia a dia, você atuará na ingestão, transformação e orquestração de grandes volumes de dados, garantindo disponibilidade, performance e qualidade para análises, produtos e modelos de machine learning. **ATIVIDADES DO DIA A DIA:** * Desenvolvimento e manutenção de pipelines de dados para cenários Batch e Streaming. * Implementação de rotinas de ingestão de dados em tempo real utilizando mensageria (Kafka, RabbitMQ ou serviços equivalentes). * Construção de transformações complexas (ETL/ELT) garantindo consistência e qualidade dos dados. * Modelagem, otimização e gerenciamento de bancos relacionais (especialmente PostgreSQL). * Criação e manutenção de DAGs no Apache Airflow para orquestração de processos. * Processamento distribuído utilizando Apache Spark (PySpark). * Aplicação de práticas de observabilidade, versionamento, documentação e testes automatizados. * Atuação com ferramentas e serviços de dados no ecossistema Azure. * Participação em metodologias ágeis (SCRUM ou similares). **REQUISITOS E QUALIFICAÇÕES:** * Linguagem: **Python (avançado)**. * Banco de Dados Relacional: **PostgreSQL** (modelagem, otimização e administração básica). * Processamento Distribuído: **Apache Spark / PySpark**. * Orquestração: Experiência comprovada com **Apache Airflow**. * Construção de pipelines **Batch e Streaming**. * Mensageria: **Kafka**, **RabbitMQ** ou serviços semelhantes. * Experiência com estratégias de **Cache** para performance. * Experiência no ecossistema **Azure** (ADF, ADLS, Synapse ou similares). * Controle de versão com **Git**. * Boas práticas e testes automatizados aplicados a pipelines de dados. * Metodologias ágeis (SCRUM ou Kanban). **DIFERENCIAIS** * Conhecimento em **Java** e/ou **Scala**. * Noções de arquitetura distribuída, programação reativa e microsserviços. * Experiência com tecnologias de mensageria (Kafka, RabbitMQ, Event Hubs/Service Bus). * Infraestrutura como código: **Terraform** ou ARM. * Conhecimento em **Docker**. NOSSOS BENEFÍCIOS * Vale Refeição / Alimentação * Plano de Saúde (Sulamérica) * Plano Odontológico * Dayoff no mês do aniversário * Seguro de vida * Home\-office Tipo de vaga: Efetivo CLT Benefícios: * Assistência médica * Assistência odontológica * Auxílio\-creche * Trabalho remoto * Vale\-refeição Pergunta(s) de seleção: * Qual valor da sua pretensão salarial (CLT)? * Tem disponibilidade para atuar em modelo remoto? Local do trabalho: Remoto