Consultor(a) Engenheiro(a) de Dados

**Sobre Nós** O **Grupo Houer** é uma das maiores empresas do Brasil que atua no segmento em consultoria e serviços empresariais, inovação e projetos de impacto. Atuamos no ramo da infraestrutura que impacta a vida de milhões de pessoas. Estruturamos e viabilizamos projetos de concessões, PPPs e de outras vertentes em diversas áreas de atuação por todas as regiões do Brasil. Entendemos que é preciso pensar no futuro e nos impactos que deixaremos para as próximas gerações. Nossas ações visam, sobretudo, a vontade de contribuir com um mundo melhor e mais desenvolvido. O Time Houer é composto por mais de 550 colaboradores unidos e engajados em um só propósito: transformar o mundo e impactar gerações. Nossa sede está localizada em Belo Horizonte \- Minas Gerais. Contamos com escritórios em todas as regiões do Brasil. Somos impulsionados por pessoas e pessoas movem o mundo! **Somos GPTW, uma das melhores empresas para se trabalhar.** Este reconhecimento é um reflexo do nosso compromisso com o bem\-estar dos nossos colaboradores e da nossa busca incessante por excelência e impacto em tudo o que fazemos. Buscamos **Engenheiro(a) de Dados** para construir, manter e otimizar nosso ecossistema de dados. O papel é crucial na criação de **pipelines robustos** e, principalmente, na implementação de mecanismos de **linhagem e rastreabilidade** que suportem o rigoroso processo de **certificação de origem de dados** exigido pelo nosso Organismo de Inspeção Acreditada (OIA). Esta função garante a **integridade, qualidade e auditabilidade** de todo o fluxo de Big Data. **Responsabilidades:** * **Pipeline e Big Data:** Construir e otimizar pipelines de dados escaláveis (ETL\-V) usando **Spark** e **Delta Lake**. * **Transformação e Qualidade:** Implementar lógica de transformação e modelos analíticos com **dbt (Data Build Tool)** nas camadas Preparation, Public e Trilhas. * **Orquestração:** Projetar e gerenciar fluxos de trabalho resilientes utilizando **Apache Airflow**. * **Governança e Linhagem:** Implementar e manter **Open Metadata** e **Hive** para registrar metadados e **linhagem de dados fim a fim**, vital para a certificação. * **Certificação (OIA):** Desenvolver controles de auditoria, **testes de consistência** (data reconciliation) e documentação técnica para comprovar a origem e integridade dos dados, das fontes ao BI (PostgreSQL/Metabase). * **Infraestrutura Analítica:** Otimizar o PostgreSQL para consumo por Business Intelligence, garantindo aderência aos requisitos de negócios. Requisitos Técnicos Mandatórios * Experiência comprovada como **Engenheiro(a) de Dados**. * Proficiência em **Python** e **SQL avançado**. * Conhecimento profundo de **Apache Spark** e **Delta Lake**. * Experiência prática com **dbt (Data Build Tool)**. * Domínio na criação e gestão de DAGs no **Apache Airflow**. * Familiaridade com conceitos e ferramentas de **Governança de Dados** e **Linhagem de Dados** (Data Lineage). * Formação superior em TI ou área correlata. * Conhecimento robusto em arquitetura de sistemas distribuídos e segurança de dados. Diferenciais * Governança e Big Data: Experiência com Arquitetura Data Lake (Delta Lake, Hudi ou Iceberg) e padrões de arquitetura medallion para garantia da qualidade dos dados. * Integração de Sistemas Legados: Conhecimento da arquitetura e comportamento de Sistemas Legados (Silos/Mainframe) para garantir a extração e ingestão correta de dados críticos na camada Raw. * Vivência anterior no setor público ou em sistemas de alta complexidade regulatória/auditoria. * Controles de Auditoria e Metadados: Vivência em ambientes de alta complexidade regulatória (Setor Público, Financeiro) e uso de ferramentas de Metadados e Linhagem (Open Metadata ou similares) para rastreabilidade e certificação (ISO/IEC 27001\). * Experiência com **Open Metadata** ou similares. * Infraestrutura Cloud Nativa: Conhecimento prático em ambientes Cloud (AWS, GCP ou Azure) e orquestração de contêineres (Docker/Kubernetes). **PARCERIAS** * Gympass * Universidade corporativa * Programa de parcerias de desconto (psicólogos, nutricionistas,faculdades, contabilidade e etc.) * Cultura humanizada e colaborativa. Gostaria de trabalhar em uma grande empresa que seu objetivo é **impactar positivamente a vida das pessoas**? Então venha com a gente construir novas experiências! Cadastre\-se em nossa oportunidade e venha fazer parte do Grupo Houer que tem paixão por inovação e projetos de impacto.