Engenheiro de dados - exp mdm

Descrição: Requisitos essenciais: * Experiência avançada em Python. * Conhecimento sólido em: * Databricks e Delta Lake. * PySpark para processamento de grandes volumes de dados. * SQL e modelagem de dados. * ETL/ELT e pipelines de dados. * Experiência prévia em projetos de Master Data Management (MDM) ou integrações de dados. * Conhecimento em técnicas de matching, fuzzy matching e deduplicação de registros. * Capacidade de implementar regras de negócios complexas em código. * Domínio de Git e metodologias ágeis. * Familiaridade com boas práticas de desenvolvimento, incluindo testes unitários e documentação. * Diferenciais: * Experiência em MDM na área da saúde. * Conhecimento em FHIR ou outros padrões de dados de saúde. * Experiência com Great Expectations para garantir a qualidade dos dados. * Conhecimento em frameworks de governança de dados. * Experiência com sistemas de mensageria (Kafka, Event Hubs). * Familiaridade com ferramentas de CDC (Change Data Capture). * Conhecimento em observabilidade (Databricks SQL Analytics, Grafana). * Experiência com APIs RESTful para exposição de dados. * Arquitetura de Modelagem de Dados: Desenvolver e implementar a arquitetura necessária para o MDM de Pacientes. * Documentação de Regras de Negócios: Especificar e documentar as regras de negócios que guiarão a unificação e o tratamento dos dados. * Pipelines de Processamento: Implementar pipelines de dados no Databricks para garantir a eficiência no processamento. * Lógicas de Matching e Deduplicação: Criar lógicas para matching, deduplicação e geração do golden record de pacientes. * Qualidade de Dados: Estabelecer fluxos para garantir a qualidade e validação dos dados. * Manutenção de Tabelas: Criar e manter tabelas integradas de acordo com as regras de negócios definidas. * Rotinas de Atualização: Implementar rotinas para atualização e sincronização dos dados. * Code Reviews e Mentoria: Participar de revisões de código e oferecer mentoria técnica para a equipe. * Colaboração com Stakeholders: Trabalhar junto aos stakeholders de negócios para refinar e validar regras e requisitos. 2512280202491937325