Engenheiro de dados sênior

Descrição: Estamos à procura de um(a) Engenheiro de Dados Sênior em Cloudera. Se você deseja ser nosso Especialista construindo e gerenciando soluções robustas de Big Data essa vaga é para você! Responsabilidades e atribuições * Implementar e gerenciar arquiteturas de Big Data na plataforma Cloudera. * Configurar pipelines de dados utilizando Apache Spark, Livy e NiFi. * Garantir a governança de dados por meio do Apache Ranger e Cloudera Navigator. * Estruturar e organizar Data Lakes em camadas para otimizar o processamento e consumo de dados. * Definir, criar e manter um catálogo de dados centralizado, assegurando a documentação completa dos ativos de dados, rastreabilidade, e compliance com políticas de governança; Colaborar com equipes de Data Science e Engenharia para integração de soluções de IA e Machine Learning. * Requisitos e qualificações * Experiência avançada na Cloudera Data Platform (CDP), Cloudera Manager e Cloudera Navigator, em ambientes de nuvem e on\-premises. * Domínio na criação de Data Lakes estruturados em camadas (Bronze, Prata e Ouro). * Experiência em Python e Apache Spark para processamento de dados em larga escala. * Conhecimento em Apache Ranger para gestão de permissões e governança. * Uso do Hive e HUE para consultas e interação com dados. * Experiência com Apache NiFi para automação e integração de fluxos de dados. * Conhecimento em Livy para gerenciamento e envio de trabalhos Spark em ambientes distribuídos. * Experiência em realizar treinamentos e apresentações técnicas. * Habilidades de levantamento negocial e de dados, facilitando o entendimento das necessidades do cliente e a definição de soluções técnicas. 2510230202201339760