Data Engineer

Excelente! Essa é uma descrição bem detalhada. Vamos organizá\-la em um formato de *job description* mais padronizado e atraente, dividindo\-a em seções claras. ### **Engenheiro(a) de Dados Sênior** Estamos em busca de um(a) Engenheiro(a) de Dados Sênior talentoso(a) e proativo(a) para se juntar à nossa equipe de engenharia de dados. Você será fundamental na construção e manutenção da nossa infraestrutura de dados escalável e robusta, garantindo que os dados sejam acessíveis, confiáveis e seguros. Se você possui paixão por dados, expertise em nuvem Azure e Snowflake, e busca um ambiente desafiador, essa oportunidade é para você! **Responsabilidades:** * Colaborar com o arquiteto de dados no design e construção de *pipelines* de dados e soluções de armazenamento escaláveis e eficientes. * Integrar diversas fontes de dados, incluindo *streams* em tempo real, para assegurar uma coleta de dados abrangente e precisa. * Projetar, construir e manter *pipelines* de dados escaláveis utilizando **Azure Data Factory (ADF)** para orquestrar processos ETL/ELT, garantindo movimentação e transformação de dados confiáveis e eficientes. * Administrar e otimizar ambientes **Snowflake**, incluindo ajuste de performance de consultas, otimização de armazenamento e garantia de integridade e segurança dos dados. * Implementar processos de validação e limpeza de dados para manter altos padrões de qualidade de dados. * Garantir a segurança dos dados e a conformidade com regulamentações e padrões relevantes. * Monitorar e otimizar o desempenho do processamento de dados para atender aos requisitos do projeto. * Trabalhar em estreita colaboração com o Arquiteto de Dados, cientistas de dados e outras partes interessadas para entender as necessidades de dados e fornecer soluções. * Criar e manter documentação abrangente para processos de dados, infraestrutura e fluxos de trabalho. * Identificar e resolver prontamente problemas relacionados a dados para garantir o fluxo de dados ininterrupto. * Manter\-se atualizado com as mais recentes tecnologias e práticas recomendadas de engenharia de dados, propondo soluções inovadoras para aprimorar a infraestrutura de dados. **Qualificações Essenciais:** * Bacharelado em Ciência da Computação, Tecnologia da Informação ou área relacionada. * Experiência comprovada como Engenheiro(a) de Dados Sênior, com forte compreensão de arquitetura de dados e princípios de gerenciamento de dados. * **Proficiência primária em nuvem Azure:** Experiência prática com recursos como Azure Storage, Azure SQL Database, Azure Synapse e capacidade de solucionar problemas específicos do Azure. * **Proficiência em Snowflake:** Forte conhecimento em design de esquema, otimização de consulta, ajuste de desempenho e uso de recursos como armazéns virtuais, microparticionamento e funções de segurança. * **Experiência comprovada em Azure Data Factory (ADF):** Habilidade em design, construção e manutenção de *pipelines* de dados, com fortes conhecimentos em solução de problemas relacionados ao ADF. * Proficiência em **SQL, Python** e *frameworks* de processamento de dados como Apache Spark e Hadoop. * Experiência prática com APIs REST e manipulação de *payloads* JSON para ingestão e integração de dados. * Forte compreensão da modelagem de dados relacionais, incluindo restrições, chaves estrangeiras, tipos de dados e princípios de normalização de banco de dados. * Habilidade em design e construção de integração de sistema para sistema, com experiência prática em controle de versão usando **GitHub**. * Fortes habilidades analíticas e de resolução de problemas, com capacidade de trabalhar com conjuntos de dados complexos. * Excelentes habilidades de comunicação e colaboração, com capacidade de trabalhar efetivamente em um ambiente de equipe. * Alta atenção aos detalhes e comprometimento com a precisão e qualidade dos dados. * Adaptabilidade a mudanças nos requisitos do projeto e capacidade de trabalhar em um ambiente de ritmo acelerado. **Diferenciais:** * Mestrado na área. * Experiência com outras plataformas de nuvem (ex: AWS, Google Cloud). * Certificações relevantes em Azure e/ou Snowflake.