Data Engineer

Descrição da vaga de Engenheiro de Dados : Buscamos um Engenheiro de Dados qualificado para apoiar nosso projeto, projetando, construindo e otimizando entidades de dados e lógica de transformação na plataforma de dados Snowflake. Este profissional traduzirá requisitos de negócios em modelos de dados escaláveis, implementará pipelines de dados robustos e desenvolverá cálculos e transformações que permitam análises e geração de relatórios. Principais Responsabilidades : • Modelagem de Dados e Criação de Entidades o Projetar e construir entidades de dados Snowflake (por exemplo, tabelas, views, schemas) alinhadas aos requisitos de negócios e arquitetura. o Desenvolver e otimizar modelos dimensionais, modelos relacionais e estruturas de dados para casos de uso analíticos. o Garantir que os modelos de dados sigam as melhores práticas de desempenho, manutenção e escalabilidade. * Transformação de Dados e Desenvolvimento de Lógica o Implementar transformações SQL complexas, lógica de negócios e cálculos no Snowflake. o Desenvolver stored procedures, UDFs, tasks e pipelines reutilizáveis e de fácil manutenção, conforme necessário. o Traduzir requisitos funcionais em especificações técnicas para cálculos de dados e KPIs. * Ingestão e Orquestração de Dados o Criar e operar pipelines em lote e quase em tempo real para o Snowflake usando Estágios Externos (S3/ADLS/GCS), COPY INTO, Snowpipe/Snowpipe Streaming e ingestão de API (REST/JSON). o Orquestrar jobs com dbt Cloud Jobs/Databricks. o Lidar com dados semiestruturados (JSON/CSV/Parquet) com gerenciamento de evolução de esquema. * Desenvolvimento de Pipelines de Dados o Criar, manter e otimizar pipelines de dados ELT/ETL alimentando o Snowflake a partir de fontes internas e externas. o Colaborar com equipes de integração de dados para garantir a qualidade, integridade e confiabilidade dos dados. * Entrada Manual o Projetar e manter entrada manual controlada/substituições (tabelas de referência, tabelas de mapeamento, listas de permissão/bloqueio, registros de exceção). o Fornecer mecanismos seguros e auditáveis para entrada de dados (modelos de planilha validados, Planilhas do Snowflake ou aplicativos leves como Streamlit/Power Apps) que gravam em tabelas de gerenciamento com fluxo de trabalho de aprovação, versionamento e reversão. * Desempenho, Qualidade e Governança o Monitorar e ajustar o desempenho do Snowflake, incluindo otimização de consultas, dimensionamento do warehouse e uso de recursos. o Implementar verificações de qualidade de dados, regras de validação e processos de auditoria. o Garantir a adesão aos padrões de governança, segurança e conformidade de dados. o Manter a linhagem e a documentação dos dados (dbt docs) e publicar um dicionário/glossário de dados. o Configurar alertas para falhas de pipeline, desvios de dados e violações de SLA. * Colaboração * Trabalhar em estreita colaboração com analistas de negócios, modeladores de dados, arquitetos e gerentes de projeto para entregar soluções completas. * Participar de discussões de design, refinamento de requisitos e planejamento de sprints. Habilidades Técnicas Necessárias: * Snowflake (avançado): SQL, tarefas/fluxos, estágios, Snowpipe/Snowpipe Streaming, formatos de arquivo, otimização de desempenho, RBAC, políticas de mascaramento * ETL/ELT e Orquestração: cargas incrementais, CDC; dbt Cloud * SQL para transformações complexas e otimização de desempenho. * Experiência com controle de versão (Git) e práticas de CI/CD **Inglês avançado/Fluente** Habilidades Interpessoais Necessárias: * Forte senso de responsabilidade e atitude proativa * Habilidades analíticas e de resolução de problemas * Capacidade de trabalhar de forma independente e colaborativa em equipes multifuncionais * Excelentes habilidades de comunicação (inglês) * Trabalho em equipe e colaboração com stakeholders Habilidades Desejáveis: * Databricks * dbt * Power BI * Python para ingestão/automação (APIs, utilitários, validação de dados). * Conhecimento do setor de trading