Engenheiro de Dados Sênior

? Propósito da Posição Projetar, construir e escalar a arquitetura de dados da organização, garantindo **pipelines resilientes**, **dados confiáveis**, **alta performance**, **observabilidade** e **governança aplicada**. A posição é chave para viabilizar **analytics avançado, IA e decisões estratégicas orientadas por dados**, atuando como referência técnica e acelerando a maturidade do ecossistema de dados. ? Principais Responsabilidades * Projetar e desenvolver **pipelines de dados escaláveis** (batch e streaming), com foco em **resiliência, performance e custo\-eficiência**. * Liderar o **desenho técnico de Data Lakes, Data Warehouses, Lakehouse e Data Mesh**, garantindo aderência a padrões corporativos e boas práticas de governança. * Implementar processos de **ingestão, transformação e orquestração** de grandes volumes de dados estruturados e não estruturados. * Garantir **linhagem, catálogo, metadados e documentação técnica**, atuando em parceria com Data Owners e Data Stewards. * Construir e manter **testes automatizados de qualidade de dados**, assegurando validade, completude, consistência, integridade e conformidade. * Otimizar **modelagem, consultas e custos** em motores analíticos como BigQuery, Snowflake, Redshift, Databricks, Synapse, entre outros. * Estruturar **camadas confiáveis de dados (curated/gold layers)** para consumo analítico, BI e IA. * Atuar como **referência técnica em squads multidisciplinares**, apoiando times de produto, ciência de dados e áreas de negócio. * Implementar **observabilidade de dados**, com monitoramento, logs, métricas, alertas e definição de SLAs/SLOs de dados. * Avaliar, recomendar e padronizar **ferramentas, frameworks e arquiteturas**, garantindo escalabilidade, segurança e compliance. * Mentorar e desenvolver profissionais do time, promovendo **boas práticas, padronização e evolução técnica contínua**. ?️ Stack Técnica (Hard Skills) Arquitetura Estratégia de Dados * Data Lake, Data Warehouse, Lakehouse * Data Mesh, Data Mesh Federado, Data Fabric * Domain\-Driven Data Pipelines Ingestão Pipelines * ETL / ELT, CDC, Streaming * Integração via APIs, Webhooks, eventos e filas Orquestração * Airflow, Prefect, Dagster, DBT Cloud * Dataplex, Data Factory, Step Functions Transformação Processamento * SQL avançado * Python, Spark (PySpark / Scala) * DBT (Core / Cloud), Dataform * Databricks, Dataproc, notebooks analíticos Processamento em Larga Escala * BigQuery, Databricks, Hadoop * Dataflow, Dataproc, Glue, EMR * Delta Lake, arquitetura Lakehouse Streaming Mensageria * Kafka, Pub/Sub, Kinesis * Flink, Spark Structured Streaming Governança Qualidade de Dados * Catálogo, linhagem e classificação de dados * Data Quality e Data Contracts * Ferramentas como: Great Expectations, Soda, DBT Tests, OpenLineage, Dataplex, Purview, Collibra DevOps Infraestrutura * Terraform e infraestrutura como código * CI/CD (GitHub Actions, GitLab CI, Jenkins, Cloud Build) * Docker, Kubernetes, Helm * Monitoramento: Prometheus, Grafana, Cloud Monitoring Modelagem Performance * Data Modeling (Kimball, Star/Snowflake) * Particionamento, clusterização * Tuning de queries, caches e otimização de custos * Diferenciais para o Nível Sênior * Liderança técnica em **arquiteturas distribuídas e projetos de alta complexidade**. * Experiência com **alta volumetria**, pipelines críticos e dados sensíveis (financeiro, saúde, benefícios, serviços). * Vivência em ambientes **regulados** (LGPD, BACEN, SOX, ISO 27001, GDPR). * Capacidade de desenhar soluções **end\-to\-end**, equilibrando custo, performance e segurança. * Experiência com **dados em tempo real, IA aplicada a pipelines, feature stores e governança para IA**. * Definição e gestão de **SLAs, SLOs e Data Contracts entre domínios**. * Comunicação técnica e executiva, com forte alinhamento ao negócio. * Atuação consistente como **mentor(a) e formador(a) de times de dados de alta performance**. ? Soft Skills * Comunicação clara e assertiva com times técnicos e liderança executiva. * Visão sistêmica e foco em escalabilidade, qualidade e impacto no negócio. * Capacidade de atuar em **incidentes críticos**, com análise de causa raiz. * Perfil colaborativo, proativo e orientado a resultados. * Organização, disciplina e excelência em documentação técnica. * Tomada de decisão baseada em dados, métricas e evidências. ? Entregáveis Esperados * Arquitetura de dados e pipelines **documentados, versionados e padronizados**. * Pipelines automatizados com **observabilidade, alertas e métricas claras**. * Testes de qualidade e **contratos de dados aplicados**. * Dados disponíveis em **camadas confiáveis para BI, Analytics e IA**. * Dashboards de monitoramento de pipelines, qualidade e performance. * **Redução de custos** e ganhos mensuráveis de performance. * Soluções entregues com **resiliência, segurança e governança**.