Engenheiro(a) de Dados | Dados
Descrição da Vaga
**Sobre a Vaga** Estamos em busca de um(a) Engenheiro(a) de Dados com sólida experiência em ambientes de nuvem (GCP e AWS), proficiência em plataformas similares ao Databricks e forte capacidade técnica para estruturar e operar Data Lakes. O(a) profissional será responsável por desenhar, implementar e manter pipelines de dados robustas e escaláveis, garantindo a ingestão, processamento e disponibilização de dados em diferentes camadas (Raw, Refined, Curated). **Responsabilidades** * Projetar e implementar a arquitetura de um Data Lake em múltiplas camadas (Raw/Staging, Trusted/Refined e Curated/Business Layer). * Desenvolver, orquestrar e monitorar pipelines de dados usando ferramentas como Apache Spark, PySpark, Airflow, dbt ou equivalentes. * Trabalhar com GCP (BigQuery, Cloud Storage, Dataflow, Pub/Sub) e AWS (S3, Glue, Athena, Redshift, EMR) para construção de soluções escaláveis e seguras. * Criar processos eficientes de ingestão de dados em batch e streaming, integrando múltiplas fontes. * Colaborar com cientistas de dados, analistas e engenheiros de software para disponibilizar dados com qualidade e governança. * Garantir o versionamento, segurança e catalogação dos dados. * Atuar na otimização de performance, controle de custos e boas práticas em ambientes cloud. **Requisitos Obrigatórios** * Experiência comprovada com Google Cloud Platform (GCP) e Amazon Web Services (AWS). * Vivência em ambientes semelhantes ao Databricks. * Experiência na construção de Data Lakes com no mínimo 3 camadas. * Domínio em Python, SQL e frameworks como Spark / PySpark. * Conhecimento em DataOps e CI/CD para pipelines de dados. * Experiência com ferramentas de orquestração de pipelines (Airflow, dbt, Step Functions, etc.). * Familiaridade com ferramentas de versionamento de código (Git, GitHub/GitLab). * Boas práticas de governança, qualidade e segurança de dados. **Desejável** * Certificações em GCP e/ou AWS. * Conhecimento em Data Mesh e arquiteturas orientadas a domínio. * Experiência com lakehouse architectures. * Experiência em infraestrutura como código (IaC), como Terraform. **Soft Skills** * Visão sistêmica e foco em performance e escalabilidade. * Boa comunicação com áreas técnicas e de negócio. * Proatividade e espírito colaborativo. * Capacidade de atuar em ambientes ágeis e com múltiplas prioridades.
Vaga originalmente publicada em: linkedin
💼 Encontre as melhores oportunidades para desenvolvedores no Job For Dev