Data Engineer Pleno

**Sobre o Desafio** Sua missão será garantir a disponibilidade, qualidade e performance dos dados que alimentam a maior plataforma reputacional do mundo. Você será um pilar técnico na migração e evolução da nossa plataforma de dados, construindo pipelines escaláveis utilizando **PySpark no GKE (Kubernetes)** e assegurando que nossa **Arquitetura Medalhão** seja eficiente, confiável e pronta para suportar o crescimento do negócio. **Responsabilidades e Atribuições** * **Desenvolvimento de Pipelines:** Escrever código **PySpark** limpo e pronto para produção, garantindo que os fluxos de dados sejam estáveis, testáveis e de fácil manutenção. * **Arquitetura Medalhão:** Operar, manter e otimizar as camadas de dados (**Bronze, Silver e Gold**), garantindo a integridade desde a ingestão bruta até o consumo final no BigQuery. * **Modernização \& Cloud:** Atuar ativamente na migração de legados e na evolução da infraestrutura para soluções nativas em **Google Cloud (GCP)**. * **Orquestração:** Gerenciar e monitorar fluxos de trabalho no **Cloud Composer (Airflow)**, assegurando a pontualidade e a resiliência das cargas. * **Qualidade de Dados:** Implementar validações e práticas de governança para garantir que o dado entregue seja o "único ponto da verdade". * **Escalabilidade:** Trabalhar com workloads conteinerizados no **Kubernetes (GKE)**, focando em eficiência computacional e performance. **Requisitos** * **Domínio de Python \& PySpark:** Experiência no desenvolvimento de processos de ETL/ELT distribuídos e processamento de grandes volumes de dados. * **Ecossistema GCP:** Conhecimento prático em **BigQuery**, **Cloud Storage** e **Cloud Composer**. * **Containers \& Kubernetes:** Experiência prática com **Docker** e **GKE** para execução de jobs de dados. * **SQL Avançado:** Capacidade de realizar transformações complexas, análise de planos de execução e otimização de consultas. * **Modelagem de Dados:** Entendimento de conceitos de Data Lake e Data Warehouse. **Diferenciais** * Conhecimento em ferramentas de **Infrastructure as Code (Terraform)**. * Experiência com ferramentas de **Data Quality** (Great Expectations, Soda, etc.). * Familiaridade com práticas de CI/CD para engenharia de dados.