PowerOfData | Engenheiro de Dados | Pl e Sr

Buscamos um Engenheiro de Dados para atuar na migração de pipelines Spark para a Oracle Cloud (OCI) utilizando OCI Data Flow e Airflow. O foco é migrar pipelines da AWS para OCI seguindo os padrões e arquiteturas de desenvolvimento próprios da PowerOfData. **Tecnologias** * Spark (Python ou Scala) e PySpark * Tecnologias AWS: EMR, S3, IAM * Airflow (orquestração) * OCI Data Flow * OCI Storage * Shell Script * Docker * Git * Bitbucket **Soft Skills** * Experiência na construção de pipelines distribuídas usando Spark * Vivência prática em ambientes AWS, especialmente EMR e S3 * Experiência com orquestração de pipelines * Conhecimento de arquitetura de dados em nuvem (AWS, OCI ou GCP) * Capacidade de analisar pipelines existentes e propor ajustes para otimização durante a migração * Experiência com automação e scripts (shell) **Hard Skills** * Construção e migração de pipelines Spark de médio e grande porte * Domínio de Airflow (DAGs, operators, sensores, boas práticas) * Capacidade de depuração e otimização de jobs distribuídos * Conhecimento de versionamento (Git) e fluxo GitFlow * Escrita de código limpo, seguro e testável * Capacidade de contribuir na definição e melhoria de padrões técnicos para o time **Soft Skills** * Autonomia e ownership sobre entregas e etapas de migração * Comunicação clara com times de arquitetura, dados e infraestrutura * Proatividade na identificação e resolução de problemas * Foco em qualidade, documentação e governança dos pipelines migrados * Capacidade de resolver problemas de forma criativa e eficiente * Habilidades de comunicação e trabalho em equipe * Comprometimento com prazos e qualidade do código * Disposição para aprendizado contínuo e adaptação a novas tecnologias