PowerOfData | Engenheiro de Dados Júnior

Buscamos um Engenheiro de Dados para atuar na construção de pipelines de dados, tanto para ingestão de novos dados quanto para construção das camadas do DataLake e na construção de books de variáveis/features store. As atividades serão O profissional atuará em projetos estratégicos com clientes de grande porte, com atuação no formato de alocação dentro do cliente. Tecnologias * Spark (Python ou Scala) e PySpark * Tecnologias AWS: EMR, S3, IAM * Airflow (orquestração) * OCI Data Flow * OCI Storage * Shell Script * Docker * Git * Bitbucket Soft Skills * Experiência na construção de pipelines distribuídas usando Spark * Vivência prática em ambientes AWS, especialmente EMR e S3 * Experiência com orquestração de pipelines * Conhecimento de arquitetura de dados em nuvem (AWS, OCI ou GCP) * Capacidade de analisar pipelines existentes e propor ajustes para otimização durante a migração * Experiência com automação e scripts (shell) Hard Skills * Construção e migração de pipelines Spark de médio e grande porte * Domínio de Airflow (DAGs, operators, sensores, boas práticas) * Capacidade de depuração e otimização de jobs distribuídos * Conhecimento de versionamento (Git) e fluxo GitFlow * Escrita de código limpo, seguro e testável * Capacidade de contribuir na definição e melhoria de padrões técnicos para o time Soft Skills * Autonomia e ownership sobre entregas e etapas de migração * Comunicação clara com times de arquitetura, dados e infraestrutura * Proatividade na identificação e resolução de problemas * Foco em qualidade, documentação e governança dos pipelines migrados * Capacidade de resolver problemas de forma criativa e eficiente