Engenheiro de dados (pleno)

Descrição: * Curso Superior em Tecnologia ou áreas correlatas; * Experiência sólida com AWS, incluindo EKS, Glue, Athena, IAM, Lambda, ECR, RDS e DynamoDB. * Conhecimento avançado em CI/CD. * Proficiência em Kubernetes. * Experiência em desenvolvimento com Spark (PySpark) e Delta Table. * Experiência com Web Crawling. * Habilidade em programação Python. * Experiência com Apache Airflow. * Conhecimento em Kafka. * Experiência com Terraform (IAC). * Familiaridade com Databricks e Snowflake. Desejável: * Certificação e/ou curso(s) na área de Engenharia de Dados * Azure DevOps; * Projetar, desenvolver e implementar soluções de engenharia de dados eficientes e escaláveis; * Colaborar com equipes multifuncionais para entender requisitos e garantir a entrega de soluções de alta qualidade; * Implementar processos de CI/CD para automação e entrega contínua; * Gerenciar ambientes Kubernetes, aproveitando as ferramentas da AWS, como EKS; * Utilizar efetivamente as ferramentas AWS Developer Tools, incluindo CodeCommit, CodeBuild, CodeDeploy e CodePipeline; * Desenvolver e otimizar jobs Spark (PySpark) para processamento eficiente de grandes volumes de dados; * Trabalhar com Tabela Delta para garantir consistência e confiabilidade nos dados; * Desenvolver Web Crawlers para coleta e processamento de dados da web; * Configurar e manter fluxos de trabalho de dados utilizando Apache Airflow; * Implementar e gerenciar ambientes Kafka para streaming de dados; * Utilizar Terraform para a implementação e gestão de infraestrutura como código (IAC); * Trabalhar com Databricks e Snowflake para armazenamento e processamento eficiente de dados. 2511140202461868019