Engenheiro de Plataforma de Dados Pleno (Remoto) Vertical : Data & AI

Estamos em busca de uma pessoa Engenheira de Plataforma de Dados para fortalecer nossa equipe talentosa. A pessoa será responsável pelo desenvolvimento e manutenção da infraestrutura de dados em nosso ambiente de Big Data. Isso significa tanto o desenvolvimento de software, aprimorando projetos Open Source importantes da nossa área, quanto também a sustentação e realização de atividades de SRE aplicadas a esses produtos criados por nós. O Engenheiro de Dados pode apresentar habilidades diferentes entre engenharia, análise e visualização de dados. Mas o dia a dia do time se resume a: * Trabalhar em ambiente colaborativo juntos ao time e aos demais desenvolvedores do Labs; * Estruturar pipelines de ingestão e transformação de dados; * Prover dados limpos para análises e modelos preditivos; * Aplicar boas práticas de Software, engenharia e testes; * Sugerir e aplicar métricas e monitoramentos quando necessário; * Conduzir análises profundas e contribuir para Insights e tomada de decisão; * Traduzir regras de negócio para uma abordagem técnica e criar métricas e consolidações de dados; * Melhorar e criar alertas para garantir a qualidade dos dados; * Projetar e desenvolver pipelines de dados eficientes e escaláveis; * Integrar diversas fontes de dados garantindo a consistência e integridade; * Implementar e aprimorar medidas robustas de segurança de dados; * Otimizar o desempenho dos sistemas de Big Data; * Colaborar com equipes internas para entender e atender às suas necessidades de dados; * Avaliar e implementar novas tecnologias e soluções para aprimorar a infraestrutura existente; * Adaptar o IaC de ferramentas OpenSource para funcionarem em nosso ecossistema; * Adaptar e evoluir ferramentas OpenSource para funcionarem dentro de nossos produtos; Para atuar nessa posição, é essencial que tenha: * Graduação em Engenharia de dados, Ciência da computação, ou área correlata; * Experiência comprovada em Spark para desenvolvimento avançado e otimização de pipelines de dados distribuídos; * Proficiência em comandos avançados de SQL para consultas complexas e administração de bancos de dados (de preferência MySQL e/ou Postgres); * Experiência sólida em programação em Python para construção de ferramentas de análise de dados, scripts e automação; * Conhecimento avançado em Git para gerenciamento eficiente de código, revisão de código e colaboração em equipe; * Proficiência no ambiente Linux para administração avançada, scripts de automação e operações de linha de comando; * Experiência prática em Kubernetes para orquestração e gerenciamento de contêineres em ambientes distribuídos; * Habilidades em tecnologias de Big Data comprovadas (Arquitetura Datalake, Orquestração); * Habilidades em programação, preferencialmente Python; * Habilidades analíticas e exploratórias de dados; * Conhecimentos em Modelagem de dados; * Ter experiência em Spark e outras tecnologias do contexto de Bigdata Analytics; * Experiência com ambiente cloud, preferencial GCP; Será diferencial o conhecimento em: * Experiência em modelagem preditiva; * Experiência no desenvolvimento de testes automatizados; * Experiência na construção de API's REST; * Experiência em DevOps, IaC, CI/CD; * Experiência em tecnologias como: Spark, Kafka, Kubernetes, Docker, Prometheus, Airflow, GCP (Dataflow, Dataproc, BigQuery, GCS ); * Experiência em CI/CD ( Continuous Integration /Continuous Delivery); * Experiência em k8s Ambiente cloud (Preferencial GCP). * Conhecimento estabelecido em Redes (vnets, roteamento, proxy, firewalls); * Conhecimento estabelecido sobre monitoramento (Prometheus/Grafana); * Conhecimento estabelecido de Java e/ou Scala; * Conhecimento estabelecido de Javascript (React ou algum outro framework); * Conhecimento básico de bancos NoSQL (Mongo, Neo4J); * Infraestrutura on premise. Como é o ambiente de trabalho? No Luizalabs, temos grande autonomia e responsabilidade, somos multidisciplinares, auto gerenciáveis e com pouca burocracia no nosso cotidiano. Buscamos romper as barreiras que diminuem nossa capacidade de agregar valor ao negócio. Fazemos entregas frequentes e agimos rapidamente ao encontrar problemas; nosso ritmo é acelerado, mas temos tranquilidade e equilíbrio para planejar e executar nossas tarefas com qualidade.