Engenheiro de Dados Sênior

Coletamos, processamos e acionamos milhões de dados de lojas físicas, e\-commerces, dados de navegação e fidelidade. Por meio da tecnologia, tornamos a comunicação de massa altamente personalizada e automatizada. **Responsabilidades e atribuições** Este profissional atuará em projetos com processos automatizados em que o foco é a entrega da informação relevante no momento certo, através de tecnologia para grandes volumes de dados de grandes clientes. Participará da definição de processos e sistemas, levantamento de requisitos atuando na análise e desenvolvimento de forma independente ou em conjunto com o time. Além disso, irá realizar implantação e manutenção de ETL, construindo entregáveis com foco no negócio/solução e com qualidade e alta performance técnica. Atuará com plataformas de marketing e Customer Data Platforms. **Requisitos e qualificações** **Engenheiro de Dados Sênior** Buscamos um profissional que deve dominar um ecossistema diversificado de ferramentas que garantam o ciclo completo do dado, priorizando orquestradores robustos como **Apache Airflow** ou **Prefect** para gerenciar dependências complexas e fluxos de trabalho. É essencial o domínio de frameworks de processamento distribuído, com destaque absoluto para o **Apache Spark (PySpark)**, além de ferramentas de transformação modernas como o **dbt (data build tool)**, que aplica práticas de engenharia de software ao SQL dentro de Data Warehouses como **BigQuery, Databricks e/ou** **Snowflake**. Por fim, a fluência em serviços nativos de nuvem (como **AWS Glue**, **Azure Data Factory** ou **Google Cloud Dataflow**) e soluções de ingestão e streaming, como **Kafka** ou **Fivetran**, completa o arsenal necessário para construir pipelines escaláveis, resilientes e de baixa manutenção. **Responsabilidades:** * Engenharia de Pipelines Modernos: Desenvolver fluxos de ETL/ELT utilizando Python e serviços gerenciados de nuvem. Orquestrar a ingestão de dados de múltiplas fontes para nosso Data Lake/Warehouse (BigQuery/S3\). * Infraestrutura como Código (IaC): Provisionar e gerenciar recursos na AWS e GCP utilizando Terraform ou scripts de automação, garantindo ambientes reprodutíveis e seguros. * Otimização e Custos (FinOps): Monitorar e otimizar o desempenho das queries e processamentos, garantindo eficiência de custo na nuvem (ex: uso correto de instâncias, particionamento de tabelas no BigQuery). * Governança e Qualidade: Implementar verificações automáticas de qualidade de dados (Data Quality) e garantir a observabilidade dos pipelines (alertas de falha, latência). **Competências Técnicas (Hard Skills):** *Como profissional Sênior, espera\-se domínio profundo de arquitetura e automação:* **Linguagem de Programação:** * Domínio avançado de Python (Obrigatório). Foco em escrita de código limpo, modular e testável. * Experiência sólida com PySpark para processamento distribuído. **Ambiente Cloud (AWS \& GCP):** * AWS: Conhecimento em serviços como S3, Lambda, Glue, EMR, Kinesis e SageMaker. * GCP: Domínio de BigQuery (essencial), Cloud Functions, Dataflow e Vertex AI. * Conhecimento em Databricks e Snowflake são essenciais. * Modern Data Warehouse: Experiência avançada em **BigQuery, Snowflake ou Redshift**, com foco em modelagem (Star Schema, Data Vault 2\.0\) e controle de custos (FinOps). * Orquestração: Domínio de ferramentas como **Airflow, Prefect ou Dagster** para gerenciar dependências complexas de pipelines. **Banco de Dados e SQL:** * SQL Avançado para Data Warehousing (foco em performance analítica). **Infraestrutura e Deploy:** * Docker (containerização de scripts e modelos). * Terraform (IaC). * Conhecimentos de CI/CD (GitHub Actions, GitLab CI ou CodePipeline). **Competências Comportamentais (Soft Skills):** *Como profissional Sênior, espera\-se domínio profundo em: visão de negócio, pensamento crítico e adaptabilidade.* * **Agnóstico e Flexível:** Consegue transitar entre AWS e GCP escolhendo a melhor ferramenta para o problema, sem "bairrismo" tecnológico. * **Visão de Produto de Dados:** Entende que o pipeline não é o fim, mas o meio para entregar valor ao negócio. Preocupa\-se se o dado chegou no horário certo para o Marketing usar. * **Colaboração Ativa:** Atua como o "melhor amigo" do Cientista de Dados, ajudando a otimizar códigos ineficientes sem criar atrito. * **Mentoria e Liderança Técnica:** Capacidade de orientar cientistas de dados sobre melhores práticas de escrita de código produtivo e escalabilidade. * **Pensamento Sistêmico:** Habilidade para enxergar o fluxo do dado desde a origem (log de navegação) até o impacto final no cliente, antecipando gargalos de infraestrutura. * **Comunicação entre Áreas:** Atuar como tradutor entre os requisitos de infraestrutura (TI), as necessidades de modelagem (Data Science) e os objetivos de negócio (Marketing/CRM). * **Resolução de Problemas Complexos:** Calma e precisão para atuar em incidentes em produção que afetem a experiência do usuário em tempo real. * **Advogado da Qualidade:** Rigor com a governança de dados, segurança e conformidade (LGPD), garantindo que a automação não comprometa a privacidade do cliente. **Informações adicionais*** Experiência com sistemas de recomendações são indispensáveis para este desafio. * Inglês e/ou espanhol. Ser **Pmweber** é encontrar um espaço colaborativo e repleto de oportunidades para crescer. É encarar os desafios todos os dias e contar com pessoas entusiasmadas para vencê\-los. **Porque para pessoas incríveis não há limites**. **Respiramos a nossa cultura.** Aqui você vai conhecer gente exponencial, fazer parte de equipes incríveis que topam desafios únicos, participar de projetos inovadores com colaboração nas nuvens e ter a oportunidade de crescer em escala. **Mas o que a Pmweb faz?** A Pmweb é uma empresa de tecnologia e serviços para marketing e CRM. Existimos para ajudar empresas a criarem relacionamentos únicos em escala, elevando nossos clientes e equipe a um novo patamar de geração de valor. **Quais valores você vai encontrar por aqui?** **Aberta e Autêntica:** * As pessoas devem ser quem são para fazerem o seu melhor. * Pertencemos ao mundo. * A verdade e o certo para nós são inegociáveis. * Tratamos as pessoas como elas esperam ser tratadas. **Entendimento em todos os sentidos:** * Entender o contexto, além da atividade. * Somos obcecados pelo sucesso do cliente. * Dados são o combustível para a escala. * Relacionamento é o nosso negócio. **Evolução constante:** * Buscamos sempre estar preparados. * Somos resilientes frente às adversidades e nos adaptamos às mudanças. * Somos curiosos para criar o futuro. * Acreditamos na inovação. **E quais benefícios a Pmweb oferece?** **Pensamos em Saúde e Bem\-estar:** possuímos Assistência Médica e Odontológica além de Seguro de Vida, Auxílio Creche e Day Off de aniversário e Wellhub. Vale Transporte e Vale Refeição e/ou Alimentação também fazem parte dos nossos benefícios. **Sua evolução faz parte do nosso crescimento:** oferecemos Incentivo Idiomas, Incentivo Educação e Incentivo Certificações. **Somos flexíveis:** temos 7 opções diferentes de horário de trabalho pra você escolher e, com nosso formato de trabalho híbrido, oferecemos também Auxílio Home Office. **Reconhecemos os resultados alcançados:** temos um ciclo de avaliação estruturado e feedbacks constantes. Esta é uma parte fundamental para chegarmos no resultado do nosso PLR \- Participação nos Lucros da Empresa. Gostou? **Encontre aqui a vaga certa** para você e venha fazer parte da nossa equipe. Saiba mais sobre o que rola aqui dentro no nosso perfil no Instagram @pmwebers.