Engenheiro de dados sr.

Descrição: * Ensino superior Completo; * Conhecimento em tecnologias, soluções e conceitos de Big Data; * Conhecimento em alguma linguagem de programação; * Conhecimento de versionamento de código Git; * Entendimento do ciclo de vida dos dados e conceitos como linhagem, governança, privacidade, retenção, anonimização, etc.; * Espírito colaborativo com equipes de Ciência de dados e Analytics, equipe de negócios para entender e atender às necessidades de dados; * Excelentes habilidades de comunicação, compartilhamento proativo e busca de contexto para colaborar com diferentes equipes. Diferenciais: * Experiência em desenvolver e manter pipelines de ETL para processar grandes volumes de dados, garantindo a qualidade e a integridade das informações; * Proficiência em Python; * Conhecimento dos recursos de nuvem GCP: Storage Transfer Service, Cloud Storage, Cloud Functions, Pub/Sub, DataFlow, BigQuery, Dataplex, Cloud Computer; * Experiência com Apache Airflow ou outras ferramentas para fluxos de trabalho de dados; * Experiência com soluções de armazenamento em colunas e/ou conceitos de data lakehouse; * Conhecimento em estratégias de CI/CD, infraestrutura como código (Terraform), observabilidade, entre outras; * Entendimento de como a otimização funciona em vários cenários e pode ser melhorada, como desempenho de consulta, escalabilidade de serviço e gerenciamento de cluster; * Curiosidade sobre tecnologias em rápida evolução no domínio da engenharia de dados e está ansioso para aprender e dominá\-las, trazendo um impacto significativo para nossa equipe. * Desenvolver sistemas e processos para coletar dados de diversas fontes, como bancos de dados, aplicativos, sensores e dispositivos; * Projetar e manter bancos de dados e sistemas de armazenamento de dados, incluindo bancos de dados relacionais e não relacionais; * Preparar e limpar os dados coletados, garantindo que estejam prontos para análise. Isso envolve a transformação, agregação e padronização de dados; * Integrar dados de várias fontes em um único ambiente de dados, garantindo a consistência e a integridade dos dados; * Criar e manter pipelines de dados que automatizem a transferência e transformação de dados de maneira eficiente; * Implementar medidas de segurança para proteger os dados contra acessos não autorizados e vazamentos; * Colaborar para fornecer conjuntos de dados prontos para análise; * Monitorar o desempenho dos sistemas de dados e otimizar a escalabilidade e a eficiência; * Manter documentação completa e atualizada de processos, fluxos de dados e arquitetura de sistemas. 2511180202461113370