Dataops engineer

Descrição: * Proficiência em Python, SQL e automação de scripts (shell). * Experiência sólida com Infrastructure as Code (Terraform) para ambientes de dados. * Experiência prática na construção de pipelines de CI/CD (GitHub Actions, GitLab CI, Jenkins) aplicados a dados e ML. * Profundo conhecimento em orquestradores de workflow, especialmente Apache Airflow. * Vivência com processamento de dados em larga escala usando Apache Spark (batch e streaming). * Familiaridade com o ecossistema de dados moderno, incluindo ferramentas como dbt, Kafka, Flink e Airbyte. * Experiência na implementação de monitoramento e observabilidade com ferramentas como Prometheus, Grafana ou ELK Stack. Diferenciais (Conhecimentos Avançados):* Experiência com múltiplas plataformas de cloud (AWS, GCP, Azure) e Databricks. * Conhecimento de arquiteturas modernas como Data Lakehouse e Data Mesh. * Vivência com frameworks de teste de dados (ex: Great Expectations, Soda). * Experiência com orquestração de containers com Kubernetes (e ferramentas como Kubeflow). * Conhecimento em bases de dados analíticas (OLAP) como ClickHouse, Pinot ou Trino. * Familiaridade com ferramentas de governança como Unity Catalog ou OpenMetadata. * Infraestrutura como Código (IaC) e Automação: Projetar, provisionar e gerenciar nossa infraestrutura de dados (AWS, GCP) utilizando Terraform. Automatizar tudo, desde a configuração de redes e permissões até o auto\-scaling de clusters. * Orquestração e CI/CD para Dados: Construir e otimizar pipelines de CI/CD (GitHub Actions) para automação de testes, validação de schemas e deploy seguro de fluxos de dados, transformações (dbt) e modelos de ML. * Pipelines de Dados Robustos: Orquestrar fluxos de dados complexos (batch e streaming) com ferramentas como Airflow, Kafka, Flink, garantindo recuperação automática de falhas, alertas proativos e execução eficiente. * Observabilidade e Confiabilidade (Data SRE): Implementar um sistema de monitoramento completo com Prometheus, Grafana ou Datadog. Definir e garantir SLAs, SLOs e SLIs para os pipelines de dados, liderando a resposta a incidentes e a análise de causa raiz. * Qualidade de Dados e Governança: Integrar frameworks de testes automatizados de dados (Great Expectations, dbt tests) no ciclo de desenvolvimento. Implementar governança de dados com versionamento de schemas, catalogação e controle de linhagem (data lineage). * Performance e Otimização de Custos (FinOps): Otimizar o desempenho e o custo de e pipelines em ambientes distribuídos. Implementar estratégias de particionamento, cache e paralelização para garantir a eficiência dos nossos recursos de cloud. * Parceria Estratégica: Atuar como um parceiro técnico para as equipes de Engenharia de Dados, ML Engineering e Ciência de Dados, fornecendo uma plataforma estável e dados confiáveis para acelerar a inovação e a entrega de valor. 2510190202501821158