Data Engineer SR

Procuramos um **Engenheiro de Dados** experiente para desenvolver e manter infraestruturas de dados robustas e escaláveis, com **foco principal no ecossistema Snowflake**. ### **Foco Principal: Snowflake** * **SQL Avançado:** Domínio de **SQL avançado**, incluindo *window functions*, CTEs (Common Table Expressions) e *performance tuning*. * **Arquitetura Snowflake:** Conhecimento aprofundado em *Warehouses*, *micro\-partitions*, *clustering* (agrupamento) e **ELT com Tasks**. * **Modelagem e Transformação:** Experiência ou familiaridade com **dbt** (Data Build Tool) para transformações e modelagem de dados (ferramenta futura para gestão de bancos de dados). * **Segurança:** Implementação de segurança (*Role\-based access*, *masking policies* e *row\-level security*). * **Integração:** Configuração de *External Stages* (Azure Blob, S3\) e manipulação de formatos de arquivo (Parquet, JSON, CSV). * **️ Cloud e Big Data (Microsoft Azure \& Databricks)** #### **Microsoft Azure** * **Orquestração:** Experiência com **Azure Data Factory (ADF)** (Pipelines, *linked services*, *triggers*). * **Armazenamento e Staging:** Uso do **Azure Blob Storage** para *data staging* e integração. * **Automação:** Desenvolvimento de automação orientada a eventos usando **Azure Functions / Logic Apps**. * **Segurança:** Gerenciamento de segredos e credenciais com **Azure Key Vault**. * **Observabilidade:** Utilização do **Azure Monitor / Log Analytics** para diagnóstico e monitoramento. #### **Databricks** * **Processamento Distribuído:** Proficiência em **PySpark / Spark SQL** para processamento distribuído de dados. * **Desenvolvimento:** Uso de **Databricks Notebooks** para desenvolvimento colaborativo. * **Integração:** Habilidade de integração com **Snowflake**, **Azure Data Lake** e **ADF**. * **Otimização:** Técnicas de otimização como *caching*, particionamento e *broadcast joins*. ### **️ Habilidades Técnicas Gerais** * **Linguagens de Programação:** + **Python:** Scripting, automação e manipulação de dados. + **JavaScript:** Para desenvolvimento de *procedures* dentro do Snowflake. * **Controle de Versão \& CI/CD:** + **Git** e **GitHub** (branching, *pull requests*, *actions*). + Criação de **Pipelines CI/CD** (GitHub Actions, Azure DevOps, GitLab CI). * **APIs e Integração:** + Consumo e construção de **APIs RESTful** para troca de dados. + Uso de **APIs Nativas** para conexões em rede *on\-prem* (local). + Conhecimento em autenticação (**OAuth2, API keys, JWT**) e uso de ferramentas (**Postman, Python requests / aiohttp**). * **Modelagem de Dados e Governança:** + Conhecimento em Modelagem de Dados (*Star/Snowflake schemas*). + **Data Governance** (gerenciamento de metadados, linhagem \- *lineage*, catalogação). ### **️ Conhecimento Desejável (SAP HANA)** * **SAP HANA:** + **SQLScript** (Stored procedures, *table functions*). + Modelagem de Dados (*Calculation views, attribute/analytic views*). + Otimização de Performance (Indexação, particionamento, otimização de *queries*).