Engenheiro(a) de Dados Sênior (Especialista em Crawlers e Orquestração)

**\#Conheça um pouco sobre a área:** Buscamos uma pessoa experiente para liderar a fronteira de ingestão de dados na **Cortex**. O desafio central é construir e escalar motores de coleta (crawlers/bots) que alimentem nosso ecossistema de dados com precisão e eficiência. Você será responsável por arquitetar fluxos que transformam a web em dados estruturados prontos para análise, utilizando o que há de mais moderno em nuvem e processamento distribuído. **Responsabilidades e atribuições****\#Desafios que você vai encontrar:** * **Arquitetura de Coleta:** Desenvolver e manter crawlers/bots de alta performance e resilientes para extração de dados em larga escala. * **Engenharia de Dados:** Projetar e implementar pipelines de dados complexos utilizando **Databricks** (Spark) para processamento em lote e streaming. * **Orquestração:** Garantir a saúde e a dependência dos fluxos de dados através de ferramentas de orquestração avançadas. * **Otimização em Nuvem:** Gerenciar e otimizar recursos dentro do ecossistema **AWS**, garantindo escalabilidade e custo\-benefício. * **Qualidade e Governança:** Implementar técnicas de tratamento de erros, contorno de bloqueios (proxies, captchas) e validação de qualidade dos dados coletados. **Requisitos e qualificações** \#**Conhecimentos importantes para a posição:** * **Linguagens:** Domínio profundo de **Python** (focado em bibliotecas de scraping como Scrapy, Playwright, Selenium ou Beautiful Soup). * **Big Data:** Experiência sólida com **Databricks** e **Apache Spark** (PySpark). * **Cloud (AWS):** Experiência com serviços como S3, Lambda, Glue, Athena, EC2 e EKS. * **Orquestração:** Conhecimento avançado em ferramentas como **Airflow**, Dagster ou Prefect. * **Bancos de Dados:** Experiência com bancos SQL e NoSQL, além de entendimento de Data Lakehouses (Delta Lake). * **DevOps Mindset:** Familiaridade com Docker, Kubernetes e pipelines de CI/CD. **\#Diferencial para a posição:** * Conhecimento em técnicas de evasão de bot\-detection e gestão de redes de Proxy. * Experiência com ferramentas de monitoramento (Prometheus, Grafana ou ELK). * Contribuições para projetos Open Source ou comunidades de dados. **Informações adicionais** **\#PraVocê Nossos Beneficios:** **PraVocê no dia a dia** : * Vale Refeição e Alimentação; * Gympass/TotalPass; * Vittude; * Auxílio home\-office; **PraVocê \& Família****:** * Plano de Saúde e Plano Odontológico (odonto é opcional); * Auxílio creche (até os 6 anos completos da criança): * Licença\-Maternidade, Paternidade e Adotante Estendidas (\#todasasfamíliasimportam); * Seguro de Vida; * Day Off de Aniversário (Um dia de folga para tirar no dia ou durante o mês do seu aniversário.); * Dia da Família (Um dia de folga para mamães e papais tirarem entre os meses de maio e agosto e aproveitar como quiserem.); * Pausa Mental (Uma semana corrida de folga em dezembro para que descansem e recarreguem as baterias. \*Benefícios de acordo com a política vigente\* **PraVocê AINDA MAIS****:** * Senso de propósito ao fazer parte de um time que está construindo algo que será perene e trará frutos para a sociedade, seja a Cortex em si enquanto "startup" em rápido crescimento que gerará cada vez mais empregos, seja o produto Plataforma Cortex, que será usado por cada vez mais usuários no Brasil e exterior. * Ambiente de trabalho descontraído, jovem, empreendedor e meritocrático, sem espaço para política.. ;\-) * Oportunidade de desenvolvimento de carreira e crescimento numa empresa que não para de crescer. *Valorizamos, cultivamos e respeitamos as diferenças, por isso proporcionamos um ambiente aberto e inclusivo.* *Todas as nossas posições são elegíveis para pessoas com deficiência.* Somos a **Cortex**, a empresa referência em Inteligência Aumentada para Go\-to\-Market (GTM) na América Latina. Nosso propósito vai muito além da tecnologia: transformamos o caminho de pessoas e negócios com inteligência. Unimos a agilidade da **Inteligência Artificia**l com a criatividade e o pensamento crítico da **Inteligência Humana**. Acreditamos que o futuro é colaborativo e que a tecnologia existe para potencializar o que há de melhor nas pessoas. **O que fazemos?** Simplificamos a complexidade. Nossa plataforma SaaS coleta e normaliza dados do mercado (firmográficos, de mídia e localização) e os conecta aos dados internos dos clientes. O resultado? Painéis de analytics flexíveis, análises geográficas e fluxos de trabalho que permitem às grandes marcas líderes tomarem decisões mais ágeis, precisas e eficientes para seu Go\-to\-Market. **VEM FAZER PARTE DO TIME!** Aqui, crescemos rápido porque crescemos juntos. Buscamos mentes inquietas que queiram atuar em um ambiente colaborativo, diverso e que valoriza a autonomia. Ser um **Cortexiano** significa viver uma experiência única de descobertas e transformação, onde sua voz é ouvida e seu desenvolvimento é prioridade. **Cortex. Made for humans, powered by AI.**