Desenvolvedor Backend Python (Foco em Web Scraping Distribuído)
Descrição da Vaga
Desenvolver e manter serviços de extração de dados utilizando Python e programação assíncrona (Asyncio). Implementar estratégias avançadas para contornar proteções anti\-bot (WAFs como Cloudflare/Akamai, Fingerprinting TLS/JA3\). Trabalhar com engenharia reversa de requisições HTTP para reduzir a dependência de browsers (Headless), priorizando performance e baixo custo de infraestrutura. Gerenciar o consumo e publicação de mensagens em arquiteturas orientadas a eventos (RabbitMQ), garantindo confiabilidade e tratamento de falhas. Lidar com desafios específicos de sites governamentais e legados (gestão de Cookies, Tokens de Sessão, ViewStates de ASP.NET). Otimizar queries e interações com banco de dados relacional (PostgreSQL) em cenários de alta concorrência. Monitorar a saúde da aplicação e identificar gargalos de performance REQUISITOS E QUALIFICAÇÕES: Linguagem: Domínio avançado de Python3 com forte experiência em Asyncio. Protocolo HTTP: Conhecimento profundo de como a web funciona (Headers, Cookies, Handshakes TLS, HTTP/2\). Mensageria: Experiência com filas (entender Exchanges, Filas, QoS e padrões de consumo). Bypass: Experiência com bibliotecas de impersonation (ex: curl\_cffi ou similares) e rotação inteligente de proxies. Banco de Dados: Sólidos conhecimentos em SQL e PostgreSQL. Boas Práticas: Código limpo, aplicação de Design Patterns e testes automatizados. Infraestrutura: Docker e Docker Compose. **Diferenciais** Experiência em extração de dados de portais governamentais (Gov.br, Detrans, Tribunais): Saber lidar com a instabilidade, lentidão e peculiaridades (captchas específicos, layouts antigos) desses sites. Conhecimento em instrumentação e monitoramento (OpenTelemetry, Prometheus, Grafana). Entendimento de CI/CD e esteiras de deploy automatizado.
Vaga originalmente publicada em: linkedin
Receba vagas como esta no seu email
Crie um alerta gratuito e seja o primeiro a saber de novas oportunidades
Alertas que entendem o que você quer
Não receba qualquer vaga. Receba apenas as que combinam exatamente com o que você busca.
Filtro:
Você recebe tudo isso:
Filtro:
Você recebe apenas:
Zero ruído. Só vagas relevantes para você.
Outros exemplos de filtros precisos:
Filtros Combinados
Combine linguagem + framework + nível + localização. Seja tão específico quanto quiser.
Email Diário
Receba um resumo diário apenas com vagas que passam nos seus filtros. Sem spam.
Kanban Visual
Organize suas candidaturas em um quadro Kanban. Acompanhe cada processo seletivo.
Planos simples, sem surpresas
Comece grátis e faça upgrade quando quiser
Premium
- Tudo do plano gratuito
- Vagas salvas ilimitadas
- Quadros Kanban ilimitados
- Alertas de vagas por email
- Suporte prioritário
Pronto para encontrar sua vaga ideal?
Junte-se a milhares de desenvolvedores que já usam o Job For Dev
Encontre as melhores oportunidades para desenvolvedores no Job For Dev