Desenvolvedor(a) de Webcrawlers/Scraping
Descrição da Vaga
Estamos em busca de um profissional qualificado para se juntar à nossa equipe de tecnologia, com experiência em web scraping e desenvolvimento de web crawlers para captura de faturas de energia elétrica diretamente dos sites das distribuidoras de energia. O profissional será responsável por desenvolver, manter e monitorar webcrawlers que acessam sites de distribuidoras de energia em todo o Brasil, realizando extração das faturas de energia elétrica, além de ser capaz de monitorar e garantir a eficácia das operações de captura, realizando correções quando necessário. Responsabilidades * Desenvolver e evoluir webcrawlers robustos para captura de faturas de energia elétrica; * Implementar e manter rotinas de scraping e automação de navegação web, utilizando Playwright e Python; * Monitorar dashboards operacionais (Grafana e Airflow) para acompanhar o desempenho e a taxa de sucesso das capturas; * Investigar e corrigir falhas nos crawlers em produção, garantindo alta disponibilidade e resiliência do sistema; * Colaborar com o time de desenvolvimento e infraestrutura para otimizar containers e pipelines Docker/Airflow; * Manter o código versionado e documentado, seguindo boas práticas de engenharia e controle de qualidade. A vaga aceita trabalho remoto? Sim
Vaga originalmente publicada em: linkedin
💼 Encontre as melhores oportunidades para desenvolvedores no Job For Dev