Desenvolvedor Web Scraping / Bots

**VEM CONHECER A CARBIGDATA!** Somos a maior plataforma de bigdata do mercado de veículos. Nossos produtos possuem foco na localização de veículos roubados, furtados e na verdadeira situação do bem localizado. Com foco em big data analytics, atuamos nos principais players do mercado automotivo como bancos, financeiras, locadoras e seguradoras. **DESCRIÇÃO DA VAGA** Sua missão será desenvolver bots avançados para web scraping, criando soluções robustas, seguras e escaláveis. No dia a dia, você enfrentará desafios como quebra de captchas, uso estratégico de proxies e simulação de interações humanas em ambientes altamente protegidos. **ATIVIDADES DO DIA A DIA:** * Desenvolvimento de bots para coleta automatizada de dados, garantindo eficiência e resiliência. * Soluções para superar barreiras como captchas, bloqueios de IP e verificações anti\-bot. * Implementação e otimização de sistemas de roteamento e gerenciamento de proxies (residenciais, datacenter, rotativos, etc.) * Integração de práticas de scraping com diretrizes legais e éticas. * Monitoramento de bots em cenários de alto volume de dados, garantindo desempenho e escalabilidade. * Realizar logging e debugging para análise e melhorias contínuas dos bots. * Metodologias de desenvolvimento ágil (SCRUM ou similares). **REQUISITOS E QUALIFICAÇÕES:** * Linguagem: Python. * Experiência comprovada acima de 4 anos em desenvolvimento, com foco em automação e scraping. * Frameworks e bibliotecas de scraping: Scrapy, Selenium. * Experiência com Playwright ou Puppeteer para scraping baseado em navegadores. * Quebra de captchas: Conhecimento em OCR (Tesseract) e integração com serviços como 2Captcha, Anti\-Captcha, DeathByCaptcha). * Familiaridade com soluções de machine learning para quebra de captchas customizados. * Gerenciamento de proxies: Experiência com Rotating Proxies e pools de proxies. * Gerenciamento de Headers e Cookies: Para simular requisições humanas. * Familiaridade com mecanismos de proteção (Cloudflare) e estratégias para superá\-los. * Experiência com WebSockets e scraping em tempo real. * Utilização de containers (Docker) para deploy e gerenciamento de bots. * Desenvolvimento em ambientes Unix/Linux. **DIFERENCIAIS** * Conhecimento em linguagem de programação JAVA. * Experiência em ferramentas de análise de tráfego HTTP, como Fiddler, Wireshark ou Burp Suite. * Noções de segurança da informação e estratégias para contornar medidas anti\-scraping. * Familiaridade com crawling distribuído e sistemas de fila, como RabbitMQ, Kafka ou Celery. * Experiência em cloud computing (AWS, Azure, GCP) para hospedagem e escalabilidade dos bots. * Desenvolvimento de APIs RESTful para integração com sistemas externos. **NOSSOS BENEFÍCIOS** * Vale Refeição / Alimentação * Plano de Saúde (Sulamerica) * Plano Odontológico * Dayoff no mês do aniversário * Seguro de vida * Home\-office Faça parte da transformação no mercado automotivo no Brasil! Se você é apaixonado por dados e tecnologia, junte\-se à nossa equipe e faça parte da revolução do setor automotivo. **\#VemSerCarBigData** Tipo de vaga: Efetivo CLT Benefícios: * Assistência médica * Assistência odontológica * Auxílio\-creche * Vale\-refeição Pergunta(s) de seleção: * Qual valor da sua pretensão salarial (CLT)? * Tem disponibilidade para atuar em modelo remoto? Local do trabalho: Remoto