Estamos em busca de um(a) profissional de TI para atuar no desenvolvimento, manutenção e evolução de crawlers e sistemas de coleta automatizada de dados, com foco em fontes web estruturadas e não estruturadas, alto volume de informações e integração com pipelines internos de processamento. Responsabilidade: Desenvolver e manter crawlers e scrapers para coleta de conteúdo em diferentes fontes (sites, portais, APIs, feeds e streams). Implementar estratégias para lidar com páginas dinâmicas, bloqueios, rate limits, captchas e variações de layout. Garantir a estabilidade, escalabilidade e resiliência dos processos de coleta. Tratar, normalizar e validar dados coletados antes do armazenamento. Integrar os crawlers com bancos de dados e serviços internos (APIs, filas, pipelines de processamento). Monitorar falhas, performance e qualidade dos dados coletados. Atuar na melhoria contínua de performance, paralelismo e uso eficiente de recursos. Trabalhar com versionamento de código e boas práticas de desenvolvimento. Requisitos Técnicos: Experiência sólida com Python para automação e coleta de dados. Conhecimento em bibliotecas e ferramentas de crawling/scraping (ex.: Requests, BeautifulSoup, Scrapy, Playwright, Selenium ou similares). Experiência com processamento assíncrono, multithreading ou multiprocessing. Conhecimento em bancos de dados relacionais e (MySQL) e escrita de queries. Familiaridade com APIs REST e integração entre serviços. Experiência em ambientes Linux. Noções de controle de erros, retries, timeout e tolerância a falhas. Diferenciais: Experiência com grande volume de dados e múltiplas fontes simultâneas. Conhecimento em Docker e ambientes containerizados. Experiência com filas, workers e processamento distribuído. Conhecimento em ferramentas de busca/indexação (ex.: Solr, Elasticsearch). Experiência com bloqueios anti-bot e técnicas de evasão (respeitando limites legais e técnicos). Vivência com monitoramento e logs em sistemas de coleta. Perfil Esperado: Perfil analítico e orientado a solução de problemas. Atenção a detalhes e preocupação com qualidade dos dados. Capacidade de trabalhar de forma autônoma e organizada. Boa comunicação para atuar em conjunto com equipes técnicas e de produto.

Exigências

• Escolaridade Mínima: Ensino Superior

• Experiência desejada: Entre 5 e 10 anos
• Inglês (Avançado), Português (Nativo)
• Programação: Python
• Sistemas Operacionais: Linux
• Outros programas: Servidores Web, Servidores Proxy, Selenium

Habilidades

• aws
• docker
• solr
• webcrawler
• MySQL
• Python