Job Description
Este é o nosso banco de talentos para profissionais interessados em automação, coleta de dados e web scraping. A pessoa atuará no desenvolvimento e manutenção de robôs responsáveis pela coleta, tratamento e integração de dados provenientes de diferentes sistemas e portais.
Principais responsabilidades
- Desenvolver e manter scripts e crawlers para coleta automatizada de dados.
- Criar spiders utilizando Scrapy, Requests e BeautifulSoup (bs4).
- Automatizar navegação em páginas dinâmicas utilizando Selenium.
- Auxiliar na configuração e utilização de proxies e VPNs para coleta de dados.
- Trabalhar com filas e processamento assíncrono utilizando Celery, Redis e RabbitMQ.
- Integrar dados coletados com sistemas internos desenvolvidos em Django.
- Armazenar e manipular dados utilizando PostgreSQL.
- Monitorar execuções de crawlers e identificar falhas ou inconsistências na coleta.
- Identificar e l...