Descritivo do Projeto
Web Scraping: Shop e-commerce
Visão Geral do Projeto
Este projeto tem como objetivo desenvolver um scraper que extrai informações de produtos do Shop e-commerce. Os dados coletados devem ser exportados para um arquivo CSV e também salvos em um banco de dados relacional (SQLite, MySQL ou PostgreSQL). O robô deve ser capaz de navegar pelas páginas do e-commerce, coletar detalhes sobre produtos e suas respectivas categorias, e garantir que não haja duplicações.
Requisitos Funcionais
- O scraper deve ser capaz de navegar pelas páginas de listagem de produtos
- O scraper deve ser capaz de navegar pela página de cada produto
- Coletar dados do produto: nome, preço, descrição, URL da imagem e categoria
- Seguir links de paginação até que não haja mais páginas a serem raspadas
- Converter o preço dos produtos coletados de dólar para real
- Exportar os dados coletados para um arquivo CSV
- Armazenar os dados em um banco de dados relacional
- Validação e controle de erros
- Logs para monitorar o desempenho do scraper e qualquer erro que ocorra durante a execução
Requisitos Não Funcionais
-
Desempenho: O scraper deve ser otimizado para executar de forma eficiente, minimizando o tempo de execução e o uso de recursos.
-
Manutenibilidade: O código deve ser bem documentado e organizado para facilitar futuras manutenções e atualizações.
-
Segurança: As credenciais do banco de dados devem ser armazenadas de maneira segura, evitando exposição no código-fonte.
Tecnologias
- Linguagem: Python
- Bibliotecas: Scrapy (para raspagem)
- Banco de Dados: SQLite
- Formato de Exportação: CSV