web-crawler

Um web crawler básico capaz de acessar uma URL, baixar o conteúdo da página e extrair dados relevantes.

Apêndice

• src/: Contém o código fonte.
• controllers/: Lógica do crawler.
• routes/: Definição das rotas da API.
• utils/: Funções utilitárias (ex: logs).
• config/: Configurações (ex: variáveis de ambiente).
• index.js: Ponto de entrada da aplicação.
• package.json: Gerenciamento de dependências.

Referência

• Express: Framework para configurar o servidor.
• Axios: Para realizar requisições HTTP de forma simples.
• Cheerio: Uma biblioteca que permite manipulação de HTML semelhante ao jQuery, útil para extração de dados.
• Dotenv:Para gerenciamento de variáveis de ambiente.

Rodando localmente

Clone o projeto

  git clone https://github.com/mmxm0/web-crawler.git

Entre no diretório do projeto

  cd web-crawler

Instale as dependências

  npm i

Inicie o servidor

  npm run dev