Apresentamos nesse vídeo a técnica de garinpar dados conhecida como web scraping utilizando o Azure Data Factory, extraindo os valores de cotações da bolsa de valores em tabela de página da internet.
Web Scraping é um processo simples de coleta de dados existentes em páginas na internet.
Iremos conhecer as etapas: 🔹Criar Serviço Vinculado Tabela Web (LINKED SERVICE, WEB TABLE); 🔹Utilizar Integration Runtime Auto-hospedado (INTEGRATION RUNTIME SELF-HOSTED); 🔹Definir URL da página de internet para cotações da bolsa de valores (YAHOO FINANCE); 🔹Criar conjunto de dados de origem Tabela Web (DATASET, WEB TABLE, SOURCE); 🔹Definir o índice da tabela e previsualizar os dados (INDEX, PREVIEW DATA); 🔹Criar conjunto de dados de destino Sistema de Arquivos (DATASET, FILE SYSTEM, SINK) 🔹Definir o tipo de formato do arquivo (DELIMITEDTEXT); 🔹Criar Pipeline com atividade copiar dados (PIPELINE, COPY DATA ACTIVITY); 🔹Mapear tipo de dado das colunas (IMPORT SCHEMAS); 🔹Executar por gatilho Pipeline (TRIGGER NOW); 🔹Exibir o resultado do arquivo gerado no servidor on-premises (CSV, WINDOWS SERVER).
📁 Arquivos disponíveis no GitHub, não esquece de seguir: https://www.fabioms.com.br/?url=github
😉 Gostou do conteúdo? Inscreva-se também no canal: https://www.fabioms.com.br/?url=youtube-subscribe
🎁 Banco de Dados para Estudo SQL: Se você quer uma base para estudar liguagem #SQL ou #BusinessIntelligence, elaborar seu curso ou treinamento, aqui você encontrará material. Contribua e cite o projeto para fortalecê-lo! https://www.fabioms.com.br/?url=github-estudados
#microsoft #dataplatform #azure #datafactory #webscraping #webtable #integrationruntime #selfhosted #onpremises #mvp #mvpbr #dicadofabinho