Este projeto visa a extração, transformação e carga (ETL) de dados do Portal de Dados Abertos do Governo Federal, com foco na análise de cargos vagos e vacâncias no executivo federal.
- Python para a automação do ETL
- PostgreSQL como banco de dados final para armazenar as tabelas de análise
- Power BI para criação de dashboards e monitoramento de KPIs
- Estruturação do projeto - Concluído ✅
- Modelagem e criação de tabelas - Concluído ✅
- Extração e transformação dos arquivos - Em Andamento 🕑
-
Preparação da Área de Staging:
- Configure tabelas temporárias e esquemas necessários para acomodar os dados inicialmente.
-
Carga dos Dados:
- Implemente o processo de inserção para garantir consistência e evitar duplicação de dados.
-
Otimização do Desempenho:
- Crie índices nas tabelas para acelerar consultas.
- Programe a carga incremental para atualizações periódicas.
This project focuses on ETL processes to extract, transform, and load data from the Brazilian Government Open Data Portal, specifically analyzing vacancies within the federal executive branch.
- Python for ETL automation
- PostgreSQL as the final database for analysis tables
- Power BI for dashboards and KPI monitoring
- Project setup - Completed ✅
- Data Modeling and Table Creation - Completed ✅
- Data Extraction and Transformation - Ongoing 🕑
-
Staging Area Preparation:
- Set up temporary tables and schemas to stage incoming data.
-
Data Loading:
- Implement insertion processes ensuring data consistency and avoiding duplication.
-
Performance Optimization:
- Index tables to speed up querying.
- Schedule incremental loads for periodic updates.
Para este projeto, utilizarei o banco de dados PostgreSQL estanciado no site render.com
Essa será a estrutura do banco de dados, modelagem star schema simples:
Claro! Vou ajustar a documentação mantendo o foco no fluxo e modelagem, enquanto destacamos a estrutura e os próximos passos para a carga no PostgreSQL.