SiRDa: sistema de informação de recolha de dados - integração de dados do INE e do Eurostat através de processos ETL e visualização web interativa

Abstract

O presente relatório descreve o desenvolvimento do Projeto I, a primeira fase de um trabalho dividido em duas etapas, orientado para a construção de uma infraestrutura de recolha, transformação e armazenamento de dados estatísticos provenientes de fontes oficiais como o Instituto Nacional de Estatística (INE) e o Eurostat. Nesta fase inicial, o foco centrou-se na definição da arquitetura do sistema, na implementação do processo de recolha de dados através de APIs públicas e na modelação de uma base de dados dimensional capaz de integrar a informação recolhida de forma consistente e auditável. O trabalho foi desenvolvido segundo a metodologia de prototipagem, permitindo uma abordagem incremental. Foram concluídas as duas primeiras iterações: a 1.ª Iteração – Recolha de Dados, dedicada à implementação dos fluxos de ETL em SSIS e à construção de tabelas de staging; e a 2.ª Iteração – Modelação e Estrutura da Base de Dados, que resultou na definição de dimensões (Indicador, Região e Tempo) e na criação da tabela de factos central. O Projeto I permitiu estabelecer uma base sólida para o Projeto II, que terá como objetivo expandir o sistema para visualização interativa através de dashboards e mapas geográficos

Abstract: This report describes the development of Project I, the first phase of a two-stage work focused on building an infrastructure for the collection, transformation, and storage of statistical data from official sources such as the Instituto Nacional de Estatística (INE) and Eurostat. The main goals of this first phase were the definition of the system’s architecture, the implementation of data collection processes through public APIs, and the design of a dimensional database capable of integrating the collected information in a consistent and auditable manner. The project was carried out following the prototyping methodology, which allowed for an incremental approach. Two iterations were completed: the 1st Iteration – Data Collection, dedicated to the implementation of ETL flows in SSIS and the construction of staging tables; and the 2nd Iteration – Database Modeling and Structure, which produced the design of the main dimensions (Indicator, Region, and Time) and the creation of the central fact table. Project I established a solid foundation for Project II, which will focus on extending the system with interactive visualization through dashboards and geographic maps