Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Annamaria D'urzo - I sistemi informatici SITIC SIGIS Output-CN

44,809 views

Published on

Innovazione di processo e infrastrutturale per la gestione degli indicatori delle statistiche economiche e degli aggregati di Contabilità nazionale
http://www.istat.it/it/archivio/193422

Published in: Education
  • Login to see the comments

  • Be the first to like this

Annamaria D'urzo - I sistemi informatici SITIC SIGIS Output-CN

  1. 1. I sistemi informatici SITIC SIGIS Output-CN Annamaria D’Urzo 12/12/2016
  2. 2. Indice 1. Introduzione 2. Funzionalità 3. Definizione serie 4. Modello logico dei dati 5. Possibili evoluzioni ed informazioni tecniche I sistemi informatici SITIC, SIGIS, Output-CN, Annamaria D’Urzo – Roma, 12/12/2016
  3. 3. Introduzione • Creato nel 2009 per mettere a fattore comune il processo di destagionalizzazione delle indagini congiunturali • Unico DB contenitore di tutti i dati aggregati delle indagini congiunturali, sia di quelle che necessitano del processo di destagionalizzazione sia delle altre, secondo un medesimo formato • Unico accesso per la produzione dell’output verso I.STAT ed Eurostat (sia in formato Gesmes che SDMX) I sistemi informatici SITIC, SIGIS, Output-CN, Annamaria D’Urzo – Roma, 12/12/2016 SITIC Sistema informativo trattamento indicatori congiunturali 1
  4. 4. Funzioni di caricamento dati SITIC 2 Aggiornamento periodico dei dati Aggiornamento una tantum delle tabelle di metadati tramite upload di file secondo tracciati prestabiliti I sistemi informatici SITIC, SIGIS, Output-CN, Annamaria D’Urzo – Roma, 12/12/2016 Cancellazione dei dati
  5. 5. Funzioni di trattamento dati SITIC 3 Destagionalizzazione serie Diffusione dati e pubblicazione su I.STAT I sistemi informatici SITIC, SIGIS, Output-CN, Annamaria D’Urzo – Roma, 12/12/2016
  6. 6. Definizione Serie SITIC 4 SERVIZIO Rilevazione di riferimento VARIABILE Variabile oggetto di studio PRIMA CLASSIFICAZIONE Tipologia classificazione Livello classificazione Codice classificazioneSECONDA CLASSIFICAZIONE ANNO BASE Anno base di riferimento della serie I sistemi informatici SITIC, SIGIS, Output-CN, Annamaria D’Urzo – Roma, 12/12/2016
  7. 7. SITIC Modello logico dei dati 5 AGGIUSTAMENTO CODICE: NUMBER DESCRIZIONE: VARCHAR2(170) AGGREGAZIONI SERVIZIO: VARCHAR2(6) VAR_AGGREGATA: VARCHAR2(20) CLASS_1A: VARCHAR2(8) COD_LIV_1A: VARCHAR2(2) CODICE_1A: VARCHAR2(10) CLASS_2A: VARCHAR2(8) COD_LIV_2A: VARCHAR2(2) CODICE_2A: VARCHAR2(10) ANNO_BASE: NUMBER PROGRESSIVO: NUMBER ORDINE_AGGR: NUMBER VAR_COMPONENTE: VARCHAR2(20) CLASS_1C: VARCHAR2(8) COD_LIV_1C: VARCHAR2(2) CODICE_1C: VARCHAR2(10) CLASS_2C: VARCHAR2(8) COD_LIV_2C: VARCHAR2(2) CODICE_2C: VARCHAR2(10) FUNZIONE: VARCHAR2(10) ANNO_INI: NUMBER MESE_INI: NUMBER ANNO_FIN: NUMBER MESE_FIN: NUMBER ANNI_BASE ANNO: NUMBER DESCRIZIONE: VARCHAR2(200) APPROCCIO CODICE: VARCHAR2(3) DESCRIZIONE: VARCHAR2(19) AUTORIZ SERVIZIO: VARCHAR2(6) UTENTE: VARCHAR2(50) COD_FUNZ: NUMBER DESCR_FUNZ: VARCHAR2(200) CATEGORIE_INDICI CATEGORIA_IND: VARCHAR2(1) DESCRIZIONE: VARCHAR2(64) GESMES: VARCHAR2(1) GESMES_LCI: VARCHAR2(4) CLASSIFICAZIONI CODICE: VARCHAR2(10) DESCRIZIONE: VARCHAR2(200) CLASSIFICAZIONI_LIVELLI CLASSE: VARCHAR2(4) LIVELLO: VARCHAR2(2) DESCRIZIONE: VARCHAR2(50) CODICI_DIFFUSIONE CODICE: NUMBER DESCRIZIONE: VARCHAR2(100) DATE_COMUNICATI SERVIZIO: VARCHAR2(3) DATA_CS: NUMBER(6) DATA_COMUNICATO: VARCHAR2(10) TIPO_IND: VARCHAR2(3) ANNO: NUMBER MESE: NUMBER DESCR_CLASSIFICAZIONI CLASSE: VARCHAR2(10) LIVELLO: VARCHAR2(2) CODICE: VARCHAR2(15) DESCRIZIONE: VARCHAR2(200) CODICEISTAT: VARCHAR2(50) DIFFUSIONE SERVIZIO: VARCHAR2(3) VARIABILE: VARCHAR2(20) CLASS_1: VARCHAR2(8) COD_LIVELLO_1: VARCHAR2(2) CODICE_1: VARCHAR2(10) CLASS_2: VARCHAR2(8) COD_LIVELLO_2: VARCHAR2(2) CODICE_2: VARCHAR2(10) ANNO_BASE: NUMBER CONFIDENZIALE: VARCHAR2(1) DIFF_GESMES: NUMBER DIFF_CONISTAT: NUMBER NOME_VAR_GES: VARCHAR2(20) INDICATORE_GES: VARCHAR2(10) ACTIVITY_GES: VARCHAR2(30) CON_GRE: VARCHAR2(30) CON_COR: VARCHAR2(30) CON_DES: VARCHAR2(30) ANNO_SER: NUMBER MESE_SER: NUMBER NOMEDATASET: VARCHAR2(50) DIFF_I_STAT: NUMBER FATTORI_FISSI SERVIZIO: VARCHAR2(3) NOME_TS: VARCHAR2(30) MESE: NUMBER ANNO: NUMBER SEASONAL: NUMBER CALENDAR: NUMBER FUNZIONI CODICE: NUMBER FUNZIONE: VARCHAR2(20) DESCRIZIONE: VARCHAR2(200) FUNZIONI_MENU COD_FUNZ: NUMBER DESCR_FUNZ: VARCHAR2(200) GRANT_FUNZ: VARCHAR2(10) PROGRAMMA: VARCHAR2(50) COD_FUNZ_PADRE: NUMBER PROGR: NUMBER TIPO: CHAR(1) INDICI SERVIZIO: VARCHAR2(6) VARIABILE: VARCHAR2(20) CATEGORIA_IND: VARCHAR2(1) TIPO_IND: VARCHAR2(3) ANNO_BASE: NUMBER ANNO: NUMBER MESE: NUMBER CLASS_1: VARCHAR2(8) COD_LIV_1: VARCHAR2(2) CODICE_1: VARCHAR2(10) CLASS_2: VARCHAR2(8) COD_LIV_2: VARCHAR2(2) CODICE_2: VARCHAR2(10) INDICE: NUMBER DATA_CS: NUMBER MEDIE_WDA SERVIZIO: VARCHAR2(3) NOME_TS: VARCHAR2(30) VALORE: NUMBER DATA_CS: NUMBER MODELLI SERVIZIO: VARCHAR2(6) VARIABILE: VARCHAR2(20) PROGRESSIVO: NUMBER CLASS_1: VARCHAR2(8) COD_LIVELLO_1: VARCHAR2(2) CODICE_1: VARCHAR2(10) CLASS_2: VARCHAR2(8) COD_LIVELLO_2: VARCHAR2(2) CODICE_2: VARCHAR2(10) ANNO_BASE: NUMBER ANNO_INI: NUMBER MESE_INI: NUMBER VERSIONE: NUMBER NOME_TS: VARCHAR2(30) ANNO_FIN: NUMBER MESE_FIN: NUMBER ANNO_SER: NUMBER MESE_SER: NUMBER MODELLO: NUMBER PARAMETRO: VARCHAR2(150) PDS NOMEDATASET: VARCHAR2(30) SERVIZIO: VARCHAR2(6) NOMEFILE: VARCHAR2(30) TEMA: VARCHAR2(50) SOTTOTEMA: VARCHAR2(50) PERIODICITA: INTEGER PESI SERVIZIO: VARCHAR2(6) VARIABILE: VARCHAR2(20) CLASS_1: VARCHAR2(8) COD_LIVELLO_1: VARCHAR2(2) CODICE_1: VARCHAR2(10) CLASS_2: VARCHAR2(8) COD_LIVELLO_2: VARCHAR2(2) CODICE_2: VARCHAR2(10) ANNO_BASE: NUMBER TIPO_PESO: VARCHAR2(4) ANNO_INI: NUMBER ORDINE_AGGREG: NUMBER VALORE: NUMBER DATA_CS: NUMBER ANNO_FIN: NUMBER RIEPILOGO SERVIZIO: VARCHAR2(6) VARIABILE: VARCHAR2(20) CLASS_1: VARCHAR2(8) COD_LIV_1: VARCHAR2(2) CODICE_1: VARCHAR2(10) CLASS_2: VARCHAR2(8) COD_LIV_2: VARCHAR2(2) CODICE_2: VARCHAR2(10) ANNO_BASE: NUMBER ANNO_INI: NUMBER MESE_INI: NUMBER FREQUENZA: NUMBER ANNO_FIN: NUMBER MESE_FIN: NUMBER APPROCCIO: VARCHAR2(4) AGGIUSTAMENTO: NUMBER ORDINE_AGGR: NUMBER RIFERIMENTI_GESMES SERVIZIO: VARCHAR2(3) VARIABILE: VARCHAR2(20) NOME_VAR_GES: VARCHAR2(30) RIFERIMENTO: VARCHAR2(100) RECAPITO: VARCHAR2(100) COMMENTO: VARCHAR2(100) NOME_IDE5: VARCHAR2(100) SER_VAR_I_STAT SERVIZIO: VARCHAR2(3) VARIABILE: VARCHAR2(20) CODICE_I_STAT: VARCHAR2(20) DECIMALI: NUMBER SERVIZI SERVIZIO: VARCHAR2(6) DESCRIZIONE: VARCHAR2(100) DECIMALI: NUMBER TIPO_IND_NO_I_STAT: VARCHAR2(20) SITIC_I_STAT SERVIZIO: VARCHAR2(3) VARIABILE: VARCHAR2(20) CLASS_1: VARCHAR2(8) COD_LIVELLO_1: VARCHAR2(2) CODICE_1: VARCHAR2(10) CLASS_2: VARCHAR2(8) COD_LIVELLO_2: VARCHAR2(2) CODICE_2: VARCHAR2(10) ANNO_BASE: NUMBER I_STAT_KEY1: VARCHAR2(50) I_STAT_KEY2: VARCHAR2(50) I_STAT_FREQ: VARCHAR2(1) STRUTTURA_PDS NOMEDATASET: VARCHAR2(30) SERVIZIO: VARCHAR2(6) CODICE: VARCHAR2(20) ORDINECOLONNA: INTEGER TIPOCODICE: INTEGER LIVDEFAULT: VARCHAR2(2) CODDEFAULT: VARCHAR2(10) TIPI_INDICE TIPO_IND: VARCHAR2(3) DESCR_INDICE_ALTRI_SERVIZI: VARCHAR2(12) DESCR_INDICE_IPI: VARCHAR2(27) ORDINE: NUMBER TIPO_MODELLO CODICE: NUMBER DESCRIZIONE: VARCHAR2(100) TIPO_PUBBLICABILITA CODICE: VARCHAR2(1) DESCRIZIONE: VARCHAR2(100) TIPO_VERSIONE CODICE: NUMBER VERSIONE: VARCHAR2(50) UTENTI SERVIZIO: VARCHAR2(6) UTENTE: VARCHAR2(50) PASSWORD: VARCHAR2(50) PATH_ORA: VARCHAR2(100) PATH_INP: VARCHAR2(100) PATH_OUT: VARCHAR2(100) SERVER_DATI: VARCHAR2(50) TABIND: VARCHAR2(50) VARIABILI CODICE: VARCHAR2(20) DESCRIZIONE: VARCHAR2(150) TEMPLATE: NUMBER VINTAGE SERVIZIO: VARCHAR2(6) VARIABILE: VARCHAR2(20) CATEGORIA_IND: VARCHAR2(1) TIPO_IND: VARCHAR2(3) CLASS_1: VARCHAR2(8) COD_LIV_1: VARCHAR2(2) CODICE_1: VARCHAR2(10) CLASS_2: VARCHAR2(8) COD_LIV_2: VARCHAR2(2) CODICE_2: VARCHAR2(10) ANNO_BASE: NUMBER ANNO: NUMBER MESE: NUMBER DATA_CS: NUMBER INDICE: NUMBER DIFFUSION ERIEPILOG O INDIC I VINTAG E MODELL I AGGREGAZION I PDS SERI E è descritta da è destagionalizzata secondo è diffusa secondo è memorizzata in è destagionalizzata aggregando è storicizzata in è pubblicata in I.STAT per I sistemi informatici SITIC, SIGIS, Output-CN, Annamaria D’Urzo – Roma, 12/12/2016 PESI
  8. 8. SDMX RI SITIC Comunicazione con gli altri sistemi SITIC 6 INDICI_XX X INDIC I MASTOR E_CONG webservices INDICI_PUBBLI CI sorgente ods output INDICI_YY Y INDICI_ZZ Z I sistemi informatici SITIC, SIGIS, Output-CN, Annamaria D’Urzo – Roma, 12/12/2016 INDICI_FF F xml, csv gesmes sdmx
  9. 9. Possibili evoluzioni • Eurostat sta lavorando ad una nuova versione open in java del programma di destagionalizzazione dovrà esserne valutato l’inserimento in SITIC Informazioni tecniche • L’indirizzo web è http://sitic.istat.it • Il sistema è costituito da un interfaccia web in php sul server newjersey e da un db Oracle su EXADATA istanza EXAPES ed il database MASTORE_CONG è sul Server DBSDMX • L’autenticazione è effettuata tramite tabelle interne, soltanto per la comunicazione con I.STAT è richiesta un’utenza di dominio SITIC 7 I sistemi informatici SITIC, SIGIS, Output-CN, Annamaria D’Urzo – Roma, 12/12/2016
  10. 10. SIGIS Sistema informativo gestione indicatori strutturali 8 Introduzione • L’ottima esperienza di SITIC ha spinto perché fosse realizzato un ambiente analogo per le indagini strutturali • Punto d’integrazione dei macrodati strutturali ed unico ambiente di storage • Unico ambiente per la gestione dei metadati e della loro transcodifica • Ambiente unico per la generazione dei diversi output statistici necessari I sistemi informatici SITIC, SIGIS, Output-CN, Annamaria D’Urzo – Roma, 12/12/2016
  11. 11. Funzioni SIGIS 9 Operazioni caricamento dati e produzione output Definizione metadati Definizione tracciati di output I sistemi informatici SITIC, SIGIS, Output-CN, Annamaria D’Urzo – Roma, 12/12/2016
  12. 12. Funzione di definizione di un aggregato SIGIS 10 I sistemi informatici SITIC, SIGIS, Output-CN, Annamaria D’Urzo – Roma, 12/12/2016
  13. 13. SIGIS 11 Funzione di definizione di un tracciato I sistemi informatici SITIC, SIGIS, Output-CN, Annamaria D’Urzo – Roma, 12/12/2016
  14. 14. Definizione Serie SIGIS 12 ID_AGGREGATO Identificativo numerico univoco per l’aggregato INDAGINE Rilevazione di riferimento MISURA Variabile oggetto di studio Anno di inizio validità PRIMA CLASSIFICAZIONE Tipologia classificazione Codice classificazione Anno di inizio validità della codifica SECONDA CLASSIFICAZIONE TERZA CLASSIFICAZIONE QUARTA CLASSIFICAZIONE QUINTA CLASSIFICAZIONE I sistemi informatici SITIC, SIGIS, Output-CN, Annamaria D’Urzo – Roma, 12/12/2016
  15. 15. SIGIS Modello logico Database 13 I sistemi informatici SITIC, SIGIS, Output-CN, Annamaria D’Urzo – Roma, 12/12/2016
  16. 16. SIGIS Comunicazione con gli altri sistemi SIGIS 14 DATI_2 TRANSCOD_ 2 DATI INDICI_PUBBLI CI sorgente ods output DATI_1 TRANSCOD_1 DATI_3 TRANSCOD_ 3 I sistemi informatici SITIC, SIGIS, Output-CN, Annamaria D’Urzo – Roma, 12/12/2016 csv per Tau-Argus csv per I.STAT
  17. 17. Possibili evoluzioni • Comunicazione con I.STAT sia in termini di piano di spoglio sia per il popolamento diretto Informazioni tecniche • L’indirizzo web è http://sigis.istat.it • Il sistema è costituito da un interfaccia web in php sul server kentucky e da un db Oracle su EXADATA istanza EXAACQ • L’autenticazione è realizzata sul server di posta Istat, l’abilitazione alle funzioni è realizzata applicativamente SIGIS Sistema informativo gestione indicatori strutturali 15 I sistemi informatici SITIC, SIGIS, Output-CN, Annamaria D’Urzo – Roma, 12/12/2016
  18. 18. Introduzione • Il sistema CN_Output è stato realizzato per la memorizzazione dei dati aggregati validati dalla Contabilità Nazionale secondo il nuovo regolamento SEC2010 in vista della loro diffusione a livello Europeo, ad Eurostat via sdmx, ed a livello nazionale su I.STAT • Il sistema è costituito dalle seguenti componenti:  cruscotto applicativo  caricamento dati  creazione file per l’output  consultazione dei dati Output CN 16 I sistemi informatici SITIC, SIGIS, Output-CN, Annamaria D’Urzo – Roma, 12/12/2016
  19. 19. Funzioni dello cruscotto applicativo Output CN 17 I sistemi informatici SITIC, SIGIS, Output-CN, Annamaria D’Urzo – Roma, 12/12/2016
  20. 20. ETL: Caricamento dati Output CN 18 Kettle: strumento ETL standard per ISTAT S E T T O R I D I P R O D U Z I O N E PLSQ L Kettle I sistemi informatici SITIC, SIGIS, Output-CN, Annamaria D’Urzo – Roma, 12/12/2016 Ogni processo di caricamento, sia in termini di definizione che in termini di esecuzione, è tracciato nel database
  21. 21. SDMX RI SITIC 19 MASTOR E_CN webservices CN_DATI_PUBBLI CI I sistemi informatici SITIC, SIGIS, Output-CN, Annamaria D’Urzo – Roma, 12/12/2016 Output CN Output: creazione file per i sistemi di diffusione xml, csv
  22. 22. Output CN 20 Microstrategy : consultazione dati I sistemi informatici SITIC, SIGIS, Output-CN, Annamaria D’Urzo – Roma, 12/12/2016
  23. 23. Database • E’ stato realizzato un database di tipo multidimensionale seguendo uno schema a stella, ovvero al centro c'è la tabella dei "fatti" che contiene gli aggregati e ad essa sono associate tutte le dimensioni interessate • Sono stati definiti come processi di caricamento anche i processi che permettono il calcolo di alcuni aggregati ad hoc ottenibili come somma o prodotto di altri aggregati o con precise formule come la variazione o il concatenato • La diffusione dei dati è stata realizzata tramite due funzioni PLSQL ad hoc, una per ogni destinatario di dati. Le funzioni producono i diversi output leggendo gli aggregati da diffondere da tabelle di metadati. Output CN 21 I sistemi informatici SITIC, SIGIS, Output-CN, Annamaria D’Urzo – Roma, 12/12/2016
  24. 24. Possibili evoluzioni • Inserimento nel database di altri flussi e produzione di altre tavole per l’output Informazioni tecniche • Il cruscotto cosi come il sistema di consultazione dati è possibile soltanto per gli utenti interni alla direzione di contabilità • Il cruscotto è in php sul server dccnweb e da un db Oracle su EXADATA istanza EXAGEM • L’infrastruttura SDMX-RI è installata su avana2012 ed il database MASTORE_CN è sul Server DBSDMX Output-CN 22 I sistemi informatici SITIC, SIGIS, Output-CN, Annamaria D’Urzo – Roma, 12/12/2016
  25. 25. Conclusioni Grazie a chi ha lavorato per la parte ICT Sabrina Brunetti Alessio Cardacino Mariano Crea Gianluca D’Amato Annunziata Fiore Rosaria Occulto Camilla Papa Marco Ricci Alessandra Tabusi I sistemi informatici SITIC, SIGIS, Output-CN, Annamaria D’Urzo – Roma, 12/12/2016

×