I risultati del progetto Kublai

Valutazione del Progetto Kublai
Risultati Completi
primo draft

Status della valutazione
What Status
Casi studio In fase di completamento
Survey Completata - 81 rispondenti su 575 portatori di
progetto contattati in 4 istanze:
Prima mail generale contenente la survey
Seconda mail collettiva di richiamo
Mail collettiva di richiamo da parte dello staff
di Uval
Messaggio personale sulla piattafoma a oltre
200 promotori iscritti negli anni 2011-2014
Analisi dei dati Della piattaforma Completata
Studio di fattibilità In corso

Obiettivi della valutazione
Obiettivo generale
• Fornire un strumento utile ad una presa di decisione razionale
ed evidence-based
Obiettivi specifici
• Valutazione dei risultati del progetto Kublai dal 2008 fino ad oggi
• Studio di fattibilità sull’assetto futuro dell’iniziativa
• Informazione e sensibilizzazione sul progetto interna alla
amministrazione e nei confronti dell’opinione pubblica

Obiettivi del progetto
Obiettivi principali
• Migliorare l’impatto dei fondi strutturali
• Migliorare il coinvolgimento degli utenti nei finanziamenti pubblici
• Fornire ai creativi competenze necessarie alla progettazione e
alla redazione di bandi
• Coinvolgere i creativi nei programmi di finanziamento pubblico
attraverso un approccio informale e peer to peer
Obiettivi accessori
• Aumentare il numero di utenti supportati attraverso l’utilizzo di
meccanismi peer to peer
• Raggiungere nuove competenze utili al Ministero
• Diffondere verso altri programmi approcci alla Kublai
• Incoraggiare la condivisione di conoscenza e idee fra i
partecipanti

Benefici attesi per i partecipanti
Benefici dell’iniziativa
• Generica acquisizione di competenze in materia di elaborazione
dei progetti
• Ottenimento di specifici consigli utili al miglioramento del
progetto
• Promozione e comunicazione del progetto verso possibili
finanziatori
• Capacità di networking ed accesso a possibili collaboratori del
progetto
• Conseguimento di concrete collaborazioni con altri Kublaiani

Risultati per criterio di valutazione
• Rilevanza
• Efficienza
• Efficacia
• Addizionalita’
• Sostenibilita’

Rilevanza: domande, indicatori e fonti di valutazione
Domanda Indicatore Fonte
Si è coinvolto il target previsto
(creative innovativi con scarse
competenze progettuali da aree
svantaggiate)?
% di utenti nuovi ai
finanziamenti pubblici
survey portatori di progetto
% da sud Italia; % laureati survey portatori di progetto
valutazione originalità di
progetti
desk-based analisi dei progetti
% di utenti che non avevano
realizzato progetti autonomi fino
ad oggi
distribuzione geografica utenti
attiv/portatori di progettoi
% di progetti con forte componente
web
Dati piattaforma
Adeguatezza del peer to peer % di partecipanti che hanno
proposto idee di progetto;
Dati piattaforma
% di utenti che valutano
utile/molto utile I consigli di altri
kublaiani

Rilevanza – Area d’impatto dei progetti
15%
12%
42%
31%
Nord
Centro
Sud e Isole
Livello Nazionale

Rilevanza - Area di provenienza dei progettisti
56%
44%
Regione competitiva
Regione convergente

Rilevanza – Genere dei progettisti
54%
46%
Maschile
Femminile

Rilevanza – Età dei progettisti
7%
33%
31%
21%
5%
3%
18-25
26-35
36-45
46-55
56-65
>65
42% ha meno di 35 anni

Rilevanza – Anno d’iscrizione alla piattaforma
12%
11%
10%
11%
14%
26%
16%
2008
2009
2010
2011
2012
2013
2014

Rilevanza – Livello educativo dei progettisti
1%
26%
48%
15%
10%
Scuole Elementari
Scuole Superiori
Laurea
Master
Dottorato di Ricerca
73% ha laurea

Rilevanza – Status lavorativo dei progettisti
16%
17%
31%
27%
9%
Studente
In cerca di occupazione
Libero professionista
Dipendente
Imprenditore
67% e’
occupato

Rilevanza – Anni di esperienza dei progettisti
15%
10%
34%
41% <1
1-3
3-10
>10
75% ha più
di 3 anni di
esperienza

58%
47%
26%
37%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Aveva mai redatto un progetto prima di partecipare a
Kublai?
Aveva mai gestito iniziative (profit o nonprofit)?
Aveva già ricevuto finanziamenti pubblici o privati per i
suoi progetti, prima di aver presentato il progetto a
Kublai?
Oltre a Kublai, ha mai usato altri servizi di supporto alla
progettazione
Si
No
Rilevanza – Esperienza precedente a Kublai

Efficienza: domande, indicatori e fonti di valutazione
Si è ottenuta una adeguata
partecipazione?
n. utenti; % utenti attivi; trend
nel tempo
dati di progetto
n. commenti dati di progetto
n. commenti totali/n commenti
staff
dati piattaforma
costo per commento; costo
per utente
dati piattaforma/dati di progetto
si è riuscito ad aiutare un numero
di utenti più' elevati dei servizi
tradizionali?
costo per utente supportato /
anno
dati di progetto

Efficienza: risultati della valutazione
Budget totale (7 anni) € 1.441.514,00
N. Commenti totali 15959
N. Utenti totali 3861
N. Progetti totali 576
Costo per commento € 90,33
Costo per utente € 373,35
Costo per progetto € 2.502,63
90
550
Kublai EU ePar cipa on
project
Costo per commento in EUR

Efficacia e addizionalità: domande, indicatori e fonti di valutazione
Valore dei consigli ricevuti % di utenti che rispondono utile
o molto utile
Quanto ha fornito elementi unici
rispetto ad altre piattaforme? %
di utenti che rispondono si
Lo staff centrale ha fornito
consigli utili? % di utenti che
rispondono utile o molto utile
I kublaiani hanno fornito
consigli utili? % di utenti che
rispondono utile o molto utile
Servizi più utili di Kublai survey portatori di progetto
Saresti disposto a pagare una
fee (10 E mensuali) per usare
Kublai / attribuisci un valore ai
consigli ricevuti su Kublai - %
di utenti che rispondono si

Efficacia dell’autoselezione % di progetti di successo fra I 50 più
discussi
analisi desk e dati piattaforma
corrispondenza fra progetti più
discussi e progetti vincitori
dati piattaforma; risultati awards
Acquisizione di competenze Scelta multipla: % di utenti che
rispondono si
Esempi di progetti migliorati
sensibilmente
Casi di studio
I progetti sono diventati realtà? (incl.
data)
% di utenti che rispondono si ; %
su categorie specifiche
% di utenti che hanno ricevuto
finanziamenti ; % su categorie
specifiche
se si, in che misura questo
successo è attribuibile a Kublai %
di utenti che rispondono rilevante
o molto rilevante
Impatto su cittadini numero totale utenti dei servizi
realizzati
Survey portatori di progetto
nuove collaborazioni reclutate
tramite Kublai
numero intervista a committente
Efficacia e addizionalità: domande, indicatori e fonti di valutazione

Efficacia – Utilità percepita delle varie attività
1 1.5 2 2.5 3 3.5 4 4.5 5
La partecipazione al forum web
Il feedback ricevuto da altri Kublaiani
La partecipazione ad eventi
Uso di materiale prodotto dal progetto
Il feedback ricevuto dallo staff

Efficacia – Benefici percepiti dalle varie attività
1 1.5 2 2.5 3 3.5 4 4.5 5
Acquisizione di nuove collaborazioni con
un’amministrazione pubblica
Visibilità e capacità di ottenere finanziamenti
pubblici o privati
Apertura di collaborazioni con altri Kublaiani
Acquisizione di skills professionali
Miglioramento dell’idea progettuale
Sviluppo dell’attitudine alla condivisione e
collaborazione

Efficacia – Realizzazione del progetto
31%
23%
46%
Si, esattamente come
previsto
Si, in maniera differente
No
54% ha
realizzato il
progetto

Efficacia – Rapporto fra feedback forniti e ricevuti
14%
4%
43%
20%
19%
Dato molto di più
Dato un po di più
Paritario
Ricevuto un po di più
Ricevuto molto di più
39% ha saldo
positivo contro il
18% con saldo
negativo

Efficacia – Misura in cui sono state condivise informazioni
5%
18%
27%
32%
18%
Per nulla
Poco
Abbastanza
Molto
Moltissimo
Il 50% ha
condiviso
molto, il
23% ha
condiviso
poco

Efficacia – Soddisfazione generale di Kublai
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
Si No
Raccomanderebbe Kublai ad altri? Presenterebbe altri progetti a Kublai?
Il 30% sarebbe
disposto a pagare
almeno 5
EUR/mese

Addizionalità – Realizzazione del progetto senza Kublai
53%
10%
21%
16%
Si
Si, avrei avviato un'iniziativa
diversa/più debole
Si, ma ci avrei messo più
tempo
No
47% ha avuto
un effetto
addizionale da
Kublai
(Base: solo chi
ha realizzato il
progetto)

Addizionalitá – Giudizio su Kublai rispetto ad altri servizi
alla progettazione
7%
18%
18%
4%
21%
32%
Molto meno utile
Meno utile
Di uguale utilità
Poco più utile
Molto più utile
Utile, ma in maniera diversa
57% ha avuto
valore aggiunto
da Kublai
rispetto ad altri
servizi
(base: solo chi ha
utilizzato altri
servizi)

La partecipazione è in crescita? utenti attivi/mese; visite/ mese dati piattaforma
I progetti supportati sono
continuati?
% di utenti che rispondono si survey portatori di progetto
Hanno condotto alla creazione di
imprese e posti di lavoro?
% di utenti che rispondono si survey portatori di progetto
Gli enti beneficiari sono interessati
ai servizi di Kublai?
numero di enti interviste a stakeholder
L’approccio Kublai è stato adottato
da altri enti pubblici?
numero casi citati intervista a committente /
stakeholder
Sostenibilità: domande, indicatori e fonti di valutazione

Sostenibilitá – trend della partecipazione (2008 = 100)

Sostenibilità – Progetti e creazione di attivitá economiche
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
Si No
Il progetto è ancora attivo?
Ha creato un'impresa, un'associazione o una cooperativa a seguito del progetto?

Rilevanza - Analisi empirica sull’impatto
Analisi Metodologia
Creazione di gruppi basati sulle variabili di profilo K-means clustering
Estrazione di due variabili:
Utilità percepita
o Feedback ricevuto dallo staff
o Feedback ricevuto da altri Kublaiani
o Uso di materiale del progetto
o Partecipazione ad eventi
o Partecipazione al forum web
Impatto percepito
o Sviluppo dell’attitudine alla condivisione e
alla collaborazione
o Miglioramento dell’idea progettuale
o Miglioramento di skills professionali
o Apertura di collaborazioni con altri Kublaiani
o Visibilità e capacità di ottenere finanziamenti
o Acquisizione di collaborazioni con
un’amministrazione pubblica
Factor analysis
Correlazione tra i fattori estratti e variabili qualitative Univariate Anova – univariate analysis of variance
Correlazione tra variabili Pearson's chi-squared test

Risultati dell’analisi empirica (1)
• PRESENZA di correlazione significativa tra impatto/utilità
o Provenienza da regioni convergenti
o Difficoltà nella realizzazione del progetto
o Condivisione delle informazioni
• MANCANZA di correlazione significativa tra impatto/utilità
o Esperienza in redazione di progetti
o Esperienza in gestione di iniziative
o Aver già ottenuto finanziamenti prima di Kublai
o Esperienza professionale
o Livello educativo
o Tipo di occupazione

Risultati dell’analisi empirica (2)
• Gli utenti con minore esperienza manageriale hanno una percezione maggiore di:
o Utilità dell’uso del materiale di progetto
o Utilità del feedback ricevuto dallo staff
o Utilità del feedback ricevuto dagli altri Kublaiani
o Utilità di Kublai nell’acquisizione di skills professionali
• Gli utenti con minore esperienza manageriale hanno una maggiore tendenza a non
realizzare il progetto o a realizzarlo in maniera differente rispetto all’idea originaria
• Gli utenti con meno esperienza manageriale hanno una maggiore tendenza a non
realizzare il progetto o a realizzarlo in maniera più debole/o impiegando più tempo
• Gli utenti provenienti da regioni convergenti sono più propensi a presentare altri
Progetti su Kublai

Rilevanza….in altre parole
• I Kublaiani del sud ed quelli senza esperienza
manageriale giudicano Kublai piú utile
• I Kublaiani con esperienza manageriale hanno
maggiore probabilitá di realizzare il progetto, ma lo
avrebbero realizzato indipendentemente da Kublai
• Non ci sono altre differenze significative nell’impatto
fra Kublaiani skilled/unskilled

Bottlenecks nell’interazione (TBC)

Idee per lo studio di fattibilitá (1) (TBC)

Idee per lo studio di fattibilitá (2) (TBC)

Prossimi steps
What When
Webinar sullo studio di fattibilità 4 Luglio
Conclusione analisi dei dati della piattaforma 6 Luglio
Conclusione dei casi studio
13 Luglio
Invio report finale sulla valutazione sulla base
dei commenti ricevuti
20 Luglio
Conclusione dello studio di fattibilità 31 Luglio

www.open-evidence.com
David Osimo
Francesco Mureddu
C/Roc Boronat 117 8th Floor
08018 Barcelona Spain
Phone: +34 934 505252
dosimo@open-evidence.com
fmureddu@open-evidence.com

Anova output – esempio caso significativo
Sum of Squares df
Mean
Square
F Sig.
Perceived Impact
Between Groups 4,846 1 4,846 5,046 ,028
Within Groups 72,032 75 ,960
Total 76,878 76
Perceived utility
Between Groups 4,427 1 4,427 4,628 ,035
Total 80,000 80

Anova output – Statistica descrittiva
N Mean
Std.
Deviation
Std. Error
95% Confidence
Interval for Mean
Minimum Maximum
Between-
Compone
nt
Variance
Lower
Bound
Upper
Bound
FAC1_1
Perceived
Impact
Competitivo 41 -,2261676 ,92705156 ,14478113 -,5187812 ,0664460 -1,42236 1,57135
Convergente 36 ,2766494 1,03723504 ,17287251 -,0743005 ,6275992 -1,42236 2,55376
Total 77 ,0089157 1,00576182 ,11461720 -,2193643 ,2371956 -1,42236 2,55376
Model
Fixed
Effects
,98001335 ,11168289 -,2135680 ,2313994
Random
Effects
,25172823 -3,1895948 3,2074262 ,10136068
FAC1_2
Perceived
utility
Competitivo 45 -,2091052 ,97655226 ,14557582 -,5024939 ,0842836 -2,12679 1,56963
Convergente 36 ,2613815 ,97997167 ,16332861 -,0701933 ,5929562 -1,85412 1,56963
Total 81 ,0000000 1,00000000 ,11111111 -,2211182 ,2211182 -2,12679 1,56963
Model
Fixed
Effects
,97806867 ,10867430 -,2163108 ,2163108
Random
Effects
,23606644 -2,9995085 2,9995085 ,08676337

Means plots
Impattopercepito
Regioni competitive Regioni convergenti

Means plots
Utilitàpercepita

Means plots
Impattopercepito
In che misura ha condiviso informazioni sul progetto?
Si Si, ma avrei avviato
un’iniziativa diversa/più debole
Si, ma avrei impiegato più
tempo
No

Means plots
Utilitàpercepita
Si Si, ma avrei avviato
un’iniziativa diversa/più debole
tempo
No

Means plots
Utilitàpercepita
Per nulla Poco Abbastanza Molto Moltissimo

Anova output – esempio caso non significativo
Sum of Squares df
Mean
Square
F Sig.
FAC1_1 Perceived Impact
Between
Groups
1,480 1 1,480 1,457 ,231
Within Groups 75,181 74 1,016
Total 76,661 75
FAC1_2 Perceived utility
Between
Groups
3,979 1 3,979 4,100 ,046
Total 79,687 79

Means plots
Capacità manageriali
Variabile composta da esperienza in progettazione, esperienza in gestione
di initiative ed ottenimento previo di finanziamenti
Impattopercepito

Means plotsUtilitàpercepita
Capacità manageriali
Variabile composta da esperienza in progettazione, esperienza in gestione
di initiative ed ottenimento previo di finanziamenti

Pearson's chi-squared test – esempio caso significativo
Value df
Asymp. Sig. (2-
sided)
Pearson Chi-Square 13.034
a
4 ,011
Likelihood Ratio 13,673 4 ,008
Linear-by-Linear
Association
1,513 1 ,219
N of Valid Cases 80
a. 2 cells (20.0%) have expected count less than 5. The minimum expected count is 1.39.

00%
10%
20%
30%
40%
50%
60%
No Si
Esperienza manageriale
Molto bassa Bassa Media Alta Molto alta
Utilità del materiale di progetto
(Il rispondente ha già gestito dei progetti)
Analisi della correlazione (1)

00%
10%
20%
30%
40%
50%
60%
No Si
Utilità del feedback ricevuto dallo staff

Utilità del feedback ricevuto dagli altri Kublaiani
00%
05%
10%
15%
20%
25%
30%
35%
40%
No Si

Utilità di Kublai nell’acquisizione di skills professionali
00%
05%
10%
15%
20%
25%
30%
35%
40%
No Si

Ha realizzato il progetto?
00%
10%
20%
30%
40%
50%
60%
70%
No Si
Si Si, in maniera diversa No

Sarebbe riuscito a realizzare
il suo progetto senza Kublai?
00%
10%
20%
30%
40%
50%
60%
70%
80%
90%
No Si
Si
Si, ma avrei avviato
un’iniziativa diversa/più
debole
tempo
No

00%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
Presenterebbe altri progetti su Kublai Non presenterebbe altri progetti su Kublai

I risultati del progetto Kublai

Recommended

Recommended

More Related Content

Similar to I risultati del progetto Kublai

Similar to I risultati del progetto Kublai (20)

More from osimod

More from osimod (20)

I risultati del progetto Kublai