SlideShare a Scribd company logo
1 of 31
Download to read offline
Making Social Innovators
Erste Evaluationsergebnisse der Pilotdurchführungen
CC BY 4.0 DOIT, http://DOIT-Europe.Net, H2020-770063 1
Mag. Dr. Elisabeth Unterfrauner
Überblick
• Evaluationsdesign
• Ergebnisse
– TeilnehmerInnen
– Facilitatoren
– Effekte: creativity und self- efficacy
– Ergebnisse von qualitativer Analyse
• Aussagekraft der Ergebnisse
CC BY 4.0 DOIT, http://DOIT-Europe.Net, H2020-770063 2
Picture from ZSI pilot
Early entrepreneurial education
EC thematic working group (2016): “Entrepreneurship
education is about learners developing the skills and
mind-set to be able to turn creative ideas into
entrepreneurial action. This is a key competence for all
learners, supporting personal development, active
citizenship, social inclusion and employability”
CC BY 4.0 DOIT, http://DOIT-Europe.Net, H2020-770063 3
Evaluationsdesign
Basierend auf Lackéus (2015):
Entrepreneurial attitudes: self-confidence, self-efficacy, sense of
initiative, ambiguity tolerance, perseverance;
Entrepreneurial skills: creativity, planning, financial literacy, managing
resources, managing uncertainty/risk, teamwork;
Entrepreneurial knowledge: assessment of opportunities, identifying
with the role of an entrepreneurs – self-reflection, how-to knowledge
CC BY 4.0 DOIT, http://DOIT-Europe.Net, H2020-770063 4
Evaluationsdimensionen
Based on theory by Lackeus (2015) evaluation
dimensions:
– Creativity
– Self-efficacy
– Teamwork, collaboration skills
– Dealing with uncertainty, overcoming road blocks
– Perseverance
– Awareness of others’ needs (empathy)
– Being motivated, sense of initiative
– Ability to plan, managing resources (planning
skills)
– Embrace new things (entrepreneurial identities)
Picture from ZSI pilot
Herausforderungen in der Evaluation
• Unterschiedliche Sprachen
• Vielfalt von Dimensionen
• Vielfalt an Instrumenten
• Alterspanne
• Unterschiedliche Umsetzung von DOIT
CC BY 4.0 DOIT, http://DOIT-Europe.Net, H2020-770063 6
Foto vom EduCentrum Pilot Foto vom SRFG Pilot
Foto vom IAAC Pilot
Evaluation design
• Mixed method approach
• Prä- und Post-test
• Verschiedene Instrumenten
– Kreativitätsscreening TSD-Z (Urban & Jellen,
2010)
– Self-rating Fragebogen (self-efficacy)
– Interviews mit Facilitatoren
– (Workshop-Dokumentation)
– (Kinder interviewen Kinder)
– (Feedback von Kindern)
CC BY 4.0 DOIT, http://DOIT-Europe.Net, H2020-770063 7
TeilnehmerInnen – Pilot 1
CC BY 4.0 DOIT, http://DOIT-Europe.Net, H2020-770063 8
538 Kinder
46,5 % weiblich , 53,5 %
männlich
Alterspanne von 6 bis 16 mit
einem Durchschnitt von 11
Jahren
TeilnehmerInnen
Setting/participant info Percentage Number
in school 63% 339
outside school 25% 137
Missing info 22% 62
less privileged background 31% 168
special needs 7% 38
rural areas 35% 189
advanced makers 3% 18
9
Kreativität - Test zum Schöpferischen
Denken (TDS-Z)
• Komponentenmodell der Kreativität
CC BY 4.0 DOIT, http://DOIT-Europe.Net, H2020-770063 10
CC BY 4.0 DOIT, http://DOIT-Europe.Net, H2020-770063 11
CC BY 4.0 DOIT, http://DOIT-Europe.Net, H2020-770063 12
Kreativität
• N=404/ 538
• Prä-Test-Score= 18,61
• Post-Test-Score= 20,43
• Signifikanter Unterschied (T=-4,706,
df=393, p=0,000)
• Effektgröße = 0,243
→ moderater Effekt nach Cohen (2013)
CC BY 4.0 DOIT, http://DOIT-Europe.Net, H2020-770063 13
Kreativität – Altersunterschiede
• Keine signifikanten
Unterschiede im Prätest
• Signifikante Unterschiede im
Posttest
CC BY 4.0 DOIT, http://DOIT-Europe.Net, H2020-770063 14
Kreativität - Geschlechtsunterschiede
• Keine signifikanten
Unterschiede im Prätest
• Signifikante Unterschiede im
Posttest
CC BY 4.0 DOIT, http://DOIT-Europe.Net, H2020-770063 15
Kreativität – TeilnehmerInnen mit
Behinderungen
• N=15
• Signifikante
Unterschiede
zwischen Prä-
und Postest
CC BY 4.0 DOIT, http://DOIT-Europe.Net, H2020-770063 16
Kreativität – Rahmenbedingungen
• Leichte Korrelationen zwischen
Anwesenheit und Kreativitätsscore
• Keine Korrelation mit Facilitatoren-
TeilnehmerInnen-Schlüssel
• Keine Korrelation mit
Facilititatorenkonstanz
• Kleiner negativer Effekt mit
Facilitatorenalter (umso jünger die
Facilitatoren, desto höher der Score)
17
Picture from UZAF pilot
Self-efficacy
• Self-efficacy is defined as a person's belief in his or
her capability to perform a task. Self-efficacy is not a
perceived skill; it is what a person believes he or she
can do with his or her skills under certain conditions
• it is what a person believes he or she can do, not
necessarily will do
(Maddux & Kleiman, 2012; Bandura, 1997).
CC BY 4.0 DOIT, http://DOIT-Europe.Net, H2020-770063 18
Self-efficacy
• N= 471/ 538
• Signifikante Unterschiede zwischen Prä-
(54,56) und Post-test (55,51)
• Auch auf Subscore Ebene:
– Self-efficacy in relation to others
– Self-concept of own capabilities
– Self-concept regarding problem
solving/uncertainty
• Ähnlich moderate Effektgröße (0,207)
CC BY 4.0 DOIT, http://DOIT-Europe.Net, H2020-770063 19
Picture from SFRG pilot
Self-efficacy – Altersunterschiede
• Beide Gruppen haben im
Post-Test höhere Werte
• Signifikante Unterschiede
zwischen den
Altersgruppen im Prä- und
im Posttest
• Sub-Score: der höchste
Wert findet sich bei beiden
Gruppen bei “Self-concept
of own capabilities”
CC BY 4.0 DOIT, http://DOIT-Europe.Net, H2020-770063 20
Self-efficacy – Geschlechtsunterschiede
• Keine signifikanten Unterschiede weder bei Prä- noch
Posttest
• Ausnahme: Geschlechtsunterschiede bei jüngerer
Altersgruppe: Buben weisen höhere Werte auf, im
Prä- und Posttest und auch auf Subscore-Level
21Picture from IAAC pilot
Self-efficacy – TeilnehmerInnen mit
Behinderung
Signifikante
Unterschiede im
Prä- und Posttest
CC BY 4.0 DOIT, http://DOIT-Europe.Net, H2020-770063 22
Self-efficacy – Rahmenbedingungen
• Keine Korrelation mit Anwesenheit
• Kein Facilitatoreneffekt (gender, age, constancy)
CC BY 4.0 DOIT, http://DOIT-Europe.Net, H2020-770063 23Picture from ZSI pilot
Qualitative Daten
• Bisher 24 Interviews (14 Frauen, 10 Männer)
• Zusätzlich Pilotdokumentation, Feedback durch TN,
Kinder Interviews, etc.
→ MAXQDA: Induktive und deductive Codes
CC BY 4.0 DOIT, http://DOIT-Europe.Net, H2020-770063 24
Qualitative Analyse I– Alter der TN
Im Allgemeinen je jünger ...
– ... desto leichter ablenkbar
– ... umso mehr Pausen und Bewegung dazwischen
notwendig
– ... desto niedriger der Facilitatoren-TN-Schlüssel
– ...umso weniger Planungs- und Management-
Skills
CC BY 4.0 DOIT, http://DOIT-Europe.Net, H2020-770063 25
Qualitative Analyse II – Special Needs
• Kinder mit Behinderung
– Gutes Arbeiten und Lernen im Team
– Positive Effekte in der sozialen Integration und
Selbstbewusstsein
• ‚Challenging kids‘
– Kinder können sich sehr gut in das Setting
einfügen und den Herausforderungen stellen
– “Gute” SchülerInnen haben manchmal
Schwierigkeiten mit der offenen Struktur des
Makerspace-Settings
CC BY 4.0 DOIT, http://DOIT-Europe.Net, H2020-770063 26
Qualitative Analyse III - Motivation
• Faktoren, welche die Motivation beeinflussen:
– Ownership (Idee, Prototyp, ...)
– Kleine Erfolgsschritte
– Spaß
– Mix an Aktivitäten
– Balance zwischen Theorie (Motivation phase) und
Praxis (making)
– Pausen
– Interessen, Initialmotivation
– Ausdauer hängt von Anfangsmotivation und
Persönlichkeit der Kinder ab
CC BY 4.0 DOIT, http://DOIT-Europe.Net, H2020-770063 27
Aussagekraft der Ergebnisse
• Keine Kontrollgruppe
• Unterschiedliche Rahmenbedingungen
• Unterschiedliche Sprachen und Kultur
-> dennoch: Übungseffekte könnten zT ausgeschlossen
werden
CC BY 4.0 DOIT, http://DOIT-Europe.Net, H2020-770063 28
Referenzen
• Bandura, A. (1997). Self-efficacy: The exercise of control.
Macmillan.
• Cohen, J. (2013). Statistical power analysis for the
behavioral sciences. Routledge.
• Eurydice. (2016). Entrepreneurship Education at School in
Europe: Eurydice Report. Publications Office of the
European Union.
• Lackéus, M. (2015). Entrepreneurship in education: What,
why, when, how. Background Paper. Paris: OECD
Publishing.
• Maddux, J. E., & Kleiman, E. M. (2012). Self-efficacy. The
Wiley Handbook of Positive Clinical Psychology, 89–101.
• Urban, K. K., & Jellen, H. G. (2010). Test zum
Schöpferischen Denken-Zeichnerisch (TSD-Z). Pearson
Assessment & Information GmbH.
CC BY 4.0 DOIT, http://DOIT-Europe.Net, H2020-770063 29
CC BY 4.0 DOIT, http://DOIT-Europe.Net, H2020-770063 30
Get in touch with DOIT
Dr. Elisabeth Unterfrauner
ZSI – Zentrum für Soziale Innovation
Wien
unterfrauner@zsi.at
http://DOIT-Europe.net
CC BY 4.0 DOIT, http://DOIT-Europe.Net, H2020-770063 31
DOIT.Europe.Net
@DOIT_Europe_Net
This project has received funding from the European
Union’s Horizon 2020 research and innovation
programme under grant agreement No 770063

More Related Content

Similar to [German] DOIT - First evaluation results by Elisabeth Unterfrauner (ZSI)

Agilität in Bibliotheken - Zweite Fassung
Agilität in Bibliotheken - Zweite FassungAgilität in Bibliotheken - Zweite Fassung
Agilität in Bibliotheken - Zweite FassungBeat Mattmann
 
Crowdsourcing -das_outsourcing_der_zukunft
Crowdsourcing  -das_outsourcing_der_zukunftCrowdsourcing  -das_outsourcing_der_zukunft
Crowdsourcing -das_outsourcing_der_zukunftkoglerma
 
Massive Open Online Courses (MOOCs): Eine Standortbestimmung
Massive Open Online Courses (MOOCs): Eine StandortbestimmungMassive Open Online Courses (MOOCs): Eine Standortbestimmung
Massive Open Online Courses (MOOCs): Eine StandortbestimmungJochen Robes
 
Das 70:20:10-Modell – Lernen am Arbeitsplatz neu entdecken
Das 70:20:10-Modell – Lernen am Arbeitsplatz neu entdeckenDas 70:20:10-Modell – Lernen am Arbeitsplatz neu entdecken
Das 70:20:10-Modell – Lernen am Arbeitsplatz neu entdeckenJochen Robes
 
Tägliche Nutzungen der kollektiven Intelligenz auf Open Innovation Plattformen
Tägliche Nutzungen der kollektiven Intelligenz auf Open Innovation PlattformenTägliche Nutzungen der kollektiven Intelligenz auf Open Innovation Plattformen
Tägliche Nutzungen der kollektiven Intelligenz auf Open Innovation PlattformenNETBAES
 
Erwachsenenbildung aus Perspektive der traditionellen Erwachsenenbildungseinr...
Erwachsenenbildung aus Perspektive der traditionellen Erwachsenenbildungseinr...Erwachsenenbildung aus Perspektive der traditionellen Erwachsenenbildungseinr...
Erwachsenenbildung aus Perspektive der traditionellen Erwachsenenbildungseinr...Sandra Schön (aka Schoen)
 
Open Badges – zwischen Kompetenznachweisen und Motivationshilfen
Open Badges – zwischen Kompetenznachweisen und MotivationshilfenOpen Badges – zwischen Kompetenznachweisen und Motivationshilfen
Open Badges – zwischen Kompetenznachweisen und MotivationshilfenJochen Robes
 
Culture & Leadership - 47 einfache Modelle
Culture & Leadership - 47 einfache ModelleCulture & Leadership - 47 einfache Modelle
Culture & Leadership - 47 einfache ModelleJoël Krapf
 
Digitales Lehren und Lernen, Tag der Lehre 2016
Digitales Lehren und Lernen, Tag der Lehre 2016Digitales Lehren und Lernen, Tag der Lehre 2016
Digitales Lehren und Lernen, Tag der Lehre 2016scil CH
 
Digital, arbeitsintegriert, informell und personalisiert: Trends in Corporate...
Digital, arbeitsintegriert, informell und personalisiert: Trends in Corporate...Digital, arbeitsintegriert, informell und personalisiert: Trends in Corporate...
Digital, arbeitsintegriert, informell und personalisiert: Trends in Corporate...Jochen Robes
 
Learning Experience Design & Research
Learning Experience Design & ResearchLearning Experience Design & Research
Learning Experience Design & ResearchIsa Jahnke
 
Katja Bett lernen_mit_neuen_medien_in_der_ausbildung2013
Katja Bett lernen_mit_neuen_medien_in_der_ausbildung2013Katja Bett lernen_mit_neuen_medien_in_der_ausbildung2013
Katja Bett lernen_mit_neuen_medien_in_der_ausbildung2013Katja Bett
 
70:20:10 - Die Entwicklung einer Strategie für das Lernen von morgen
70:20:10 - Die Entwicklung einer Strategie für das Lernen von morgen70:20:10 - Die Entwicklung einer Strategie für das Lernen von morgen
70:20:10 - Die Entwicklung einer Strategie für das Lernen von morgenJochen Robes
 
innosabi master class 05: Innovation Platform Evangelism
innosabi master class 05: Innovation Platform Evangelisminnosabi master class 05: Innovation Platform Evangelism
innosabi master class 05: Innovation Platform Evangelisminnosabi GmbH
 
BarCamp Darmstadt: Kommunikation im B2B und der Social Workplace
BarCamp Darmstadt: Kommunikation im B2B und der Social WorkplaceBarCamp Darmstadt: Kommunikation im B2B und der Social Workplace
BarCamp Darmstadt: Kommunikation im B2B und der Social Workplacenetmedianer GmbH
 
KoReTTALaV - Empowerment durch strategisches Online-Reputationsmanagement
KoReTTALaV - Empowerment durch strategisches Online-ReputationsmanagementKoReTTALaV - Empowerment durch strategisches Online-Reputationsmanagement
KoReTTALaV - Empowerment durch strategisches Online-ReputationsmanagementSibylle Würz
 
Lernen 2.0 und Management 2.0: Die (neue) Rolle der Führungskräfte
Lernen 2.0 und Management 2.0: Die (neue) Rolle der FührungskräfteLernen 2.0 und Management 2.0: Die (neue) Rolle der Führungskräfte
Lernen 2.0 und Management 2.0: Die (neue) Rolle der FührungskräfteJochen Robes
 

Similar to [German] DOIT - First evaluation results by Elisabeth Unterfrauner (ZSI) (20)

Agilität in Bibliotheken - Zweite Fassung
Agilität in Bibliotheken - Zweite FassungAgilität in Bibliotheken - Zweite Fassung
Agilität in Bibliotheken - Zweite Fassung
 
Crowdsourcing -das_outsourcing_der_zukunft
Crowdsourcing  -das_outsourcing_der_zukunftCrowdsourcing  -das_outsourcing_der_zukunft
Crowdsourcing -das_outsourcing_der_zukunft
 
Massive Open Online Courses (MOOCs): Eine Standortbestimmung
Massive Open Online Courses (MOOCs): Eine StandortbestimmungMassive Open Online Courses (MOOCs): Eine Standortbestimmung
Massive Open Online Courses (MOOCs): Eine Standortbestimmung
 
Das 70:20:10-Modell – Lernen am Arbeitsplatz neu entdecken
Das 70:20:10-Modell – Lernen am Arbeitsplatz neu entdeckenDas 70:20:10-Modell – Lernen am Arbeitsplatz neu entdecken
Das 70:20:10-Modell – Lernen am Arbeitsplatz neu entdecken
 
Tägliche Nutzungen der kollektiven Intelligenz auf Open Innovation Plattformen
Tägliche Nutzungen der kollektiven Intelligenz auf Open Innovation PlattformenTägliche Nutzungen der kollektiven Intelligenz auf Open Innovation Plattformen
Tägliche Nutzungen der kollektiven Intelligenz auf Open Innovation Plattformen
 
Erwachsenenbildung aus Perspektive der traditionellen Erwachsenenbildungseinr...
Erwachsenenbildung aus Perspektive der traditionellen Erwachsenenbildungseinr...Erwachsenenbildung aus Perspektive der traditionellen Erwachsenenbildungseinr...
Erwachsenenbildung aus Perspektive der traditionellen Erwachsenenbildungseinr...
 
OER Jam Stuttgart
OER Jam Stuttgart OER Jam Stuttgart
OER Jam Stuttgart
 
MAKER EDUCATION IN DER SCHULE
MAKER EDUCATION IN DER SCHULEMAKER EDUCATION IN DER SCHULE
MAKER EDUCATION IN DER SCHULE
 
Open Badges – zwischen Kompetenznachweisen und Motivationshilfen
Open Badges – zwischen Kompetenznachweisen und MotivationshilfenOpen Badges – zwischen Kompetenznachweisen und Motivationshilfen
Open Badges – zwischen Kompetenznachweisen und Motivationshilfen
 
Culture & Leadership - 47 einfache Modelle
Culture & Leadership - 47 einfache ModelleCulture & Leadership - 47 einfache Modelle
Culture & Leadership - 47 einfache Modelle
 
Digitales Lehren und Lernen, Tag der Lehre 2016
Digitales Lehren und Lernen, Tag der Lehre 2016Digitales Lehren und Lernen, Tag der Lehre 2016
Digitales Lehren und Lernen, Tag der Lehre 2016
 
Digital, arbeitsintegriert, informell und personalisiert: Trends in Corporate...
Digital, arbeitsintegriert, informell und personalisiert: Trends in Corporate...Digital, arbeitsintegriert, informell und personalisiert: Trends in Corporate...
Digital, arbeitsintegriert, informell und personalisiert: Trends in Corporate...
 
Learning Experience Design & Research
Learning Experience Design & ResearchLearning Experience Design & Research
Learning Experience Design & Research
 
Katja Bett lernen_mit_neuen_medien_in_der_ausbildung2013
Katja Bett lernen_mit_neuen_medien_in_der_ausbildung2013Katja Bett lernen_mit_neuen_medien_in_der_ausbildung2013
Katja Bett lernen_mit_neuen_medien_in_der_ausbildung2013
 
70:20:10 - Die Entwicklung einer Strategie für das Lernen von morgen
70:20:10 - Die Entwicklung einer Strategie für das Lernen von morgen70:20:10 - Die Entwicklung einer Strategie für das Lernen von morgen
70:20:10 - Die Entwicklung einer Strategie für das Lernen von morgen
 
innosabi master class 05: Innovation Platform Evangelism
innosabi master class 05: Innovation Platform Evangelisminnosabi master class 05: Innovation Platform Evangelism
innosabi master class 05: Innovation Platform Evangelism
 
BarCamp Darmstadt: Kommunikation im B2B und der Social Workplace
BarCamp Darmstadt: Kommunikation im B2B und der Social WorkplaceBarCamp Darmstadt: Kommunikation im B2B und der Social Workplace
BarCamp Darmstadt: Kommunikation im B2B und der Social Workplace
 
KoReTTALaV - Empowerment durch strategisches Online-Reputationsmanagement
KoReTTALaV - Empowerment durch strategisches Online-ReputationsmanagementKoReTTALaV - Empowerment durch strategisches Online-Reputationsmanagement
KoReTTALaV - Empowerment durch strategisches Online-Reputationsmanagement
 
Lernen 2.0 und Management 2.0: Die (neue) Rolle der Führungskräfte
Lernen 2.0 und Management 2.0: Die (neue) Rolle der FührungskräfteLernen 2.0 und Management 2.0: Die (neue) Rolle der Führungskräfte
Lernen 2.0 und Management 2.0: Die (neue) Rolle der Führungskräfte
 
[lehre] Fallbeispiele
[lehre] Fallbeispiele [lehre] Fallbeispiele
[lehre] Fallbeispiele
 

More from DOIT – Entrepreneurial skills for young social innovators in an open digital world

More from DOIT – Entrepreneurial skills for young social innovators in an open digital world (20)

04_Knutas_DOIT platform as an open educational resource
04_Knutas_DOIT platform as an open educational resource04_Knutas_DOIT platform as an open educational resource
04_Knutas_DOIT platform as an open educational resource
 
Entrepreneurial Skills for young social innovators (Presentation at ERCEA and...
Entrepreneurial Skills for young social innovators (Presentation at ERCEA and...Entrepreneurial Skills for young social innovators (Presentation at ERCEA and...
Entrepreneurial Skills for young social innovators (Presentation at ERCEA and...
 
Warum es in der Schule in Zeiten der Digitalisierung hands-on, engagiert und ...
Warum es in der Schule in Zeiten der Digitalisierung hands-on, engagiert und ...Warum es in der Schule in Zeiten der Digitalisierung hands-on, engagiert und ...
Warum es in der Schule in Zeiten der Digitalisierung hands-on, engagiert und ...
 
DOIT - Prototyping and 3D Printing [in German]
DOIT - Prototyping and 3D Printing [in German] DOIT - Prototyping and 3D Printing [in German]
DOIT - Prototyping and 3D Printing [in German]
 
[German] Making Social Innovators der DOIT-Ansatz und Workshop-Beispiele
[German] Making Social Innovators der DOIT-Ansatz und Workshop-Beispiele[German] Making Social Innovators der DOIT-Ansatz und Workshop-Beispiele
[German] Making Social Innovators der DOIT-Ansatz und Workshop-Beispiele
 
[German] Selection of DOIT toolbox materials
[German] Selection of DOIT toolbox materials[German] Selection of DOIT toolbox materials
[German] Selection of DOIT toolbox materials
 
DOIT Pilot BHAK/BHAS Hallein
DOIT Pilot BHAK/BHAS HalleinDOIT Pilot BHAK/BHAS Hallein
DOIT Pilot BHAK/BHAS Hallein
 
Making social innovators - The DOIT Approach
Making social innovators - The DOIT ApproachMaking social innovators - The DOIT Approach
Making social innovators - The DOIT Approach
 
Makerspaces zur Wissenschaftsvermittlung und Innovationsraum der neuen Genera...
Makerspaces zur Wissenschaftsvermittlung und Innovationsraum der neuen Genera...Makerspaces zur Wissenschaftsvermittlung und Innovationsraum der neuen Genera...
Makerspaces zur Wissenschaftsvermittlung und Innovationsraum der neuen Genera...
 
Business models for Open Educational Resources: how to exploit OER after a fu...
Business models for Open Educational Resources: how to exploit OER after a fu...Business models for Open Educational Resources: how to exploit OER after a fu...
Business models for Open Educational Resources: how to exploit OER after a fu...
 
Early entrepreneurial skills development through social innovation in makersp...
Early entrepreneurial skills development through social innovation in makersp...Early entrepreneurial skills development through social innovation in makersp...
Early entrepreneurial skills development through social innovation in makersp...
 
The maker movement, social innovation and the DOIT programme: Pilot experienc...
The maker movement, social innovation and the DOIT programme: Pilot experienc...The maker movement, social innovation and the DOIT programme: Pilot experienc...
The maker movement, social innovation and the DOIT programme: Pilot experienc...
 
DOIT presentation for 5 to 10 years old (German language)
DOIT presentation for 5 to 10 years old (German language)DOIT presentation for 5 to 10 years old (German language)
DOIT presentation for 5 to 10 years old (German language)
 
Business model design for open educational resources in the field of digital ...
Business model design for open educational resources in the field of digital ...Business model design for open educational resources in the field of digital ...
Business model design for open educational resources in the field of digital ...
 
Kreatives digitales Gestalten: Making für Einsteiger*innen
Kreatives digitales Gestalten: Making für Einsteiger*innenKreatives digitales Gestalten: Making für Einsteiger*innen
Kreatives digitales Gestalten: Making für Einsteiger*innen
 
Social Innovation in makerspaces as a means for media literacy?
Social Innovation in makerspaces as a means for media literacy?Social Innovation in makerspaces as a means for media literacy?
Social Innovation in makerspaces as a means for media literacy?
 
DOIT @ Crowddialog 2018 in Vienna
DOIT @ Crowddialog 2018 in ViennaDOIT @ Crowddialog 2018 in Vienna
DOIT @ Crowddialog 2018 in Vienna
 
Educating Young Social Innovators in Makerspace Settings
Educating Young Social Innovators in Makerspace SettingsEducating Young Social Innovators in Makerspace Settings
Educating Young Social Innovators in Makerspace Settings
 
[German] Abschlusspräsentation "Maker Days for Kids" an der TU Graz
[German] Abschlusspräsentation "Maker Days for Kids" an der TU Graz[German] Abschlusspräsentation "Maker Days for Kids" an der TU Graz
[German] Abschlusspräsentation "Maker Days for Kids" an der TU Graz
 
Workshop: Making with kids in Europe ... to build a new entrepreneurship educ...
Workshop: Making with kids in Europe ... to build a new entrepreneurship educ...Workshop: Making with kids in Europe ... to build a new entrepreneurship educ...
Workshop: Making with kids in Europe ... to build a new entrepreneurship educ...
 

[German] DOIT - First evaluation results by Elisabeth Unterfrauner (ZSI)

  • 1. Making Social Innovators Erste Evaluationsergebnisse der Pilotdurchführungen CC BY 4.0 DOIT, http://DOIT-Europe.Net, H2020-770063 1 Mag. Dr. Elisabeth Unterfrauner
  • 2. Überblick • Evaluationsdesign • Ergebnisse – TeilnehmerInnen – Facilitatoren – Effekte: creativity und self- efficacy – Ergebnisse von qualitativer Analyse • Aussagekraft der Ergebnisse CC BY 4.0 DOIT, http://DOIT-Europe.Net, H2020-770063 2 Picture from ZSI pilot
  • 3. Early entrepreneurial education EC thematic working group (2016): “Entrepreneurship education is about learners developing the skills and mind-set to be able to turn creative ideas into entrepreneurial action. This is a key competence for all learners, supporting personal development, active citizenship, social inclusion and employability” CC BY 4.0 DOIT, http://DOIT-Europe.Net, H2020-770063 3
  • 4. Evaluationsdesign Basierend auf Lackéus (2015): Entrepreneurial attitudes: self-confidence, self-efficacy, sense of initiative, ambiguity tolerance, perseverance; Entrepreneurial skills: creativity, planning, financial literacy, managing resources, managing uncertainty/risk, teamwork; Entrepreneurial knowledge: assessment of opportunities, identifying with the role of an entrepreneurs – self-reflection, how-to knowledge CC BY 4.0 DOIT, http://DOIT-Europe.Net, H2020-770063 4
  • 5. Evaluationsdimensionen Based on theory by Lackeus (2015) evaluation dimensions: – Creativity – Self-efficacy – Teamwork, collaboration skills – Dealing with uncertainty, overcoming road blocks – Perseverance – Awareness of others’ needs (empathy) – Being motivated, sense of initiative – Ability to plan, managing resources (planning skills) – Embrace new things (entrepreneurial identities) Picture from ZSI pilot
  • 6. Herausforderungen in der Evaluation • Unterschiedliche Sprachen • Vielfalt von Dimensionen • Vielfalt an Instrumenten • Alterspanne • Unterschiedliche Umsetzung von DOIT CC BY 4.0 DOIT, http://DOIT-Europe.Net, H2020-770063 6 Foto vom EduCentrum Pilot Foto vom SRFG Pilot Foto vom IAAC Pilot
  • 7. Evaluation design • Mixed method approach • Prä- und Post-test • Verschiedene Instrumenten – Kreativitätsscreening TSD-Z (Urban & Jellen, 2010) – Self-rating Fragebogen (self-efficacy) – Interviews mit Facilitatoren – (Workshop-Dokumentation) – (Kinder interviewen Kinder) – (Feedback von Kindern) CC BY 4.0 DOIT, http://DOIT-Europe.Net, H2020-770063 7
  • 8. TeilnehmerInnen – Pilot 1 CC BY 4.0 DOIT, http://DOIT-Europe.Net, H2020-770063 8 538 Kinder 46,5 % weiblich , 53,5 % männlich Alterspanne von 6 bis 16 mit einem Durchschnitt von 11 Jahren
  • 9. TeilnehmerInnen Setting/participant info Percentage Number in school 63% 339 outside school 25% 137 Missing info 22% 62 less privileged background 31% 168 special needs 7% 38 rural areas 35% 189 advanced makers 3% 18 9
  • 10. Kreativität - Test zum Schöpferischen Denken (TDS-Z) • Komponentenmodell der Kreativität CC BY 4.0 DOIT, http://DOIT-Europe.Net, H2020-770063 10
  • 11. CC BY 4.0 DOIT, http://DOIT-Europe.Net, H2020-770063 11
  • 12. CC BY 4.0 DOIT, http://DOIT-Europe.Net, H2020-770063 12
  • 13. Kreativität • N=404/ 538 • Prä-Test-Score= 18,61 • Post-Test-Score= 20,43 • Signifikanter Unterschied (T=-4,706, df=393, p=0,000) • Effektgröße = 0,243 → moderater Effekt nach Cohen (2013) CC BY 4.0 DOIT, http://DOIT-Europe.Net, H2020-770063 13
  • 14. Kreativität – Altersunterschiede • Keine signifikanten Unterschiede im Prätest • Signifikante Unterschiede im Posttest CC BY 4.0 DOIT, http://DOIT-Europe.Net, H2020-770063 14
  • 15. Kreativität - Geschlechtsunterschiede • Keine signifikanten Unterschiede im Prätest • Signifikante Unterschiede im Posttest CC BY 4.0 DOIT, http://DOIT-Europe.Net, H2020-770063 15
  • 16. Kreativität – TeilnehmerInnen mit Behinderungen • N=15 • Signifikante Unterschiede zwischen Prä- und Postest CC BY 4.0 DOIT, http://DOIT-Europe.Net, H2020-770063 16
  • 17. Kreativität – Rahmenbedingungen • Leichte Korrelationen zwischen Anwesenheit und Kreativitätsscore • Keine Korrelation mit Facilitatoren- TeilnehmerInnen-Schlüssel • Keine Korrelation mit Facilititatorenkonstanz • Kleiner negativer Effekt mit Facilitatorenalter (umso jünger die Facilitatoren, desto höher der Score) 17 Picture from UZAF pilot
  • 18. Self-efficacy • Self-efficacy is defined as a person's belief in his or her capability to perform a task. Self-efficacy is not a perceived skill; it is what a person believes he or she can do with his or her skills under certain conditions • it is what a person believes he or she can do, not necessarily will do (Maddux & Kleiman, 2012; Bandura, 1997). CC BY 4.0 DOIT, http://DOIT-Europe.Net, H2020-770063 18
  • 19. Self-efficacy • N= 471/ 538 • Signifikante Unterschiede zwischen Prä- (54,56) und Post-test (55,51) • Auch auf Subscore Ebene: – Self-efficacy in relation to others – Self-concept of own capabilities – Self-concept regarding problem solving/uncertainty • Ähnlich moderate Effektgröße (0,207) CC BY 4.0 DOIT, http://DOIT-Europe.Net, H2020-770063 19 Picture from SFRG pilot
  • 20. Self-efficacy – Altersunterschiede • Beide Gruppen haben im Post-Test höhere Werte • Signifikante Unterschiede zwischen den Altersgruppen im Prä- und im Posttest • Sub-Score: der höchste Wert findet sich bei beiden Gruppen bei “Self-concept of own capabilities” CC BY 4.0 DOIT, http://DOIT-Europe.Net, H2020-770063 20
  • 21. Self-efficacy – Geschlechtsunterschiede • Keine signifikanten Unterschiede weder bei Prä- noch Posttest • Ausnahme: Geschlechtsunterschiede bei jüngerer Altersgruppe: Buben weisen höhere Werte auf, im Prä- und Posttest und auch auf Subscore-Level 21Picture from IAAC pilot
  • 22. Self-efficacy – TeilnehmerInnen mit Behinderung Signifikante Unterschiede im Prä- und Posttest CC BY 4.0 DOIT, http://DOIT-Europe.Net, H2020-770063 22
  • 23. Self-efficacy – Rahmenbedingungen • Keine Korrelation mit Anwesenheit • Kein Facilitatoreneffekt (gender, age, constancy) CC BY 4.0 DOIT, http://DOIT-Europe.Net, H2020-770063 23Picture from ZSI pilot
  • 24. Qualitative Daten • Bisher 24 Interviews (14 Frauen, 10 Männer) • Zusätzlich Pilotdokumentation, Feedback durch TN, Kinder Interviews, etc. → MAXQDA: Induktive und deductive Codes CC BY 4.0 DOIT, http://DOIT-Europe.Net, H2020-770063 24
  • 25. Qualitative Analyse I– Alter der TN Im Allgemeinen je jünger ... – ... desto leichter ablenkbar – ... umso mehr Pausen und Bewegung dazwischen notwendig – ... desto niedriger der Facilitatoren-TN-Schlüssel – ...umso weniger Planungs- und Management- Skills CC BY 4.0 DOIT, http://DOIT-Europe.Net, H2020-770063 25
  • 26. Qualitative Analyse II – Special Needs • Kinder mit Behinderung – Gutes Arbeiten und Lernen im Team – Positive Effekte in der sozialen Integration und Selbstbewusstsein • ‚Challenging kids‘ – Kinder können sich sehr gut in das Setting einfügen und den Herausforderungen stellen – “Gute” SchülerInnen haben manchmal Schwierigkeiten mit der offenen Struktur des Makerspace-Settings CC BY 4.0 DOIT, http://DOIT-Europe.Net, H2020-770063 26
  • 27. Qualitative Analyse III - Motivation • Faktoren, welche die Motivation beeinflussen: – Ownership (Idee, Prototyp, ...) – Kleine Erfolgsschritte – Spaß – Mix an Aktivitäten – Balance zwischen Theorie (Motivation phase) und Praxis (making) – Pausen – Interessen, Initialmotivation – Ausdauer hängt von Anfangsmotivation und Persönlichkeit der Kinder ab CC BY 4.0 DOIT, http://DOIT-Europe.Net, H2020-770063 27
  • 28. Aussagekraft der Ergebnisse • Keine Kontrollgruppe • Unterschiedliche Rahmenbedingungen • Unterschiedliche Sprachen und Kultur -> dennoch: Übungseffekte könnten zT ausgeschlossen werden CC BY 4.0 DOIT, http://DOIT-Europe.Net, H2020-770063 28
  • 29. Referenzen • Bandura, A. (1997). Self-efficacy: The exercise of control. Macmillan. • Cohen, J. (2013). Statistical power analysis for the behavioral sciences. Routledge. • Eurydice. (2016). Entrepreneurship Education at School in Europe: Eurydice Report. Publications Office of the European Union. • Lackéus, M. (2015). Entrepreneurship in education: What, why, when, how. Background Paper. Paris: OECD Publishing. • Maddux, J. E., & Kleiman, E. M. (2012). Self-efficacy. The Wiley Handbook of Positive Clinical Psychology, 89–101. • Urban, K. K., & Jellen, H. G. (2010). Test zum Schöpferischen Denken-Zeichnerisch (TSD-Z). Pearson Assessment & Information GmbH. CC BY 4.0 DOIT, http://DOIT-Europe.Net, H2020-770063 29
  • 30. CC BY 4.0 DOIT, http://DOIT-Europe.Net, H2020-770063 30
  • 31. Get in touch with DOIT Dr. Elisabeth Unterfrauner ZSI – Zentrum für Soziale Innovation Wien unterfrauner@zsi.at http://DOIT-Europe.net CC BY 4.0 DOIT, http://DOIT-Europe.Net, H2020-770063 31 DOIT.Europe.Net @DOIT_Europe_Net This project has received funding from the European Union’s Horizon 2020 research and innovation programme under grant agreement No 770063