Valtakunnallinen liikketoimintaosaamisen verkko-opintokokonaisuus 25-40op - Workshop 25.5.2018 Aalto yliopisto, Helsinki, 25.5.2017

1. “Evaluation and different kinds of
assignments on online courses” (arviointi
suurilla verkkokursseilla)
Valtakunnallinen liikketoimintaosaamisen
verkko-opintokokonaisuus 25-40op - Workshop 25.5.2018
jari.laru@oulu.fi, @Larux myös RG/LinkedIN/FaceBook

2. BIT.LY/
LITO2018

3. http://tecfa.unige.ch/tecfa/talks/schneide/diplo06/geneva-diplo-06.pdf
VANHA dia siitä mikä on
oppimisympäristö. On
napattu kohteesta:
Daniel Schneider (2006).
Instructional Design Models
and Methods. Online
learning in diplomacy
workshop. Geneva.

4. Tentistä ja tehtävistä kohti
monimutkaisempaa arviointia
Kurssitehtävät (osana lopul Tentti
Suunnitteluv
aihe n+1
Kurssitehtävä
n+1
(vertais)Palaute n+1
Tentti
Suunnitteluvaihe
koko kurssi ItsearvioItsearvio n+1
Vertaisarvio
Konearvio n+1

5. !FA! !SRL!FA= Formatiivinen arviointi
SRL = Itsesäätöinen oppiminen (self-regulated learning)

6. Järvelä, S. & Hadwin, A. (2013). New
Frontiers: Regulating learning in
CSCL. Educational Psychologist, 48(1),
25-39.

7. Formatiivinen vs. Summatiivinen
Formatiivinen arviointi
(keinumisen aikana)
● Arvioi oppimista
● Voi olla ajoittaista tai
usein tapahtuvaa
● Todellisissa
konteksteissa
tapahtuvaa
● Palaute sisältää viestin
kuinka kehittää
toimintaa
(Shute & Kim, 2014)
Summatiivinen arviointi
(keinumisen päätyttyä)
● Auttaa arvioimaan
oppimista
● Varmistaa, että
tavoitteet on saavutettu
● Yksittäinen
arviointitapahtuma
● Palaute liittyy usein
vain summatiiviseen
arviointiin, jos
siihenkään
(Sadler, 1989)

8. Formatiivinen
arviointi
parhaimmillaan
“Practise in a classroom is formative to the extent that
evidence about student achievement is elicited,
interpreted, and used by teachers, learners, or their peers
to make decisions about the next steps in instruction that
are likely to be better, or better founded, than the
decisions they would have taken in the absence the
evidence that was elicited” (Black & William, 2009, p.9 in
Panadero, Andrade & Brookhart, 2018)
Kun formatiivinen arviointi tehdään
kunnolla, se auttaa oppilaita
ymmärtämään:
● Mitä he yrittävät oppia?
● Kuinka he oppivat?
● Kuinka he pääsevät
tavoitteeseensa?
Nämä prosessit aktivoivat kognitiivisia
ja motivationaalisia kykyjä, fokusoi
oppilaat kohti oppimistavoitteita, antaa
palautetta ja strategioita joita oppilaat
voivat käyttää tavoitteidensa
saavuttamisessa
Panadero, E., Andrade, H., & Brookhart, S. (2018). Fusing self-regulated learning and formative
assessment: a roadmap of where we are, how we got here, and where we are going. The
Australian Educational Researcher, 45(1), 13-31.

9. What’s formative assesment?
“Formative assessment is a process used by teachers and students during instruction that provides feedback to
adjust ongoing teaching and learning to improve students’ achievements of intended instructional outcomes. The
attributes below have been identified as critical features of effective formative assessment:
● Learning progressions Learning progressions should clearly articulate the subgoals of the ultimate learning
goal
● Learning goals and criteria for success Learning goals and criteria for success should be clearly identified
and communicated to students
● Evidence of learning Evidence of learning is elicited during instruction
● Descriptive feedback Students should be provided with evidence-based feedback that is linked to the
intended instructional outcomes and criteria for success
● Self- and peer assessments Both self- and peer assessments are important for providing students an
opportunity to think metacognitively about their learning
● Collaboration A classroom culture in which teachers and students are partners in learning should be
established.” (p.15)
Panadero, E., Andrade, H., & Brookhart, S. (2018). Fusing self-regulated learning and formative assessment: a roadmap of where we are, how we
got here, and where we are going. The Australian Educational Researcher, 45(1), 13-31.

10. Välineitä arvioinnin tueksi

11. Arvosteluperusteet
● Arvosteluperusteet
auttavat arvioimaan
suorituksen laatua ja
tavoitteden
saavuttamista
● Perusteita voi käyttää
formatiivisessa
vertaisarvioinnissa
itsearviointiin ennen
työnsä lähettämistä
vertaisarviointiin

12. Esimerkkivastaukset
● Esimerkkivastaukset kuvaavat
nimensä mukaisesti sitä, millainen
mallivastaus voisi olla.
● Esimerkkivastausten toteutustapa on
vapaa ja ne voivat perustua aiempien
opiskelijoiden töihin tai opettajan
omaan osaamiseen
● Esimerkkivastaukset kannattaa
kytkeä keskustelun yhteyteen /
mahdollistaa niiden kommentointi
● Voi/pitää käyttää myös
vertaisarvioinnin apuvälineenä

13. Äänipalaute
Varsin usein palautteen antamiseen ei ole
aikaa, eli se jää kehnoksi tai kurssin
loppuvaiheeseen. On kuitenkin muistettava,
että numeron tai kurssiarvosanan sisältämä
palaute on varsin vaatimatonta.
Formatiivisessa arvioinnissa palautteen tulee
sisältää selkeät tavoitteet, laadullista
informaatiota sen hetkisestä oppimisesta ja
kuinka mennä tästä eteenpäin.
SUURILLA kursseilla äänipalautetta
suositellaan tekstipalautteen sijasta, koska se
vie vähemmän aikaa.

14. 10.000<*Massive Open Online Course
*Suomessa 2000-3000 on jo hurjan iso MOOC
xMOOC (luennoitsijakeskeinen, konetarkastus); cMOOC (yhteisöllinen, vertaisarviointi); #etMOOC (ongelmakeskeinen);
ccMOOC (projektikeskeinen); mOOC (pieni mooc); SPOC (suljettu pieni kurssi) ja DOCC (Distributed Open Collaborative
Course) [useamman yliopiston yhdessä tuottama kurssi]
https://fi.wikipedia.org/wiki/Massiivinen_avoin_verkkokurssi

15. MOOCit erottaa
muista suurten
käyttäjämäärien
materiaaleista*
sisäänrakennettu
arviointijärjestelmä
To successfully employ an
assesment in the online setting
we should be able to:
● Make the assesment
scalable
● Verify identity of users
● Make it simple to use
● Manage learner time and
workload
● Provide feedback
*ItunesU, Youtube, MIT Open Courseware jne. Formanek, M., Wenger, M. C., Buxner, S. R., Impey, C. D., & Sonam, T. (2017). Insights about large-scale
online peer assessment from an analysis of an astronomy MOOC. Computers & Education, 113, 243-262.

16. Koneen
automaattisesti
tekemä arviointi
TAPA 1. Yleinen
xMOOC-tyyppisissä
toteutuksissa
Soveltuu:
● Kyselyjen, monivalintojen ym.
tarkistamiseen
● Koodin arviointiin
● Laskutoimitusten tarkistamiseen
Voidaan käyttää sellaisten tehtävien
tarkistamiseen, jotka ovat hyvin
rajattuja, määrällisiä ja ennakoitavia.
Sopii myös formatiiviseen arviointiin
perustuvaan palautteen antoon
Formanek, M., Wenger, M. C., Buxner, S. R., Impey, C. D., & Sonam, T.
(2017). Insights about large-scale online peer assessment from an analysis
of an astronomy MOOC. Computers & Education, 113, 243-262.

19. Vertaisarviointi
MOOC kurssilla
TAPA 2. Yleinen menettely
cMOOC tyyppisissä
toteutuksissa
Tekstituotosten konearviointia on
yritetty, mutta vielä toistaiseksi
vertaisarviointi on todettu toimivammaksi
tavaksi
● Kurssiosallistujat arvioivat toinen
toistensa töitä
Ei ole ongelmaton arviointitapa
● Reliabiliteetti: Miten käy kun
useampi arvioija arvioi saman
tuotoksen
● Validiteetti: Kuinka paljon
vertaisarvioijan arvio eroaa
asiantuntija-arvioitsijan arviostaFormanek, M., Wenger, M. C., Buxner, S. R., Impey, C. D., & Sonam, T.
(2017). Insights about large-scale online peer assessment from an analysis
of an astronomy MOOC. Computers & Education, 113, 243-262.

20. 89% 11%89% prosenttia opiskelijoista, jotka tekivät vertaisarvioinnin (viikon sisään 500 väh
sanan palaute neljälle muulle opiskelijalle) valmistui MOOC-kurssilta.
11% opiskelijoista, jotka tulivat oppimisalustalle, läpäisi kurssin. Eli ero on merkittävä
Formanek, M., Wenger, M. C., Buxner, S. R., Impey, C. D., & Sonam, T.
(2017). Insights about large-scale online peer assessment from an analysis
of an astronomy MOOC. Computers & Education, 113, 243-262.

21. DOCC + FA
Formatiivinen arviointi hajautetulla useamman toimijan verkkokurssilla. Esim. LITO -
Basic business studies -kurssit.
DOCC = Distributed Open Collaborative Course (esim. LITO-kurssit). Osallistujia >500

22. Suuret (DOCC)
kurssikoot ovat
haastavia
● Suunnittelu
● Hallinnointi
● Arvioinnin standardointi
Muutamia haasteita:
● Hankaluudet löytää yhteistä
face-to-face aikaa etäopetuksessa
● Usein käytetään paljon tuntiopettajia
ja avustajia ryhmäkokojen/arviointien
pitämiseksi kurissa
● Paikkakuntien väliset erot
henkilöstössä ja arvioinnissa
● Haasteet henkilökohtaisen ja
laadukkaan palautteen antamisessa
● Formatiivisen palautteen antaminen,
samalla kun pitää huolehtia
summatiivisesta arvioinnistaBroadbent, J., Panadero, E., & Boud, D. (2018). Implementing summative
assessment with a formative flavour: a case study in a large class.
Assessment & Evaluation in Higher Education, 43(2), 307-322.

23. OSALLISTUJAT
● 2100+ psykologian
opiskelijaa Australiassa
● 4 kampusta mukana
satojen kilometrien
päässä toisistaan
● Lisäksi yksi täysin Online
osallistuja (n. 300
opiskelijaa koko joukosta)
TEHTÄVÄT:
● 10 kysymystä (10%)
verkkoympäristössä
● 100 kysymyksen
monivalintatentti lopussa
(45%)
● Oppimispäiväkirjatehtävä
(kuva) (45%) jonka
yhteydessä myös koe
DOCC esimerkki: Terveysmuutokseen tähtäävä
oppimispäiväkirja isolla kurssilla
Broadbent, J., Panadero, E., & Boud, D. (2018).
Implementing summative assessment with a formative
flavour: a case study in a large class. Assessment &
Evaluation in Higher Education, 43(2), 307-322.

24. Esimerkki: palautteen
laadun varmistus
Palautteella on arvoa vain kun se on
korkealaatuista ja yhtenäistä
arvioijasta riippumatta.
Oikealla näkyy kuinka
kurssiavustajien / paikkakuntien
välistä osaamista varmistettiin
Broadbent, J., Panadero, E., & Boud, D. (2018). Implementing summative
assessment with a formative flavour: a case study in a large class.
Assessment & Evaluation in Higher Education, 43(2), 307-322.

25. 94%-99%..Most importantly, 75 and 66% of students in the case study across semesters 1
and 2 in 2016 strongly agreed that the feedback was helpful, compared to only
39% of students in the university average.
Palautteeseen oltiin tyytyväisiä
Broadbent, J., Panadero, E., & Boud, D. (2018). Implementing summative assessment with a formative flavour: a case study in a large class.
Assessment & Evaluation in Higher Education, 43(2), 307-322.

26. Omia kurssitoteutuksia

27. Kotipesä?Oulun yliopistossa toteutettuja (arviointi)käytänteitä. Osallistujamäärät <300

28. Reflektointi ja vertaispalaute
koulutusteknologian kurssilla

29. Laru, J., Malmberg, J., Jä rvenoja, H., Sarenius, V. M., & Jä rvelä , S.
(2015). Designing simple tools for socially shared regulation:
Experiences of using google docs and mobile srl tools in
mathematics education. International Society of the Learning
Sciences, Inc.[ISLS]..
Suunnittelulomake
Ja tietoisuustyökalu
Matematiikan
kurssilla

30. Problem solving task begins (A)
A B
C D
1. Choose:
Cognitive/motivational/emotional state
2. Result: Synthesis of responses
3. Discuss: Reason for result?
4. Select: Main reason for result
5. Prompt: regulation
hint
Awareness phase (B-C)
• 1. Each student chooses three values:
cognitive/motivational/emotional
• 2. Synthesis of responses is calculated and
displayed
Reflection phase (C-D)
• 3. Group discussion – What is the reason
for the result?
• 4. Group chooses one explanation from
pre-stocked options for the targeted
regulation
Regulation phase (D)
• 5. Targeted regulation promts are
displayed
Previous activity
Following activity
Tietoisuustyökalu kurssikontekstissa

31. Järvelä, S., Kirschner, P. A.,
Hadwin, A., Järvenoja, H.,
Malmberg, J., Miller, M., &
Laru, J. (2016). Socially
shared regulation of learning
in CSCL: Understanding and
prompting individual-and
group-level shared regulatory
activities. International Journal
of Computer-Supported
Collaborative Learning, 11(3),
263-280.

32. AVAA TÄÄLTÄ:
https://www.slidesha
re.net/larux/paljonko-
sulla-on-pisteit-koke
muksia-pelillistetyst-
opetuksesta

33. Totuus?Massakursseilla formatiivisen arvioinnin lisääminen edellyttää teknologian
kehittymistä

34. Ei aikaa.
Ei voimia.Formatiivinen arviointi on raskas taakka tehtäväksi. Summatiivinen arviointi on
“välttämätön paha”

35. https://medium.com/hubert-ai/ai-in-education-automatic-essay-scoring-6eb38bb2e70

36. H5P mahdollistaa interaktiiviset
sisällöt ja tehtävät + arvioinnin
Qridi on mobiili itse/vertais/ope
ym. arviointisovellus (K12?)

37. OneNote Class Notebook (+
Teams) arviointivärkkinä
Google Classroom formatiivisen
arvioinnin työkaluna

38. Nykyään sisältöjä integroidaan vielä “kankeasti”
INTEGROINTI (“blockchain”)
● iFrame yms. upotukset mahdollistavat “sisäkkäiset palvelut” kohtalaisen
helposti
● LTI-teknologia mahdollistaa oppimissovellusten keskinäisen integroinnin ja
tätä tuetaan laajalti. Arviointidata siirtyy (jossain määrin)
● H5P ja SCORM (ja vastaavat) mahdollistavat interaktiivisten
oppimateriaalien luomisen ja upottamisen. Arviointidata myös siirtyy
(jossain määrin)
● Office Mix (ja vastaavat) mahdollistavat semi-interaktiiviset
luentomateriaalit
TEKOÄLY & ANALYTIIKKA
● Keveitä toteutuksia ja käyttäjien toiminnan (ei oppimisen) analyysiä

39. Tulevaisuudessa sisällöt, opiskelijat, suoritukset
ym. integroituvat saumattomasti
TEKOÄLY
● Tekoäly kuratoi videovirrat ja tekstiaineistot opiskelijoiden käyttöön
● Tekoäly rakentaa kurssiympäristöt jotka “toimivat parhaiten oppimisessa”
● Tekoäly arvioi yksinkertaisimmat arvioitavat kokonaisuudet
LOHKOKETJU
● Lohkoketju kytkee palaset yhteen nykyistä tilannetta paremmin: eri toimijoiden
oppimisympäristöt, suoritukset, arvioinnit, osaamisen osoitukset
● APIen jälkeinen aika?
● Universaali oppimisympäristö?

40. https://www.theverge.com/2
017/11/2/16597276/google-a
i-image-attacks-adversarial-tu
rtle-rifle-3d-printed

41. Frey, C. B., & Osborne, M. A. (2013). The future of employment: How
susceptible are jobs to computerisation? Oxford, UK: Oxford Martin
School. Available
at http://acikistihbarat.com/Dosyalar/effect-of-computerisation-on-e
mployment-report-acikistihbarat.pdf

42. Neelen & Kirchner (2017). A THREE STAGE PLAN TO PREPARE OUR YOUTH FOR JOBS THAT DON’T
However, what is truly ‘21st
century’ is the
enormous increase in information (and
information resources) and the challenge
around the question whether or not the
information is reliable. Therefore, Kirschner
argues, the only skills that are truly
‘21st
century’ are:
•Information literacy: also known as
information problem-solving skills including
searching for, identifying, evaluating (the
quality and reliability of information sources),
and effectively using the information that has
been obtained; and
•Information management: the ability to
capture, curate, and share information.
Mitä taitoja pitäisi opettaa? Miten tulisi suhtautua
tietoon kun “tekoäly” hakee sen “HETI”

43. Oppimisen analytiikka = menetelmällinen haaste

44. SLAM projekti - esimerkki oppimisanalytiikan
tutkimuksesta, jota @LET_Oulu tekee
http://www.slamproject.org/blog
Esimerkkilähteitä:
Sedrakyan, G., Järvelä, S., & Kirschner, P. (2016). Conceptual framework for feedback automation
and personalization for designing learning analytics dashboards.
Bannert, M., Molenar, I., Azevedo, R., Järvelä, S., & Gašević, D. (2017, March). Relevance of learning
analytics to measure and support students' learning in adaptive educational technologies. In
Proceedings of the Seventh International Learning Analytics & Knowledge Conference (pp. 568-569).
ACM.