Qualtrics les UAntwerpen - Simone
•Download as PPTX, PDF•
2 likes•4,870 views
Uitleg aan studenten over het gebruik van Qualtrics - Vragenlijst opstellen - Qualtrics onderzoek uitvoeren - Tips Qualtrics - Strappenplan qualtrics
Recommended
More Related Content
What's hot
Similar to Qualtrics les UAntwerpen - Simone
Similar to Qualtrics les UAntwerpen - Simone (20)
More from Simone Krouwer
More from Simone Krouwer (20)
Qualtrics les UAntwerpen - Simone
- 1. 0 Online vragenlijst in Qualtrics
- 2. 1 Online vragenlijst in Qualtrics
- 3. Waarom een online survey? 2 1. Internet als studieobject - Online games, internet reclame, social media, cyberpesten, e-commerce, etc. - Online survey bereikt snel en efficiënt de populatie internetgebruikers
- 4. Populatie internetgebruikers 93 94 88 86 86 84 64 0 20 40 60 80 100 United Kingdom Netherlands Germany France Belgium EU (28 countries) Italy Bron: Eurostat, 2014
- 5. LET OP: frequentie gebruik! Bron: Eurostat, 2014 68 86 % van de internetgebruikers dat dagelijks internet gebruikt % van de Belgische huishoudens met internettoegang Frequentie internetgebruik in België
- 6. Waarom een online survey? (2) 5 2. Bijzondere kenmerken van de populatie - Zelf-georganiseerde groepen: blogs, informatieve internet sites, forums, chatrooms - Raadpleging van internetomgevingen Twitter, Facebook, multi-player ‘role playing games’ environments, e-commerce
- 7. Waarom een online survey? (3) 6 3. Gevoelige onderwerpen - Bereiken van respondenten met afwijkende of verborgen gedragingen - Anonimiteit 4. Economische voordelen - Goedkoop en snel - Potentieel groot bereik
- 8. Waarom een online survey? (4) 7 Reden 4 (economische voordelen) vaak nog te dominant….
- 9. Een online onderzoek in Qualtrics opstellen QUALTRICS = o Online software voor online surveys o Enkel toegankelijk voor UA studenten Gebruik je studentenmail als username Maak een account aan op onderstaand webadres: https://uantwerpen.eu.qualtrics.com/ControlPanel/
- 10. Inloggen / account aanmaken 9
- 13. Langdradige / onverzichtelijke vragenlijst = - Gebruik verschillende vragenvormen (indien mogelijk) - ‘Page breaks’ - Witruimte - Controlevraag
- 14. Soort vraag aanpassen: “Change question type” 13
- 15. Type vragen 14
- 18. Type vragen: Multiple-choice met afbeelding
- 20. Type vragen: Likert schaal
- 21. Likert schaal: Pas aan de rechterzijde het aantal stellingen aan
- 22. Reverse score / omgekeerd coderen - Enkele vragen of items omgekeerd formuleren - Zo detecteer je respondenten die steeds hetzelfde antwoord kiezen. - Vergeet niet om antwoorden om te keren in spss!!!
- 24. Visueel analoog
- 25. Video / afbeelding / hyperlink invoegen Progressie indicator Question text klik op “Rich Content Editor”
- 26. Handige opties in Qualtrics
- 27. Handige optie 1: “Force Response” Let op: - Antwoordcategorieeen exhaustief? - Optie “n.v.t.” of “andere” toevoegen
- 28. Handige optie 2: “Page Break” - Niet alle vragen op 1 pagina - Vermindert scrollen
- 29. Handige optie 3: “Display Logic” - Laat enkel de vraag zien als... X
- 30. Handige optie 4: “Skip Logic” Participanten doorverwijzen naar einde survey of een heel stuk verder in de vragenlijst.
- 31. Handige optie 5: “Progress indicator” Ga naar: “Survey” “Look & Feel” kies progress bar
- 32. Progress indicator Progressie indicator Werkt motiverend om de survey te voltooien!
- 33. Handige optie 6: piped text https://www.qualtrics.com/support/survey-platform/survey-module/editing-questions/piped- text/piped-text-overview/
- 34. Handig optie 7: timer Let op! Ook een page break toevoegen! Timer toevoegen: Klik op: Add question Timing
- 35. Experimenten: Random toewijzing aan condities 1. Maak gebruik van “Question Blocks”: VB - Introductietekst in een Question Block - Verschillende condities in verschillende Question Blocks - Vragen na het zien van de manipulatie in een Question Block. - Geef iedere Block een duidelijke naam! BVB: “Introductie”
- 36. Random toewijzing aan condities 2. Pas de “Survey Flow” aan - Klik op “Survey Flow” - Via dit menu stel je in dat respondenten maar één experimentele stimulus zien
- 37. 36 2. Pas de “Survey Flow” aan - Via “add below” voeg je blocks toe - Randomizer: “add below” “randomizer” en voeg hieronder de blocks met de verschillende condities toe
- 38. Handig optie: Samenwerken Kies in het survey overzicht op het pijltje naast de survey en vervolgens op “share project”.
- 39. 38 Check of je vragenlijst…: - Geen fouten bevat - Begrijpelijk is - Geschikt voor de mobiele telefoon is!
- 40. Data verzamelen - Klik bovenaan op “distributions” - Klik rechts op “distribute survey” - Vraag om de link om de survey te verspreiden
- 41. Resultaten analyseren - Klik bovenaan op “data & analysis” - Klik rechts op “export data” - Klik vervolgens op “export data with legacy format” - Klik op “SPSS” en “Download”
- 42. Een geactiveerde vragenlijst aanpassen Je kunt nog kleine aanpassingen doen wanneer de vragenlijst actief is... 1. Download eerst het spss bestand van de huidige respons!! 2. Unlock de survey 3. Doe kleine aanpassingen (tekstueel, force respons wijzigen, vraag toevoegen) 4. Pas geen antwoordmogelijkheden aan! - https://www.qualtrics.com/support/survey- platform/survey-module/more-survey-module/testing-and- editing-an-active-survey/
- 43. Qualtrics biedt nog veel meer opties... - Look & Feel volledig aanpassen - Begintekst & eindtekst toevoegen (“bedankt voor...”) - Quota’s instellen (bijvoorbeeld maximaal 30% mannen) - Etc. Check voor superduidelijke tutorials: https://www.qualtrics.com/support/explore-the-new- qualtrics/#learn-to-build
- 44. Valkuilen 1) Zicht verliezen op respondenten o Eenmaal online is de vragenlijst voor iedereen toegankelijk... o Tips: schiftingsvragen, inlogcode, bevragen, persoonlijksvariabelen
- 45. 2) Respondenten vullen herhaaldelijk survey in o Niet valide data Let op: Incentive verhoogt niet alleen respons... Uitdaging: Deze respondenten uit je data halen Tricks: beperkte toegang door cookies en/of IP adressen checken Valkuilen
- 46. Kijk ook eens bij Survey options... • Klik op: “prevent ballot box stuffing” om herhaaldelijk invullen te voorkomen
- 47. Valkuilen 3) Online survey niet altijd meest geschikte instrument o Makkelijke manier van verzameling is niet altijd de beste
- 48. Last but not least...: - Online survey biedt kansen EN valkuilen - Ontwerp de survey vanuit de respondent! (pre-testen) - Test de survey op spelfouten etc.! (Via: preview) - Wees creatief met het werven van respondenten (spam niet de studentenmail!)
- 49. Vragen? - Help elkaar - Qualtrics support - Simone.krouwer@uantwerpen.be
Editor's Notes
- Qualtrics les
- Goedemorgen allemaal! Mijn naam is Simone Krouwer, ik ben een PhD student bij communicatiewetenschappen en ik ga jullie in het komende uur meenemen in de wonderschone wereld van Qualtrics. Qualtrics is het programma waarmee we werken bij het afnemen van online vragenlijsten, voor online surveys en experimenten. Mag ik vragen wie van jullie allemaal van plan is om online een onderzoek uit te voeren? In het komende half uur a uur geef ik een aantal tips voor het gebruik van qualtrics en laat ik bovendien zien hoe je een survey maakt.
- Laten we eerst maar eens beginnen met: wanneer je een online survey kan gebruiken. De eerste reden is een vrij logische. Internet is het studieobject. Je doet bijvoorbeeld onderzoek naar een advertentietechniek op Facebook, of naar cyberpesten, e-commerce… De populatie van jouw onderzoek bevindt zich online, dus dan is het nogal handig om online je vragenlijst af te nemen en niet met papieren vragenlijstjes langs deuren te gaan. Bij interviews en laboratoriumexperimenten ligt dat natuurlijk anders.
- Je ziet ook in deze Eurostat statstieken dat 86% vd Belgen in 2014 al online actief was. In NL was dat zelfs 94% . Dat percentage ligt nu nog hoger. Goed nieuws voor het online onderzoek dus.
- MAAR; houd er wel rekening mee met dat het dagelijks / intensief gebruik lager ligt. Neem daarom de frequentie van internetgebruik eventueel mee als een controlevariabele. Vraag aan het einde van je enquete m.b.v. een likertschaal hoe frequent je respondenten gebruik maken van het internet.
- Ook de bijzondere kenmerken van een onderzoekspopulatie kunnen een reden zijn om een online survey uit te voeren. Internet is een verzamelplaats voor groepen in de samenleving. Personen met overeenkomstige specifieke interesses vinden elkaar op het net. Stel je wilt onderzoek doen onder Game of Thrones fans, dan kan je deze mensen mogelijk makkelijk vinden via een forum, of via een Facebookgroep.
- Een derde reden om voor een online survey te kiezen is omdat je respondenten met afwijkende of verborgen gedragingen kunt aanmoedigen om deel te nemen aan het onderzoek. De anonimiteit die mogelijk is op het internet helpt om toegang te krijgen tot respondenten die normaal moeilijk bereikbaar zijn. Denk bijvoorbeeld aan een onderzoek onder online pornoverslaafden. Waarschijnlijk doen deze mensen liever anoniem mee. Benadruk de anonimiteit dan ook het begin van je enquete, zodat mensen gerust gesteld worden. En zorg ook daadwerkelijk dat die mensen anoniem blijven, zelfs al vullen ze hun volledige naam in. Last but not least: het uitvoeren van een online survey is erg goedkoop. Zeker voor ons. We kunnen via de UA gratis gebruik maken van Qualtrics, de data verzameling gebeurt automatisch dus geen gedoe met cijferetjesovertikken en de data wordt meteen opgeslagen in verschillende bestandsformaten, waaronder SPSS.
- De belangrijkste motivatie van studenten om online onderzoek te doen is vaak de economische reden. Maar probeer bij het opzetten van je onderzoek ook de andere voordelen van online surveys te benutten zodat de keuze voor online surveys niet louter gebaseerd is op tijd en geld besparingen maar denk ook eens aan de mogelijkheid om een specifieke doelgroep aan te spreken. Ik deed zelf bijvoorbeeld onderzoek naar online native advertisements. Dus ik had een goede motivatie tijdens mijn verdediging waarom ik voor online onderzoek koos. Dus bedenk voor jezelf ook een goede verantwoording om aan je promotor te geven.
- Oké, dan ga ik jullie nu stap voor stap uitleggen hoe je een Qualtrics enquete maakt. Allerleerst begin je met het aanmaken van een account via je UA mail. Hiervoor gebruik je jouw uantwerpen mail en de link in deze powerpoint.
- Als je de link van de vorige slide volgt kom je op dit scherm. Je logt owel in, of je maakt eerst een account aan via de link onderaan het scherm.
- Na het inloggen kom je op het scherm met al je onderzoeksprogjecten. Om een nieuwe survey aan te maken, klik je rechtsboven op create project.
- Je verzint een titel voor je onderzoek en komt vervolgens op dit scherm, waarbij je direct vragen kunt toevoegen. Je klikt hiervoor op: create question.
- De interface van qualtrics is super gebruiksvriendelijk en bied mogelijkheden om veel verschillende soorten vragen te maken. Iederen van jullie kan een survey met Qualtrics maken. De kunst is alleen om een GOEDE survey te maken. We hebben allemaal wel eens een vragenlijst gehad waarvan je dacht: hier komt geen einde aan. Ik stop ermee. Dat wil je natuurlijk niet hebben, want het gaat al moeilijk genoeg zijn om voldoende mensen voor je onderzoek te werven. Online is de betrokkenheid van mensen bovendien vaak een stuk lager. Verder moet je bij het opstellen van je vragenlijst rekening houden met het volgende: (1) mensen zijn lui en (2) mensen zijn snel verveeld. Respondenten vertonen de neiging om systematisch te antwoorden en om de vragen maar half lezen. Om dit te voorkomen kun je vragen in verschillende vormen toevoegen aan je online vragenlijst. Dit houd de concentratie hoog. Verder moet je niet alle vragen op één pagina zetten waardoor de respondenten door de hele vragenlijst kunnen scrollen, maar gebruik maken van zogenoemde page breaks. Je kunt ook gebruik maken van een controlevraag, om te checken of mensen überhaupt wel serieus je vragenlijst hebben ingevuld en niet zomaar maar wat zaten te klikken
- We zullen nu naar de verschillende soorten vragen kijken. Via de rechterbalk kun je bij “change question type” je type vraag aanpassen. Je kunt bijvoorbeeld een open vraag stellen, of multiple choice, of een likerschaal gebruiken…
- Hier zie je de vragen waar je vervolgens uit kunt kiezen. Iedere vraag geeft ook een voorbeeld als je erop klikt. Nogmaals; zorg voor variatie als dat kan. En stem je vragen uiteraard op de doelgroep af. Dus als je kinderen hebt, gebruik bijvoorbeeld plaatjes als dat kan (vinden volwassenen trouwens vaak ook nog leuk). Uiteindelijk zullen jullie veel van de matrix table gebruik maken, omdat je vaak bestaande likertschalen gebruikt om afhankelijke variabelen te meten. Maar voor leeftijd kan je bijvoorbeeld gebruik maken van de slider. Laten we nu eens naar de verschillende typen vragen kijken.
- Allerleerst: de rangschikkingsvraag. Hierbij vraag je respondenten om keuzeopties in een bepaalde volgorde te zetten. Dus bijvoorbeeld van leukste naar minst leuke film.
- Dan heb je nog de slider. Er zijn verschillende soorten sliders. Hier zie je een voorbeeld van een ‘draggable bar’. Een slider kan je bijvoorbeeld voor leeftijd gebruiken.
- Hier zie je een voorbeeld van een multiple choice vraag waarbij ook afbeeldingen zijn gebruikt. Die afbeeldingen trekken meteen de aandacht van de respondent. Mensen kijken nu eenmaal graag naar plaatjes en filmpjes.
- Een open vraag is ook goed om de motivatie van mensen te meten. Respondenten zijn online (t.o.v. pen&papier) eerder bereid om vragen met open einde te beantwoorden dus twijfel niet om deze ook toe te voegen. Rechts kun je steeds kenmerken van de vraag aanpassen. Hier kan je bijvoorbeeld een minimum lengte en een maximum lengte invoeren, wat bij sommige mensen zeker nuttig is.
- De meest gebruikte schaal in sociologisch onderzoek is de Likert schaal. Die kennen jullie waarschijnlijk allemaal wel. Het is een ordinale schaal waarop mensen kunnen aangeven in welke mate iets op ze van toepassing is. De likert schaal kan je via de matrix table toevoegen.
- Aan de rechterzijde kun je bij statements het aantal stellingen aanpassen.
- Het is slim om wat items omgekeerd te formuleren. Zo verhoog je de concentratie en detecteer je luie respondenten. Belangrijk is wel om dan weer veer Recode into different in SPSS de vragen terug om te keren!
- Bij een bipolaire schaal plaats je 2 uitersten tegenover elkaar. Bijvoorbeeld lelijk en mooi.
- Dan heb je nog de visuele analoge schaal. Hierbij kan je poppetjes gebruiken die repondenten helpen om de schaal te begrijpen. Dit is niet enkel handig bij kinderen, ook volwassenen hebben hier vaak nog baat bij.
- Verder kan je bij het stellen van de vraag altijd afbeeldingen en hyperlinks invoegen. Dit doe je via je rich content editor. Deze staat steeds boven de vraag.
- Nu je de belangrijkste vragenopties weet, heb je hier ook nog een aantal handige algemene opties voor je Qualtrics enquete,
- De eerste handige optie is “force response”. Hiermee forceer je dus mensen om antwoord op een bepaalde vraag te geven. Ik zou dit in principe bij iedere vraag toevoegen. Zo heb je een veel kleinere kans op missing values. Zorg er dan wel voor dat je antwoordcategorieen exhaustief zijn! Niets zo irritiant als niks op je van toepassing is.
- Optie 2 is de page break. Deze is ideaal om ervoor te zorgen dat niet alle vragen op 1 pagina staan. Dit is nietalleen belangrijk voor de overzichtelijkheid en leesbaarheid, maar ook om ervoor te zorgen dat respondenten niet verder kunnen lezen, of terug kunnen scrollen om antwoorden aan te passen.,
- Een derde handige optie is display logic. Display logic gebruik je om slechts een deel van de participanten, op basis van een bepaald antwoord, een vraag te tonen. (BVB: iemand geeft aan aan Facebook verslaafd te zijn). Dan stuur je enkel die participanten door naar een vervolgvraag over de verslaving.
- - Naast display logic heb je ook skip logic - Skip logic gebruik je om deelnemers op basis van hun antwoorden naar een bepaald deel van de survey door te verwijzen en dus een stuk van de vragenlijst over te slaan. - Je hebt bijvoorbeeld een survey over Facebook. Je stelt ind e survey eerst de vraag: gebruikt u Facebook? Stel het antwoord is: Nee dan verwijs je die mensen door naar het einde van de survey.
- Een vijfde handige optie is de “progress indicator”. Deze kan je bij de “look en feel” van de survey toevoegen. Een progress indicator laat zien hoe ver de deelnemer is met het invullen van de survey.
- Een progress bar werkt motiverend. Het kan een psychologisch effect hebben. Stel respondenten zijn het zat, maar ze weten dat ze op 80% zitten. Dan zijn ze sneller geneigd om het af te maken.
- Een zesde handige optie is piped tekst. Piped tekst kan je gebruiken om een vraag vorm te geven op basis van eerdere antwoorden. Qualtrics plaatst een code en op basis van een bepaald antwoord krijgt iemand een customized question. Dus stel, je vraagt in een eerdere vraag naar iemand z’n favoriete acteur. Dan kan je die naam van die acteur later laten terugkomen. Jij selecteert de vraag die je gebruikt voor de piped text via het piped text menu. Dit is al een iets ingewikkeldere optie die niet iedereen van jullie nodig zal hebben, maar ik dacht ik noem m toch even.
- Dan nu nog wat opties voor als je bepaalde experimentele condities hebt. Allereerst heb je een timer die je toe kan voegen bij het tonen van de stimuli. Stel je hebt verschillende condities met verschillende advertenties voor een kast. Door onder de advertentie de question type: “timing” toe te voegen kun je instellen hoe lang deelnemers minimaal naar de advertentie moeten kijken. Daarnaast meet de vraag (zonder dat de deelnemers het zien) hoe lang iedere deelnemer naar de advertentie kijkt. d LET OP: voeg onder je experimentele manipulatie wel een page break toe! Anders kunnen deelnemers direct de vragen zien.
- Je wilt met je experiment natuurlijk dat iedere deelnemer maar 1 conditie ziet en dat de toewijzing aan de condities random gebeurt. Hiervoor volg je de volgende stappen uit. Ten eerste gebruik je verschillende Blocks om je vragen in te plaatsen. Je klikt op Add block om een nieuw block aan te maken. Je maakt bijvoorbeeld eerst een block voor de eerste, algemene vragen. Daarna plaats je de verschillende condities in een apart block. Vervolgens doe je de vragen die je stelt na het maken van de block ook weer in een aparte conditie.
- Vervolgens pas je de ‘survey flow’ aan.
- Ind e survey flow kan je instellen in welke volorgde de deelnemers de verschillende question blocks zien. Via de randomizer kan je instellen dat de deelnemers random aan één van de condities wordt toegewezen. Ze zien dus maar 1 van de conditieblocks. Maar ze zien daarna wel allemaal dezefde vragen. Het ziet er hier misschien wat ingewikkeld uit, maar het wijst echt allemaal voor zichzelf.
- Een laatste handig optie is de “share project” optie. Deze vind je naast de naam van je onderzoek. Om je promotor mee te laten kijken, kan je deze via de share project als beheerder toevoegen.
- Voordat je de enquete online plaatst, is het belangrijk dat je checkt of deze helemaal vrij is van spelfouten en of deze ook goed op de mobiel zichtbaar is. Zo niet, dan moet je aan het begin vd vragenlijst aan deelnemers duidelijk maken dat ze enkel via de computer kunnen deelnemen. Het is slim om elkaar te helpen met net nakijken, want vaak zie je je eigen fouten niet .
- Oke, als de enquete helemaal gemaakt en gecontroleerd is , kan je de data gaan verzamelen. Dit doe je via: “distribute survey” Je kunt de link naar je onderzoek delen met familie, facebook etc. Probeer hierbij wel om vertekening in deelnemers karakteristieken te vermijden! (BVB enkel communicatiestudenten in een onderzoek over mediawijsheid = NIET representatief), of BVB enkel studenten van jouw vereniging bij een onderzoek over drankgebruik is dat ook niet.
- Om de resultaten te analyseren klik je in het menu op “data en analysis”. Vervolgens op export data. En dan download je het SPSS bestand. Je kunt hierbij ook voor excel kiezen.
- Heb je een foutje gemaakt? Je kunt een geactiveerde vragenlisjt nog aanpassen, maar je moet hier HEEEL voorzichtig mee zijn!! Qualtrics heeft een beschermingsmechanisme en kan alle antwoorden die je tot dan toe hebt verzameld verwijderen, als je te veel aanpast. Download daarom ook eerst voor de zekerheid het SPSS bestand met de respons die je tot dan doe hebt, dan heb je dat als backup. Echter, als het geen erge fouten zijn, dan zou ik de enquete gewoon niet aanpassen, want het is gewoon heel vervelend als al je data gewist wordt.
- Dan heb ik hier nog een paar laatste qualtrics opties… Je kunt in qualtrics ook - de look en feel van de vragenlijst volledig aanpassen. Bovenaan de vragenlijst zie je een look en feel menu die je hiervoor kunt gebruiken. Een begin- en eindtekst teovoegen Quota’s instellen En nog heel veel meer! Kijk hiervoor in de handleiding. Die is echt superduidelijk.
- Dan om af te ronden, nog een aantal valkuilen van een online onderzoek. De eerst valkuil is dat je zicht verliest op wie nu eigenlijk je enquête aan het invullen is. Je hebt hiervoor wel wat handige truukjes. Je kunt bijvoorbeeld om iemand zijn e-mail adres en wat alegemene persoonsgegevens vragen.
- Een tweede valkuil is dat deelnemers herhaaldelijk deelnemen. Dat gebeurt vaak vooral als je cadeautjes geeft. Je kunt aand e hand van bijvoorbeeld de ipadressen checken of dit het geval is.
- Vink bij survey options ook de optie: prevent ballot box stuffing aan om herhaaldelijk invullen te voorkomen.
- De derde valkuil is dat je niet goed nadenkt of het wel echt zo slim is om jouw onderzoek online af te nemen. Als je onder senioren een onderzoek uitvoert, dan kun je bijvoorbeeld misschien beter niet online je vragenlijst laten plaatsvinden.
- Last but not least nog wat laatste tips. - Denk goed na waarom jej een online onderzoek uitvoert. Soms vragen de promotoren bij de verdediging ook waarom je voor online hebt gekozen. Je moet dit dan wel kunnen verantwoorden. Ontwerp je survey vanuit de respondent en test deze ook voordat je m online zet. Maak de survey zo interessant mogelijk. Dit verhoogt de kans dat de deelnemers je onderzoek volledig invullen en niet tussentijds afhaken. En prober creatief te zijn met het werven van de respondenten. Ieder jaar opnieuw ontstaan er openbare ruzies via de studentenmail omdat mensen elkaar zitten te spammen. Probeer daarom ook andere opties. Gebruik je eigen network buiten de universiteit.
- Dat waren kort samengevat de belangrijkste tips en tricks en methodes voor het opstellen van een online vragenlijst. Als je nog eens rustig wilt kijken; jullie krijgen of hebben deze powerpoint al. Verder vind je op de website van qualtrics ook allerlei handleidingen en tips en tricks. En als je er echt niet uitkomt dan mag je mij ook altijd via dit email adres mailen. Zijn er voor nu nog mensen met vragen?