Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

(Nie)wiarygodne obserwacje praktyków UX – o głupich błędach w interpretacji wyników

Każdemu zdarzają się błędy. Nawet najlepszym. Ważne jest to, aby wyciągnąć z tego wnioski i wprowadzić je w życie. Przedstawię wam opowieść o momentach, gdy jako projektanci/badacze odrywamy się od świata faktów, brniemy w szamanizm, nieświadomie sabotując decyzje projektowe. Oddam w wasze ręce instrukcję, w jaki sposób poprawnie interpretować wyniki badań bez gadania głupot. Potraktuj to jako małą pigułkę statystycznej i matematycznej wiedzy na własny użytek, podaną w wersji “dla o(d)pornych praktyków”.

  • Login to see the comments

(Nie)wiarygodne obserwacje praktyków UX – o głupich błędach w interpretacji wyników

  1. 1. KRZYSZTOF PIWOWAR · DESIGN MANAGER · @XYSIU (Nie)wiarygodne 
 obserwacje praktyków UX czyli o głupich błędach w interpretacji wyników
  2. 2. Ekspert
  3. 3. Rezultaty
  4. 4. Jednak czasem…
  5. 5. W czym problem?
  6. 6. Troszkę teorii … ale tylko odrobinę. Obiecuję!
  7. 7. Prawdopodobieństwo Szansa na wydarzenie się czegoś 
 w ustalonych warunkach (kontekście). 
 Nie istnieje coś takiego jak 100% pewność. Statystyka zawsze porusza się w obszarze 
 zarządzania ryzykiem.
  8. 8. Made with by PGS Software · Dyskretne Skończone wartości, 
 które da się policzyć 
 np. liczba jabłek. Ciągłe Dane o nieskończonej 
 liczbie możliwych wartości 
 np. czas. Rodzaje danych 10
  9. 9. Made with by PGS Software · 11 Średnia (populacji) Wartość wyniku, jaką spodziewamy się uzyskać najczęściej. Poziom istotności Najmniejsze p-stwo, że uzyskany wynik jest dalej prawidłowy (będziemy brali go pod uwagę). Przedział ufności Jak bardzo pewni jesteśmy, że dana wartość mieści się w przedziale, który ustaliliśmy. 0,0 (0%) 1,0 (100%) PRAWDOPODOBIEŃSTWO Rozkład Gaussa
  10. 10. Dane dyskretne oraz historia pewnego przypadku w interpretacji wyników
  11. 11. Made with by PGS Software · Nazywasz się Krzysztof Kajak i pracujesz 
 w firmie “Daleko od Brzegu”. Chcesz kupić nowe wiosła. Podesłany przez znajomą link na Facebooku, kieruje cię na stronę wiosluj.pl. Zamów zestaw drewnianych wioseł i poinformuj moderatora, gdy wykonasz zadanie. HISTORIA PEWNEGO BADANIA 13
  12. 12. Made with by PGS Software · 10 8 2 Wyniki badania 14 Uczestników Pojawili się na badaniu 
 i przeszli przez cały scenariusz badawczy. Sukces Zakończyły się zamówieniem wioseł. Oznaczamy jako “1”. Porażka Zakończyły się brakiem zamówienia wioseł. Oznaczamy jako “0”.
  13. 13. Made with by PGS Software · 15 80%zrealizowało zadanie → Ile zrealizuje w przyszłości?
  14. 14. Made with by PGS Software · 16 80% zrealizowało zadanie → 80% zrealizuje w przyszłości
  15. 15. Co mówi matma?
  16. 16. Made with by PGS Software · 18 Krok 1 - średnia i jej normalizacja 0,0 (0%) 1,0 (100%) PRAWDOPODOBIEŃSTWO
  17. 17. Made with by PGS Software · Krok 1 - średnia i jej normalizacja (metodą Walda) 19 SRno ≈ 0,72SRar = 0,80
  18. 18. Made with by PGS Software · 20 Krok 1 SRno ≈ 0,72 Krok 2 - błąd standardowy średniej 0,0 (0%) 1,0 (100%) PRAWDOPODOBIEŃSTWO
  19. 19. Made with by PGS Software · Krok 2 - błąd standardowy (średniej) 21 SEM ≈ 0,12
  20. 20. Made with by PGS Software · 22 Krok 1 SRno ≈ 0,72 Krok 2 SEM ≈ 0,12 Krok 3 - margines błędu 0,0 (0%) 1,0 (100%) PRAWDOPODOBIEŃSTWO
  21. 21. Made with by PGS Software · Krok 3 - margines błędu 23
  22. 22. Made with by PGS Software · 51%wiarygodność kasynowa 24
  23. 23. Made with by PGS Software · 80%wiarygodność badawcza 25
  24. 24. Made with by PGS Software · 90%wiarygodność przemysłowa 26
  25. 25. Made with by PGS Software · 95%wiarygodność publikacyjna 27
  26. 26. Made with by PGS Software · 99%wiarygodność farmaceutyczna 28
  27. 27. Made with by PGS Software · Krok 3 - margines błędu 29 ME ≈ 0,24
  28. 28. Made with by PGS Software · 30 Krok 1 SRno ≈ 0,72 Krok 2 SEM ≈ 0,12 Krok 3 ME ≈ 0,24 95% przedział ufności / wiarygodność 0,0 (0%) 1,0 (100%) PRAWDOPODOBIEŃSTWO
  29. 29. Made with by PGS Software · Krok 4 - przedział ufności 31 dLO ≈ 0,48 dUP ≈ 0,96
  30. 30. Made with by PGS Software · 32 0,0 0,5 1,0 ME ≈ 0,24 SRno ≈ 0,72 1
  31. 31. Made with by PGS Software · 33 80% zrealizowało zadanie → 80% zrealizuje w przyszłości
  32. 32. Made with by PGS Software · 34 80% zrealizowało zadanie → 48-96% zrealizuje w przyszłości 95%
  33. 33. measuringu.com/wald
  34. 34. Dane ciągłe oraz kolejna historia pewnego przypadku w komunikacji wyników
  35. 35. Made with by PGS Software · Nazywasz się Anna Netflik i właśnie obejrzałaś nowy trailer serialu Stranger Things. Na skali 1-10 oceń, jak bardzo ci się spodobał. HISTORIA PEWNEGO BADANIA 37 1 10
  36. 36. Made with by PGS Software · 10 2, 4, 3, 7, 8, 9, 6, 7, 8, 5 Wyniki badania 38 Uczestników Obejrzeli trailer i ocenili 
 go za pomocą dołączonej skali.
  37. 37. Made with by PGS Software · 39 5,9ocena trailera teraz → Jaka ocena trailera w przyszłości?
  38. 38. Made with by PGS Software · 40 5,9 średnia ocen teraz → 5,9 średnia ocen w przyszłości
  39. 39. Co mówi matma?
  40. 40. Made with by PGS Software · 42 Krok 1 - obliczenie średniej Krok 2 - 
 a) odchylenie standardowe bonus b) błąd standardowy Krok 3 - margines błędu 95% przedział ufności / wiarygodność 0,0 (0%) 1,0 (100%) PRAWDOPODOBIEŃSTWO
  41. 41. Made with by PGS Software · Krok 1 - obliczenie średniej 43 SR = 5,9
  42. 42. Made with by PGS Software · Krok 2 - obliczenie odchylenia standardowego 44 SD ≈ 2,33 bonus
  43. 43. Made with by PGS Software · Krok 2 - błąd standardowy 45 SE ≈ 0,74
  44. 44. Made with by PGS Software · Krok 3 - margines błędu 46 ME ≈ 1,44
  45. 45. Made with by PGS Software · Krok 4 - przedział ufności 47 dLO ≈ 4,46 dUP ≈ 7,35
  46. 46. Made with by PGS Software · 48 5,9 średnia ocen teraz → 5,9 średnia ocen w przyszłości
  47. 47. Made with by PGS Software · 49 5,9 śr. ocen teraz → 4,46 - 7,35 śr. ocen w przyszłości 95%
  48. 48. measuringu.com/ci-calc
  49. 49. Porównywanie różnych typów wyników
  50. 50. Made with by PGS Software · Badasz pięć wersji tego samego narzędzia. 
 Każda wersja testowana jest przez różną ilość różnych osób. Na zakończenie badania prosisz każdą z osób, aby oceniła przydatność testowanej wersji. Chcesz porównać wyniki i stwierdzić, 
 które rozwiązania są dobre i podbiją świat. HISTORIA PEWNEGO BADANIA 52
  51. 51. Made with by PGS Software · 0 100 200 A B C D E 53 Wyniki badania
  52. 52. Co mówi matma?
  53. 53. Made with by PGS Software · 55 0 100 200 A B C D E Wyniki badania
  54. 54. Made with by PGS Software · 56 0 100 200 A B C D E Nie nachodzą na siebie 
 - istnieje znacząca różnica Wyniki badania
  55. 55. Made with by PGS Software · 57 0 100 200 A B C D E Wyniki badania Częściowo nachodzą na siebie - wykorzystaj test t Studenta
  56. 56. Made with by PGS Software · 58 0 100 200 A B C D E Częściowo nachodzą na siebie - wykorzystaj test t Studenta Wyniki badania
  57. 57. Made with by PGS Software · 59 0 100 200 A B C D E Całkowicie nachodzą na siebie - brak znaczącej różnicy Wyniki badania
  58. 58. Made with by PGS Software · 60 Wyniki badania A, B, C, D, E A, C, B, D, E A, D, B, C, E A, D, C, B, E A, B, C, E, D A, C, B, E, D
  59. 59. Made with by PGS Software · Na badanie zostało zrekrutowanych 30 osób. Grupa 15 osób wykonała zadania dla wersji A 
 i wypełniła arkusz oceny. Następnie wykonała 
 te same zadania dla wersji B i ponownie wypełniła arkusz oceny. Kolejne 15 osób wykonało zadania 
 i wypełniło oceny najpierw dla B a potem dla A. Łącznie masz 30 ocen dla A i 30 ocen dla B.
 Która wersja jest lepsza? HISTORIA PEWNEGO BADANIA 61
  60. 60. Made with by PGS Software · 30 Wyniki badania 62 Uczestników Wykonali scenariusz zadań i wypełnili arkusz ocen. …
  61. 61. Co mówi matma?
  62. 62. Made with by PGS Software · Dyskretne Czy grupy są niezależne? tak nie • Chi-squre • Adj. Wald Diff. in proportions • N-1 Two Proportion Test • Fisher Exact Test tak nie • Adj. Wald CI for Diff. in Matched Proportions • McNemar Exact Test tak nie Trzy lub więcej grup? Trzy lub więcej grup? Ciągłe tak nie Czy grupy są niezależne? tak nie • ANOVA • Multiple Two-Sample t • Two-Sample t tak nie • ANOVA • Multiple paiered t • Paired t Trzy lub więcej grup? Trzy lub więcej grup? 64 Na podstawie Quantifying The User Experience, Jeff Sauro, James R. Lewis
  63. 63. Made with by PGS Software · Dyskretne Czy grupy są niezależne? tak nie • Chi-squre • Adj. Wald Diff. in proportions • N-1 Two Proportion Test • Fisher Exact Test tak nie • Adj. Wald CI for Diff. in Matched Proportions • McNemar Exact Test tak nie Trzy lub więcej grup? Trzy lub więcej grup? tak tak nie • ANOVA • Multiple Two-Sample t • Two-Sample t tak nie • ANOVA • Multiple paiered t Trzy lub więcej grup? • Paired t Trzy lub więcej grup? nie Ciągłe Czy grupy są niezależne? 65 Na podstawie Quantifying The User Experience, Jeff Sauro, James R. Lewis
  64. 64. Made with by PGS Software · Dyskretne Czy grupy są niezależne? tak nie • Chi-squre • Adj. Wald Diff. in proportions • N-1 Two Proportion Test • Fisher Exact Test tak nie • Adj. Wald CI for Diff. in Matched Proportions • McNemar Exact Test tak nie Trzy lub więcej grup? Trzy lub więcej grup? tak tak nie • ANOVA • Multiple Two-Sample t • Two-Sample t tak nie • ANOVA • Multiple paiered t Trzy lub więcej grup? • Paired t Trzy lub więcej grup? nie Ciągłe Czy grupy są niezależne? 66 Na podstawie Quantifying The User Experience, Jeff Sauro, James R. Lewis
  65. 65. Made with by PGS Software · Dyskretne Czy grupy są niezależne? tak nie • Chi-squre • Adj. Wald Diff. in proportions • N-1 Two Proportion Test • Fisher Exact Test tak nie • Adj. Wald CI for Diff. in Matched Proportions • McNemar Exact Test tak nie Trzy lub więcej grup? Trzy lub więcej grup? tak tak nie • ANOVA • Multiple Two-Sample t • Two-Sample t tak nie • ANOVA • Multiple paiered t Trzy lub więcej grup? • Paired t Trzy lub więcej grup? nie Ciągłe Czy grupy są niezależne? 67 Na podstawie Quantifying The User Experience, Jeff Sauro, James R. Lewis
  66. 66. Made with by PGS Software · Krok 1 - obliczenie średniej 68 SRRO ≈ -54,47
  67. 67. Made with by PGS Software · Krok 2 - obliczenie odchylenia standardowego 69 SD ≈ 14,33
  68. 68. Made with by PGS Software · Krok 3 - obliczanie t 70 t ≈ 20,817
  69. 69. Five trillion to one! Punter scoops second lottery win with the same numbers źródło artykułu
  70. 70. Made with by PGS Software ·Definicja dla o(d)pornych p - prawdopodobieństwo testowe ilustruje, jaka jest szansa, że zaobserwowana różnica jest dziełem przypadku (nie reguły). 72
  71. 71. Made with by PGS Software · Krok 4 - obliczanie p 73 p ≈ 0,000000001 usablestats.com/calcs/tdist
  72. 72. Made with by PGS Software · 74 Na 99.99% wersja B ma znacząco różne wyniki oceny od A. Dlatego wersja z wyższymi ocenami (B) jest lepsza. 99%
  73. 73. graphpad.com/quickcalcs
  74. 74. Zapamiętaj wnioski dla zabieganych (lub zmęczonych)
  75. 75. Made with by PGS Software · Bądź jak Renata Renata włożyła wiele starań 
 w opracowanie wiarygodnej interpretacji wyników swoich badań. Nie była leniem. Bądź jak ona. 77
  76. 76. Made with by PGS Software · Statystyka nie gryzie Statystyka i matematyka nie są straszne. Wystarczy zapamiętać kilka prostych zasad. Nie musisz znać wzorów na pamięć. Wykorzystaj… 78
  77. 77. Made with by PGS Software · Kalkulatory Mamy czasy, gdzie technologia pomaga ludziom. Czemu więc z niej nie skorzystać? Zapomnij o liczeniu 
 na kartce czy w Excelu. Skorzystaj 
 z algorytmu. 79
  78. 78. Made with by PGS Software · Hipotezy vs. fakty Już wiesz, że interpretacja ma kluczowe znaczenie dla dalszych decyzji. Oprzyj je o fakty. Nie koloruj rzeczywistości i nie idź na skróty. 80
  79. 79. Made with by PGS Software · Decyzje Samodzielnie podejmuj decyzje. Nawet, jeśli będziesz ignorować fakty, rób to świadomie i z pełną odpowiedzialnością. 81
  80. 80. Made with by PGS Software · Dokładność Jeśli uzyskana dokładność cię nie satysfakcjonuje, szukaj sposobów 
 na zwiększenie liczby wyników, którymi dysponujesz. Teraz już wiesz, jak to działa. 82
  81. 81. Co mówi matma?
  82. 82. Made with by PGS Software · 84 Stosując się do tych zasad 
 nie popełnicie głupich błędów w interpretacji wyników. 80%
  83. 83. Bądźmy w kontakcie Krzysztof Piwowar @xysiu
  84. 84. 1. How confident do you need to be in your research? (źródło). 2. Strong MeasuringU (źródło). 3. Z-score calculator (źródło). 4. Confidence interval calculator for a completion rate (źródło). 5. Confidence interval calculator (źródło). 6. Percentiles from the t-Distribution Calculator (źródło). 7. Kalkulatory - Quick calcs (źródło). 8. Kalkulatory - Usable Stats (źródło). 9. Jaki test statystyczny dobrać? (źródło). 10. Pojęcia stosowane w analizie statystycznej (źródło). LINKI
  85. 85. 11. Trochę linków o statystyce (źródło). 12. Garść informacji o istotności statystycznej/wiarygodności (źródło). 13. Stosowane przedziały wiarygodności (źródło). 14. Książka Quantifying the User Experience: Practical Statistics 
 for User Research, Jeff Sauro, James R. Lewis (źródło). 15. Unsplash - beautiful free photos (źródło). LINKI
  86. 86. KRZYSZTOF PIWOWAR · @XYSIU Dzięki za cierpliwość! Odwiedź pgs-soft.com

×