Hide Notes 

Slide 1: Miary użyteczności Na podstawie „Measuring the user experience” Tom Tullis, Bill Albert Natalia Bednarz 6.03.09 1
Slide 2: Miary użyteczności znaczenie • Wskazywanie problemów, ich skali oraz przyczyn. • Porównywanie różnych rozwiązań. • Pomiar zadowolenia i preferencji użytkowników. • Ocena wpływu zmian. • Wskazanie obszarów usprawnień oraz zwiększenia ROI. 6.03.09 2
Slide 3: Miary użyteczności - rodzaje • • • • • • wydajności, problemów, zadowolenia, behawioralne i fizjologiczne, łączone i porównawcze, inne. 6.03.09 3
Slide 4: Miary wydajności • Oparte na zachowaniu użytkownika. • Analiza wykonywania zadań (liczba oraz sposób). • Co najmniej 8 uczestników – znaczące wnioski, rozsądny przedział ufności. • Odpowiedź na pytanie: CO?, a nie DLACZEGO? 6.03.09 4
Slide 5: Miary wydajności - rodzaje 1.Ukończenie zadania. 2.Czas wykonania zadania. 3.Wykryte błędy. 1.Efektywność. 5.Nauczalność. 6.03.09 5
Slide 6: 1. Ukończenie zadania (task success) • Szerokie zastosowanie. • Jasne określenie zadania (końca). • Łatwa interpretacja i analiza – dane binarne. • Analiza danych:  sukces binarny (przedziały ufności),  poziomy sukcesu. 6.03.09 6
Slide 7: Przedziały ufności – metoda Walda Przedziały ufności jako funkcja wielkości grupy respondentów. 6.03.09 7
Slide 8: Poziomy sukcesu • Metoda 0/1 nie zawsze najlepsza. • Równie ważne elementy: – stopień ukończenia zadania, – doświadczenie użytkownika, – sposób wykonania. 6.03.09 8
Slide 9: 2. Czas wykonania zadania (time-on-task) • Pomiar efektywności i użyteczności. • Przeważnie „szybciej znaczy lepiej”. • Pomiar powtarzalnych czynności (formularze, rezerwacje, zakupy). • Umożliwia szacowanie wzrostu zyskowności (czas wykonania – liczba użytkowników). 6.03.09 9
Slide 10: 3. Pomiar błędów (errors) • Stosowany, kiedy błędy są przyczyną:  znacznej utraty efektywności (utrata danych),  wysokich kosztów (zwrot produktu),  niewykonania zadania. • Analiza danych:  liczba błędów przy każdym zadaniu,  procent badanych popełniających błąd. 6.03.09 10
Slide 11: 4. Efektywność (efficiency) • Analiza „wysiłku” włożonego w wykonanie zadania (liczba kroków, wyświetlonych stron).  poznawczy (znajdowanie odpowiedniego miejsca, decyzja, interpretacja),  fizyczny. • Wskaźnik „Lostness” 6.03.09 11
Slide 12: Lostness N – liczba różnych stron odwiedzonych S – całkowita liczba odwiedzonych stron R – optymalna liczba stron L=sqrt[(N/S – 1)2 + (R/N – 1)2] L<0,4 brak większych błędów L>0,5 obecność istotnych błędów 6.03.09 12
Slide 13: 6.03.09 13
Slide 14: 5. Nauczalność (learnability) • Czas doskonalenia. • Najczęściej stosowane do badania przyjazności nowej aplikacji w firmie. • Analiza danych:  zmiany miar wydajności w czasie,  określone odstępy czasu (w zależności od przewidywanej częstotliwości użycia). 6.03.09 14
Slide 15: Miary problemów (issue-based metrics) • Wyodrębnianie błędów użyteczności w obszarach:     wykonania zadania, dostrzegalności elementów, posługiwania się nawigacją, interpretacji informacji. • Wartościowe – rzeczywiste (analiza zachowania użytkownika). 6.03.09 15
Slide 16: Miary problemów - analiza 1. Wskaźniki ciężkości błędów (severity ratings) – nadanie priorytetowości. 2. Wskaźniki oparte na doświadczeniu użytkownika. 3. Wskaźniki łączone. 6.03.09 16
Slide 17: Miary problemów - analiza • Częstotliwość występowania unikalnych błędów. • Częstotliwość występowania błędów  na 1 uczestnika,  w poszczególnych zadaniach. • Kategoryzacja (nawigacja, nazewnictwo, zawartość strony, funkcjonalność itp.). 6.03.09 17
Slide 18: Miary opinii użytkowników (self-reported) Dokładne zbadanie: • opinii badanych, • sposobu wykonywania zadań, • poziomu zapamiętywalności. 6.03.09 18
Slide 19: Miary opinii użytkowników – po zakończeniu zadania Skala Likerta – przeważnie pięciostopniowa; stopień akceptacji zjawiska. 6.03.09 19
Slide 20: Miary opinii użytkowników – po zakończeniu zadania Skala semantyczna – prezentująca przeciwstawne określenia (5 lub 7 stopni). 6.03.09 20
Slide 21: Miary opinii użytkowników – po zakończeniu badania SUS – 10 zdań do oceny przez użytkownika. 6.03.09 21
Slide 22: Miary opinii użytkowników – serwisy internetowe Przykład – WAMMI. • pomiar zadowolenia użytkowników, • benchmarking, • ogólna ocena atrakcyjności, skuteczności, przydatności, nauczalności. 6.03.09 22
Slide 23: Miary behawioralne i fizjologiczne • • • • • obserwacja zachowania, facial expressions, eyetracking, rytm serca, przewodnictwo skóry, pomiar stresu. 6.03.09 23
Slide 24: Miary łączone i porównawcze • Łączenie kilku miar w jedną. • Porównywanie z wartościami wzorcowymi. Ogólnie: dostarczanie finalnych odpowiedzi. Wyzwanie: właściwe i logiczne połączenie wyników z różnych skal. 6.03.09 24
Slide 25: 6.03.09 25
Slide 26: ROI? • Prosta odpowiedź: porównywanie,  wpływ zmian,  preferencje, zapamiętywalność. • Trudna odpowiedź:  usunięcie błędu, a oszczędność,  poprawa funkcjonalności, a poprawa zysku.  symulacje – potrzebne dane. 6.03.09 26
Slide 27: Dziękuję Natalia Bednarz 6.03.09 27