Trabalhos de alunos da PUC-Rio na Disciplina Teste Formal de Usabilidade. Pós em Ergodesign de Interfaces, Arquitetura de Informação e Interação Humano-Computador. Professor Luiz Agner.

1. Teste Formal de Usabilidade
WhatsApp Messenger é um aplicativo de mensagens
multiplataforma que permite trocar mensagens pelo celular sem
pagar por SMS. Está disponível para iPhone, BlackBerry, Android,
Windows Phone, e Nokia e sim, esses telefones podem trocar
mensagens entre si! Como o WhatsApp Messenger usa o mesmo
plano de dados de internet que se usa para e-mails e navegação,
não há custo para enviar mensagens.
Carla Vitorino | Henrique Ferreira | Rachell Santana | Wallace Andrade

2. Definição de objetivos
● Descobrir/Identificar principais problemas de
usabilidade no aplicativo, identificá-los de
maneira clara e recomendar possíveis
melhorias;
● Avaliar se as funções do aplicativo foram
implementadas corretamente

3. Problemas
● Usuário entende como define e como é
usado seu status?
● Usuário consegue criar grupos facilmente?
● Usúário consegue usar as configurações
facilmente?
● Usuário entende o que são "contatos"?

4. Tipo de Teste
Será utilizado o teste de validação. Este tipo
de teste certifica se o produto satisfaz os
padrões desejados de tempo e esforço para
completar com facilidade as tarefas.
Ele determina tempos para as tarefas
(benchmarks) e dados quantitativos.

5. Definição de papéis
● Moderador: Rachell Santana
● Apontador: Henrique Ferreira
● Operador: Carla Vitorino
● Observador: Wallace Andrade

6. Perfil dos usuários
● Ambos os sexos
● Faz uso de smartphones
● Faixa etária de 12 - 50 anos
● Tem interesse de estar conectado (com
amigos ou família)

7. Cenário
Sábado à tarde, você está na PUC já
pensando no que fazer à noite. Como você não
planejou nada, você decide perguntar aos seus
amigos o que eles estão planejando fazer.
Para isso você decide usar o aplicativo
WhatsApp do seu celular.

8. Tarefa 1 - Adicionar contato
Você percebeu que ainda não tem a sua amiga
Carla Vitorino nos seus contato do WhatsApp.
Adicione ela à sua lista. O telefone dela é 71
8668-1690.

9. Tarefa 2 - Criar um grupo
Você decidiu criar um grupo de amigos para
discutirem sobre onde vão hoje à noite. Crie
um grupo com: Carla Vitorino, Henrique
Ferreira e Wallace Andrade.

10. Tarefa 3 - Trocar mensagens com fotos
Você decidiu enviar uma foto para todos seus
amigos no grupo que você acabou de criar.
Envie a primeira imagem da galeria de fotos do
telefone.

11. Tarefa 4 - Alterar status
Altere seu status de "Disponível" para "Estou
na PUC".

12. Benchmarks
● Tarefa 1 - Adicionar Carla Vitorino
aproximadamente 1 minuto e 37 segundos.
● Tarefa 2 - Criar um grupo de amigos
aproximadamente 1 minuto e 19 segundos.
● Tarefa 3 - Enviar uma foto para os amigos
aproximadamente 54 segundos.
● Tarefa 4 - Alterar status
aproximadamente 41 segundos.

13. Equipamentos e Metodologia
● Smartphone Galaxy S2 Lite com conexão de internet;
● Câmera digital Sony;
● Questionários, documentação e roteiro impressos;

14. Perfil dos entrevistados
Usuário 1 - Homem de 31 anos, antenado, possui um
Samsung Galaxy II com sistema operacional Android.
Utiliza diariamente aplicativos de redes sociais e mapas.
Usuário 2 - Mulher de 27 anos, antenada e possui um
aparelho com sistema Android. Usa aplicativos como
WhatsApp.
Usuário 3 - Mulher de 32 anos, usuária comum e possui
um Smartphone com sistema operacional não identificado.
Utiliza diariamente aplicativos como dicionários e jogos.
Nunca havia usado o WhatsApp.

15. Perfil dos entrevistados
Usuário 4 - Homem de 29 anos, antenado, possui um
Samsung Galaxy com sistema operacional Android.
Utilizou WhatsApp, mas não faz mais uso. Costuma usar
aplicativos como Office, calendário e jogos.
Usuário 5 - Mulher de 27 anos, antenada, possui um
Samsung Ace com sistema operacional Android.
Utiliza aplicativos de viagens, WhatsApp, Facebook e
Youtube.

16. Análise dos dados coletados
Tarefa 1 - Adicionar Carla Vitorino
A maioria dos usuários tentaram adicionar o contato pelo
"WhatsApp", contudo, o app não apresenta esta função. O
contato deve ser adicionado pelo sistema do telefone.
Não gostei de sair do
aplicativo para executar
a tarefa - Usuário 2

17. Análise dos dados coletados
Tarefa 2 - Criar um grupo de amigos
Embora os usuários testados não tenham tido grandes
problemas com a tarefa, a maioria tentou primeiramente
adicionar contatos à um chat já existente.
Achei que eu pudesse
criar um grupo dentro de
um chat - Usuário 3

18. Análise dos dados coletados
Tarefa 3 - Enviar uma foto para os amigos
Em um primeiro momento existe uma certa dificuldade de
encontrar o ícone de anexo. Os usuários tendem a
procurar a opção perto do campo de envio de texto ou no
menu.
Achei que o "enviar
imagem" ficasse perto
do box de texto. -
Usuário 4

19. Análise dos dados coletados
Tarefa 4 - Alterar status
Parte dos usuários não sabiam da existência desta função,
mas foi executada com facilidade.
Não sabia dessa
possibilidade. Gostei! -
Usuário 1

20. Vídeos - Tarefa 1
"Eu adicionei, mas pela
minha experiência e não
sei se necessariamente
ela já apareceu aqui"
http://youtu.be/IAEkA44T9Vc
"Eu preferia me manter
dentro do WhatsApp
para adicionar a Carla"
http://youtu.be/LsMN62wXUO8
"Eu quero adicionar
pessoas ao aplicativo e
ele não me deixou"
http://youtu.be/s1p0Ybn0plc

21. Vídeos - Tarefa 2
"Estou tentando lembrar,
mas realmente não vai
rolar"
http://youtu.be/x8oB6BvBVq8
"Acabei de ver um
ícone aqui"
http://youtu.be/3tSK_YlP-Ic
"Eu achei que poderia
ser dentro de contatos"
http://youtu.be/hs0GJ4-kYHM

22. Vídeos - Tarefa 3
"Eu não vi esse ícone de
anexo"
http://youtu.be/WCDFK0fe3I0
"Eu fiquei com os
olhos muito em baixo"
http://youtu.be/lFjyiIEKVQk

23. Vídeos - Comentários Gerais
"Simplicidade e fato
de ser gratuito"
http://youtu.
be/SZMMKLxQTdw
"A gente se adapta fácil"
http://youtu.be/iwI3pnPiSGo
"Poder anexar para tudo
mundo."
http://youtu.be/3MInIOMzfks
"Ter um menu no aplicativo,
invés de precisar usar o
menu do celular"
http://youtu.be/J2k57pmZ7iw

24. Tabulação e classificação de dados
Problemas Heurística violada Gravidade
Ao adicionar usuários o aplicativo
abre a agenda do aparelho saindo do
aplicativo
1.condução - a. prompting ou presteza
6. consistência
1
O menu de configuração não está
sempre presente na tela, usuário
precisa utilizar o botão físico do
aparelho
3. controle explicito - a. ações
explícitas do usuário
6. consistência
2
Dentro de um chat não é possível
adicionar outra pessoa a
conversando, criando um grupo
3. controle explicito - b. controle pelo
usuário
4. adaptablidade - a.flexibilidade
3
O ícone de anexar imagem é um
clipe papel
7. significado dos códigos 2
Localização do ícone anexar imagem
fica no topo da tela
1.condução - b.grupam. / dist. de itens
6. consistência
2

25. Conclusão
Apesar de apresentar os problemas relatados o
WhatsApp é um aplicativo bastante aceito. Os
seus benefícios superam seus problemas. Os
usuários optam por aprender a utilizá-lo.

26. Avaliação do teste
Em geral, os teste ocorreram de maneira tranquila, porém
o grupo ficou surpreso com a importância do teste piloto.
Mesmo tentando imaginar as situações que podem
acontecer no momento dos testes não é possível prever os
erros quem podem ocorrer.
Também ficamos surpresos em saber como o próprio
sistema operacional pode influenciar na usabilidade do
aplicativo. Os usuários que não tinham familiaridade,
mesmo não fazendo parte do perfil, ajudaram a nos
mostrar este fato.

27. Anexos
Testes Completos
http://youtu.be/69Rv97Iiqq8
http://youtu.be/ALpaenluHDM
http://youtu.be/dlyn3SpOVc8
http://youtu.be/6DCN_GYsT5Q
http://youtu.be/JAMBONxeW0g