Trabalhos de alunos da PUC-Rio na Disciplina Teste Formal de Usabilidade. Pós em Ergodesign de Interfaces, Arquitetura de Informação e Interação Humano-Computador. Professor Luiz Agner.

1. Plano de Teste Formal de
Usabilidade
Site 2AB
Carlos Eduardo Ribeiro
Carlos Winter
Monique Tavares
Ricardo Lins

2. Objetivos
● Verificar a identificação de ordenação em
lista de resultado de busca por livros.
● Identificar quais dificuldades o usuário
encontra para navegar entre as seções e ao
procurar e/ou comprar livros.

3. O problema
As seções aparecem repetidamente, no menu
horizontal e no menu vertical. As subseções
são confusas.
A organização dos resultados da busca, não
são eficientes.
Excesso de informação na página de
finalização de compra (muitos links, dê sua
opinião, avalie o produto, indique o produto)

4. Tipo de Teste
Teste de Avaliação
Determinar se os modelos conceituais foram
implementados adequadamente. Procurar mensurar a
efetividade da implementação.
Este teste busca verificar como um usuário consegue
desenvolver tarefas reais, identificando deficiências
específicas de usabilidade.
O usuário executa tarefas e o monitor fica observando sem
interferir. Alguns dados quantitativos de eficiência de uso
são reunidos. É dada mais ênfase ao comportamento.

5. Os papéis da equipe
● Primeiro Teste
○ Moderador = Carlos Eduardo
○ Anotador= Carlos Valentim
○ Operador= Ricardo
○ Observador= Monique
● Segundo Teste
○ Moderador = Carlos Valentim
○ Anotador= Ricardo
○ Operador= Monique
○ Observador= Carlos Eduardo
● Terceiro Teste
○ Moderador = Ricardo
○ Anotador= Monique
○ Operador= Carlos Eduardo
○ Observador= Carlos Valentim
● Quarto Teste
○ Moderador = Monique
○ Anotador= Carlos Eduardo
○ Operador= Carlos Valentim
○ Observador= Ricardo

6. Perfil do público alvo
Profissionais e estudantes de design, arte,
arquitetura e afins.
● Experiência com computadores: Usuário com médio a alto
conhecimento de informática
● Habilidade no uso de teclados e outros dispositivos de
entrada: Médio a Alto
● Faixa etária: 20 a 40 anos
● Escolaridade: Graduação Completa
● Conteúdo de interesse: Leitura sobre Artes, Design, Arquitetura,
Fotografia
● Perfil de usuário de internet: Médio a Alto, com uso ao menos de
7 horas semanais, uso em domicílio e em local de trabalho.

7. Cenário e Tarefas
Cenário e Tarefa 1
Você está começando a fazer trabalhos como freelancer, e
procura um livro com informações sobre como cobrar e
administrar trabalhos de design.
Alguns amigos lhe deram sugestões de títulos, mas você
deseja navegar livremente também, para ver por conta
própria qual livro é mais relevante dentro do tema.

8. Cenário e Tarefas
Cenário e Tarefa 2
Está chegando o aniversário do seu irmão, e você lembrou
que ele está estudando usabilidade na PUC, e gostaria de
ver se encontra um livro sobre o tema. Pesquise e clique
em um livro ou qual você escolheria?

9. Cenário e Tarefas
Cenário e Tarefa 3
Você lembrou que queria comprar um livro para dar de presente para
alguém da sua família que gosta de fotografia. Novamente, você quer
navegar no site para ver se existem outros livros interessantes sobre o
mesmo tema.
Utilize o menu lateral para encontrar um livro de fotografia e em
seguida adicione ao carrinho.

10. Cenário e Tarefas
Cenário e Tarefa 4
Você ouviu falar sobre um autor chamado Steve Krug, que escreve
sobre design e esta interessado em saber qual o livro mais relevante
do autor, e tentar adicionar ao carrinho.

11. Cenário e Tarefas
Cenário e Tarefa 5
Assim que você adicionou o último item ao carrinho você decide
finalizar o processo de compra do(s) livro(s). Vá até a tela resumo das
compras.

12. Benchmarks
Tempo estimado para cada tarefa
Tarefa 1: 3 minutos
Tarefa 2: 3 minutos
Tarefa 3: 5 minutos
Tarefa 4: 4 minutos
Tarefa 5: 3 minutos

13. Equipamentos e Metodologia
● Notebook Pc ou Mac
● Navegador Chrome
● Camtasia
● Google Docs para os questionários
● Loop11para o teste de usabilidade
● Acesso 3g à internet

14. Métricas e dados qualitativos
● Tempo para executar cada tarefa.
● Percepções em relação à organização das
seções.
● Percepções em relação à ordenação de
itens em uma página.
● Percepção sobre o processo de compra.
● Percepção geral, design, tipografia.
● O que chama mais atenção.

15. Perfis dos testadores
20-24 1 17%
25-29 2 33%
35-39 2 33%
50-54 1 17%
Faixa Etária: Profissão que exerce:
2 Designers
2 Arquitetos de Informação
1 Designer de Interação
1 Professor

16. Perfis dos testadores
Avalie sua experiência com
os computadores em geral:
Avalie sua experiência com
a navegação na Web:

17. Perfis dos testadores

18. Perfis dos testadores

19. Perfis dos testadores

20. Resultados por tarefa
1 - Buscar um livro sobre como cobrar trabalhos de design.
Todos os participantes conseguiram concluir com sucesso, apesar
de a ferramenta loop11 informar que só 60% tinham concluído. Isso
ocorreu porque os livros que poderiam ser considerados corretos, não
tinham sido cadastrados como urls possíveis para considerar a tarefa
com sucesso.
5 participantes usaram a busca.
1 clicou no banner de destaque.
Tempo médio para conclusão: 2 minutos

21. Resultados por tarefa
2- Encontrar um livro sobre
usabilidade.
Todos os participantes usaram a busca
escrevendo o termo "usabilidade", ninguém
percebeu o termo "usabilidade" no menu lateral.
No Loop 11 foram cadastrados apenas os livros
que aparecem clicando no item "usabilidade" no
menu lateral. Apesar de todos terem achado livros
sobre o assunto, ao se utilizar a busca aparecem
mais livros do que se utilizando o no menu lateral.
Por isso em relação ao que se espetava: Ver se os
usuários notavam o termo no menu. apenas 60%
conseguiram achar um dos livros previstos.
Tempo médio para
conclusão: 2 minutos

22. Resultados por tarefa
3 - Encontrar um livro sobre fotografia usando a navegação
pelo menu lateral.
2 usuários abandoaram a tarefa, por não acharem item no menu.
2 conseguiram concluir a tarefa, sendo que 1 como já era usuário do site, já
sabia onde se localizava o item no menu. 1 não conseguiu concluir.
Dentre os que conseguiram terminar a tarefa, foram gastos 5 minutos em média.

23. Resultados por tarefa
4 - Encontrar o livro mais relevante do autos Steve Krug.
4 dos 5 usuários não conseguiram identificar corretamente o livro mais
relevante. Apenas 1 conseguiu acertar o livro.
Todos notaram que um dos livros estava indisponível, mas não conseguiram
identificar se o livro que estava indisponível era o mais relevante e apenas não
aparecia em primeiro por estar nesta condição.

24. Resultados por tarefa
5 - Finalizar o processo de compra.
Todos conseguiram concluir a compra sem problemas. E todos acharam fácil
a identificadão dos itens da lista.
1 usuário teve dificuldades em relacionar o termos carrinho à sacola, pois os
dois termos são usados em locais diferentes no site.

25. Resumo do teste
Apesar de se notar dificuldades em algumas das tarefas, como a de pesquisa de
fotografia, ninguém considerou o site difícil ou muito difícil.

26. Resumo do teste

27. Resumo do teste
houveram divergências em relação ao nível de dificuldade de interpretação das
informações em uma página de resultado de busca.

28. Resumo do teste
O processo de compra foi considerado fácil ou muito fácil pela maioria. Ninguém
considerou o processo difícil ou muito difícil.

29. Principais problemas e Heurística
Critérios ergonômicos (Basten e Scapin)
Problema: A navegação pelo menu lateral
não é atrativa (fontes pequenas) e não está
organizada de um modo que faça sentido para a
maioria dos usuários. (seções e subseções,
seus agrupamentos e suas nomenclaturas).
Heurística: 1. Condução d.legibilidade e 2.
Carga de trabalho b.densidade de informação.
Gravidade: 1
Onde: Página principal, menu lateral
esquerdo.
Solução: Aumentar a fonte. Reformular a
taxonomia (classificação e hierarquia). Unificar o
menu vertical e horizontal com um "mega-menu"
e usar a lateral esquerda para filtros.
Problema: A fonte utilizada não é clara e
dificulta a percepção de algumas informações
como a de um produto indisponível.
Heurística: 1. Condução d.legibilidade e 2.
Carga de trabalho b.densidade de informação.
Gravidade: 1
Onde: Página principal, menus, conteúdos
das páginas.
Solução: Usar uma tipografia, mais legível,
com fontes maiores, e com melhores contrates.
Também deve-se melhoras os espaços em
branco, para facilitar a visualização das
informações

30. Principais problemas e Heurística
Critérios ergonômicos (Basten e Scapin)
Problema: O resultado da busca por um
termo que também seja uma seção pode
apresentar número de itens diferentes.
Heurística: 6. Consistência.
Gravidade: 1
Onde: Página de resultado de busca e
páginas de exibição de livros em um seção.
Solução: Padronizar a indexação.
Problema: O resultado da busca exibe um
livro em detalhes, quando o site só apresenta
um item possível para os dados inseridos no
campo de busca. O que dificulta saber se o site
não tem mais livros, ou se não existem mais
livros com os dados.
Heurística: 1. Condução b.grupamento /
distinção de itens i. por formato.
Gravidade: 2
Onde: Página de resultado de busca.
Solução: Exibir os resultados da busca em
forma de lista, e informando o numero de
resultados exibidos, mesmo se for um item
possível apenas.

31. Principais problemas e Heurística
Critérios ergonômicos (Basten e Scapin)
Problema: Ao se clicar em "comprar" na lista
de itens, remete para o detalhe do livro e não
adiciona diretamente ao carrinho/sacola, o
mesmo acontece ao se clicar na imagem do
livro.
Heurística: 1. Condução a. prompting.
4. Adaptabilidade b. Experiência do usuário
6. Consistência. 7. Significado de códigos.
Gravidade: 2
Onde: Página de resultado de busca e
páginas de exibição de livros em um seção.
Botão Comprar.
Solução: Criar dois botões, um para "exibir
detalhes" do livro e outro para "comprar com um
clique".
Problema: O uso do filtro por relevância, não
leva em consideradão produtos indisponíveis, o
que causa dúvidas de que livros são os mais
relevantes.
Heurística: 1. Condução a. prompting. c.
Feedback imediato.
Gravidade: 2
Onde: Página de resultado de busca.
Solução: Incluir os livros indisponíveis na
ordem de relevância,e destacar melhor que o
produto está indísponível. Pois é importante que
o usuário saiba que apesar de estar indíponivel
ele tem tal ordem de relevância, e pode ser
dado a opçao para o usuário solicitar e-mail
informando a chegado do livro.

32. Principais problemas e Heurística
Critérios ergonômicos (Basten e Scapin)
Problema: O item de menu "catalogo 2ab"
não está claro para todos os usuários.
Heurística: 1. Condução a. prompting. 6.
Consistência 7. Significado de códigos.
Gravidade: 3
Onde: Página de resultado de busca e
páginas de exibição de livros em um seção.
Botão Comprar.
Solução: Reformular o rótulo de forma que o
mesmo informa mais facilmente que são livros
produzidos pela editora 2AB. Por Exemplo
"Livros da Editora da 2AB"
Problema: A funcionalidade de filtrar por
faixa de preço só está disponível se for utilizada
a navegação por seções, se for usado a busca,
essa funcionalidade não aparece.
Heurística: 6. Consistência.
Gravidade: 3
Onde: Página de resultado de busca e
páginas de exibição de livros em um seção.
Solução: Apresentar a funcionalidade de
filtrar por faixa de preço também no resultado de
busca.

33. Conclusões da avaliação do site da
2AB
De um modo geral o teste nos mostrou que o site possui excesso de
informação nas páginas, má distribuição das informações, falta de legibilidade
e uma navegação difícil.
Porém com processo de procura de livros pela busca e o processo de compra
em geral, está em níveis aceitáveis, com apenas algumas questões mínimas a
serem resolvidas, como a melhor apresentação dos filtros e ordenações e uma
definição do conceito em relação ao carrinho/sacola de compras.
Deste modo, os usuários se sentem relativamente satisfeitos no uso do site, e
a experiência com a 2ab ainda se torna melhor pela forma com que a empresa
envia os produtos e trata os seus consumidores/usuários do site, o que
melhora a experiência de uso do mesmo.

34. Avaliação do próprio teste
Para o teste foram usados formulários online do google, para o questionário
e pré-teste, e para o de pós-teste. Para as tarefas foi utilizado o site loop11.
com, combinado com o software camtasia, uma vez que o loop11 não grava
vídeo dos usuário executando as tarefas.

35. Avaliação do próprio teste
Pontos positivos das tecnoligias google e loop11
Para os usuários:
● A tarefa no loop11, fica sempre visível no topo do navegador para
consulta.
● Sempre visível a porcentagem de conclusão do teste.
Para os especialistas:
● Facilidade para armazenar as informações dos questionários e teste.
● Tanto os formularios no google, quanto o teste no loop11 trás rasultados
quantitativos em forma de gráficos.

36. Avaliação do próprio teste
Pontos positivos das tecnoligias google e loop11
Resultados dos formulários do google Painel Inicial do resultado das tarefas no loop11

37. Avaliação do próprio teste
Pontos positivos das tecnoligias google e loop11
Resultados de uma tarefa de todos os
participantes
Resultados de uma tarefa por um usuário.

38. Avaliação do próprio teste
Pontos positivos das tecnoligias google e loop11
Resumo de todas as tarefas,
desempenhadas por um usuário.
Exibição do caminho percorrido por cada usuário em uma tarefa.

39. Avaliação do próprio teste
Pontos negativos das tecnologias google e loop11
Para os usuários:
● Em relação a performance do loop11, se mostrou um pouco lento para
carregar as páginas, mas não foi problema para a maioria dos usuários.
Para os especialistas:
● O resultado dos testes dependem muito da configuração do mesmo, pois
depois de configuração, e possível fazer testes piloto, mas estes não
geram resultados, e uma vez que se define que o teste irá ser executado
de fato, não é possível editá-lo.
● pode-se definir urls como resultados de sucesso para a tarefa, mas uma
vez que estas urls não sejam as corretas, ou as únicas corretas, o
resultado que loop11 irá exibir, ficará comprometido.