Este documento resume um workshop sobre moderação de testes de usabilidade conduzido por Andressa Vieira e Elisa Volpato. O workshop discute os papéis do moderador e do participante em testes de usabilidade, as etapas de uma sessão de teste, como conduzir o aquecimento e as tarefas, e como lidar com situações desafiadoras. O objetivo é fornecer orientações práticas para que os moderadores conduzam testes de forma a obter dados valiosos sobre a experiência do usuário.

1. Workshop
Moderação de
testes de usabilidade
Andressa Vieira e Elisa Volpato
novembro de 2010
1

2. Primeiro a gente se apresenta
2Workshop | Moderação de testes de usabilidade | Andressa Vieira e Elisa Volpato
Andressa Vieira
> UPA São Paulo
> Gerente de Experiência do Usuário da Locaweb
> Trabalha há 9 anos com internet, 7 deles com usabilidade
> Try Consultoria, Mapa Digital, Lumens Consultoria e UOL
> Marketing pela Universidade Anhembi Morumbi
> Especialidade: moderação
> Aprendeu a moderar na prática
Elisa Volpato
> UPA São Paulo
> Especialista em Experiência do Usuário na Predicta
> Jornalismo na USP
> Try Consultoria, AgênciaClick e UOL
> Especialidade: análise de resultados, redação do relatório
> Arquitetura de informação e protótipos mirabolantes
> Aprendeu a moderar com a Andressa e na prática
> Se esforçando para melhorar a poker-face

3. Estrutura deste workshop
1. Teoria
2. Prática
3. Exemplos
3Workshop | Moderação de testes de usabilidade | Andressa Vieira e Elisa Volpato

4. O que é um teste de usabilidade?
Método para detectar problemas na
interação do usuário com um produto
Metodologia de avaliação de
usabilidade (apenas uma delas!)
4Workshop | Moderação de testes de usabilidade | Andressa Vieira e Elisa Volpato

5. Mas não é só isso!
Testes de usabilidade também servem para:
> Aprender sobre o comportamento do usuário
> Entender como ele se relaciona com o seu
produto
> Te deixar com um “olhar afiado” para problemas
de usabilidade em geral
5Workshop | Moderação de testes de usabilidade | Andressa Vieira e Elisa Volpato

6. O que observamos em um teste
> Caminho utilizado
> Reclamações espontâneas
> Expressão facial e gestos
> Tempo de execução da tarefa
> Avaliação do site ao final
6Workshop | Moderação de testes de usabilidade | Andressa Vieira e Elisa Volpato

7. Quem faz o quê?
7Workshop | Moderação de testes de usabilidade | Andressa Vieira e Elisa Volpato
Participante
Moderador
com roteiro
Espelho falso e
câmera Observador
Clientes do
estudo

8. Participante / testador
Pessoa que está dentro da amostra definida para o estudo.
Geralmente procuramos pessoas que não trabalham com
Internet, design ou áreas relacionadas.
Moderador
Fica dentro da sala com o participante,
passando as tarefas e fazendo perguntas.
Observador
Fica fora da sala, acompanha e dá suporte ao moderador.
Quem faz o quê?
8Workshop | Moderação de testes de usabilidade | Andressa Vieira e Elisa Volpato

9. Qual é o papel do moderador?
Moderador é um facilitador
A idéia é facilitar as coisas para que o usuário faça o
que você quer: simular uma situação real de uso
(com naturalidade, sem interferências)
9Workshop | Moderação de testes de usabilidade | Andressa Vieira e Elisa Volpato

10. > Explica como vai funcionar a pesquisa
> Lê o enunciado da tarefa (ou fala de cor), no roteiro
que está segurando
> Anota problemas, observações, frases
> Faz perguntas ao final
10Workshop | Moderação de testes de usabilidade | Andressa Vieira e Elisa Volpato
Qual é o papel do moderador?

11. Um moderador BOM:
> Nem neutro demais, nem amigo = empatia
> Não tem opinião
> Não entrega a resposta
> Não interrompe (exceção para casos extremos)
> Encaixa perguntas extras (sem interromper)
> Deixa o participante à
vontade sem perder o
controle
> Não ajuda nem dá
ordens
> Não demonstra
frustração (poker face!)
11Workshop | Moderação de testes de usabilidade | Andressa Vieira e Elisa Volpato
http://img835.imageshack.us/img835/1138/mgf1i.gif

12. Vamos pular o que vem antes
Como este workshop é de MODERAÇÃO, vamos pular
tudo que você teria feito antes:
> Definição da metodologia (teste de usabilidade)
> Definição dos objetivos e da amostra
> Prototipação / validação do protótipo do teste
> Análise heurística
> Criação do roteiro de tarefas
> Recrutamento dos participantes
12Workshop | Moderação de testes de usabilidade | Andressa Vieira e Elisa Volpato

13. Vamos por partes
Uma sessão de testes geralmente passa pelas seguintes
etapas:
0. Preparação da sala de testes
1. Termo de compromisso + perfil
2. Aquecimento
3. Questionário inicial
4. Tarefas
5. Questionário final
6. “Obrigado, aqui está seu incentivo”
PARTICIPANTE CHEGOU! o/
13Workshop | Moderação de testes de usabilidade | Andressa Vieira e Elisa Volpato

14. 0. Preparação da sala de testes
> Conferir se a sala de testes está em ordem
> Conferir a sala de observação
> Conferir o computador de teste: programa de
gravação, protótipo, links na área de trabalho etc.
> Preparar o lanchinho / água / café para o participante e
para os clientes também
> Imprimir roteiros, ficha de perfil, termo de
compromisso, recibo
14Workshop | Moderação de testes de usabilidade | Andressa Vieira e Elisa Volpato

15. > Boas-vindas - receba bem o
testador, agradeça por ele ter vindo,
seja gentil e hospitaleiro, ofereça
uma água ou um café, converse um
pouco com ele
1. Aquecimento
> Introdução - explique como funciona a sala de
pesquisa e o que ele vai fazer ali. Explique que o
seu objetivo é descobrir se o site está fácil de usar.
15Workshop | Moderação de testes de usabilidade | Andressa Vieira e Elisa Volpato

16. Site a avaliar
ZAP, site de compra e venda de imóveis
Escopo
Avaliar dois perfis de uso: comprador e vendedor.
Público-alvo (amostra)
> Novos entrantes (gente que nunca utilizou sites do tipo)
> Pessoas que já utilizaram o Zap
> Pessoas que utilizaram outros sites
> Homens e mulheres, experiência com Internet variada, idades
variadas.
Este não é um exemplo de proposta / briefing de teste.
16Workshop | Moderação de testes de usabilidade | Andressa Vieira e Elisa Volpato

17. Atividade prática!
voluntário? :D
Receba a <nome do testador>,
participante de um estudo de usabilidade.
Ele já preencheu o termo de compromisso e o
perfil de participante.
> Boas-vindas + Introdução sobre o teste
17Workshop | Moderação de testes de usabilidade | Andressa Vieira e Elisa Volpato

18. E aí, como é que foi?
E os demais, o que acharam?
Qual foi a impressão inicial de vocês sobre o
participante?
18Workshop | Moderação de testes de usabilidade | Andressa Vieira e Elisa Volpato

19. O que dizer no aquecimento
> “MUITO obrigado por ter vindo. Fique à vontade. O lanchinho é
pra você.”
> Como funciona a pesquisa: questionário e tarefas
> Sala de espelho, vídeo e áudio
> Críticas e elogios
> Pensar em voz alta
> Simular situação real; pode desistir se quiser
> “Você não está sendo testado. Aqui não tem certo nem errado.”
> Dúvidas: “Nem tudo vou poder responder...”
> Indicar quando terminou cada tarefa
> Registro: “Vou anotar aqui...”
> “Alguma dúvida? Podemos começar?”
Observação: Isso pode variar de acordo com cada pesquisa e com o tipo de participante. Não existe regra.
19Workshop | Moderação de testes de usabilidade | Andressa Vieira e Elisa Volpato

20. Testador desconfiado
Muitas vezes você não pode revelar para quem é a pesquisa. Diga
que é confidencial. Quanto ao espelho, diga apenas que tem alguém
da sua equipe acompanhando e te ajudando.
> “Olha, o cliente normalmente pede para ser confidencial, para não
influenciar. Não posso te contar. Mas não se preocupe, que seus
dados pessoais não estarão disponíveis para ninguém.”
> “Ali atrás tem uma pessoa da minha equipe ajudando.”
Situações de teste
Mas quem é que tá pedindo
essa pesquisa? Tem alguém
ali atrás do espelho?
20Workshop | Moderação de testes de usabilidade | Andressa Vieira e Elisa Volpato

21. Questionário inicial
Observação: Isso pode variar de acordo com cada pesquisa e com o tipo de participante. Não existe regra.
Serve para três coisas:
> Obter informações úteis sobre o testador
> Aquecer para as tarefas
> Confirmar o perfil do testador - por mais que o
recrutamento tenha sido bem feito, tem gente que acaba
passando. É sua responsabilidade parar o teste e decidir
(com o observador e outras pessoas da equipe) se continua
ou não.
21Workshop | Moderação de testes de usabilidade | Andressa Vieira e Elisa Volpato

22. Atividade prática!
voluntário? :D
O participante <nome> já está “aquecido”.
> Questionário inicial
22Workshop | Moderação de testes de usabilidade | Andressa Vieira e Elisa Volpato

23. Tarefas
Observação: Isso pode variar de acordo com cada pesquisa e com o tipo de participante. Não existe regra.
O moderador lê em voz alta (ou fala
de cor) o enunciado da tarefa.
> Entregar materiais de que ele vai precisar para fazer a
tarefa (informações de cadastro, cartão de crédito,
produto)
> Lembrar o participante que ele define quando terminou
a tarefa
23Workshop | Moderação de testes de usabilidade | Andressa Vieira e Elisa Volpato

24. > Em azul o que será dito ao participante;
> E em laranja instruções e controles de moderação.
24Workshop | Moderação de testes de usabilidade | Andressa Vieira e Elisa Volpato
Atividade prática!
voluntário? :D

25. E aí, como é que foi?
E os demais, o que acharam?
> O que acharam do comportamento do testador?
> Como a situação poderia ser contornada?
25Workshop | Moderação de testes de usabilidade | Andressa Vieira e Elisa Volpato

26. > Em azul o que será dito ao participante;
> E em laranja instruções e controles de moderação.
26Workshop | Moderação de testes de usabilidade | Andressa Vieira e Elisa Volpato
Atividade prática!
voluntário? :D

27. E aí, como é que foi?
E os demais, o que acharam?
> O que acharam do comportamento do testador?
> Como a situação poderia ser contornada?
27Workshop | Moderação de testes de usabilidade | Andressa Vieira e Elisa Volpato

28. > Em azul o que será dito ao participante;
> E em laranja instruções e controles de moderação.
28Workshop | Moderação de testes de usabilidade | Andressa Vieira e Elisa Volpato
Atividade prática!
voluntário? :D

29. E aí, como é que foi?
E os demais, o que acharam?
> O que acharam do comportamento do testador?
> Como a situação poderia ser contornada?
29Workshop | Moderação de testes de usabilidade | Andressa Vieira e Elisa Volpato

30. Situações de teste
No início do teste você deve pedir para que o usuário pense alto. Caso
isso não aconteça naturalmente, procure estimular o participante,
encorajando-o a falar o que está pensando ou querendo fazer.
“No que você está pensando?”
“O que você está tentando fazer agora?”
“O que você esperava que acontecesse?”
“O que X ou Y significa para você?”
(…) testador mudo
30Workshop | Moderação de testes de usabilidade | Andressa Vieira e Elisa Volpato

31. Você quer que o testador fale, que faça perguntas
sobre o site, mas na maioria das vezes você
não vai responder a ele nem vai dar dicas.
Cada vez que você explicar alguma coisa para o testador estará
perdendo uma oportunidade de descobrir um problema ou uma falha
no site.
Também não vale deixar o testador falando sozinho. É importante
mostrar que você está interessado em tudo o que ele diz.
Situações de teste
Agora eu não sei o que
fazer. É pra clicar aqui?
Lembra que eu te falei no
começo do teste que não
poderia responder todas
as perguntas?
31Workshop | Moderação de testes de usabilidade | Andressa Vieira e Elisa Volpato

32. > “Você faria isso em uma situação real, usando o site na sua casa?”
> “Faça como você faria em uma situação real.”
> “Pode ficar à vontade para fazer o que quiser.”
> “Você acha que é?”
Evite:
“Aham” - pode parecer que você concorda
... <- ele pode se sentir desprezado ou continuar olhando para a sua
cara, esperando uma resposta.
Situações de teste
Agora eu não sei o que
fazer. É pra clicar aqui?
32Workshop | Moderação de testes de usabilidade | Andressa Vieira e Elisa Volpato

33. Alguns usuários querem ouvir de você que não é culpa deles e outros
querem apenas a sua cumplicidade. Frases que podem ser úteis em
situações de erro ou dificuldade:
> “Como você acha que poderia melhorar?”
> “É a sua opinião que a gente quer ouvir, mesmo.”
> “Só pra lembrar: estamos testando o site, não você. Se algo está
difícil, provavelmente é algo em que o site poderia melhorar.”
Evite:
> “Esse site tá muito ruim mesmo.”
Situações de teste
Ai, tá muito difícil isso! Vou ter que
fazer um curso de informática...
33Workshop | Moderação de testes de usabilidade | Andressa Vieira e Elisa Volpato

34. RESISTA! AGUENTE! POKER FACE!
O ideal é fazer algumas perguntas até que ele entenda o que está
acontecendo e consiga se virar sozinho.
“O que você está tentando fazer agora?”
“Qual seria o próximo passo, na sua opinião?”
“Numa situação real, diante desta dificuldade, como você faria?”
Situações de teste
Testador fica em loop, clicando em algo
repetidamente, sem prosseguir.
34Workshop | Moderação de testes de usabilidade | Andressa Vieira e Elisa Volpato

35. Anote o resultado como “fracasso”.
Se ele desistiu por cansaço, peça para tentar um pouco
mais apenas para prosseguir com o teste. Se ele desistiu
porque não sabe como fazer, indique o caminho para
ele, e aproveite para investigar.
>“Bom, vou anotar que você pararia por aqui. Mas só
pra gente conseguir continuar com a pesquisa, você pode prosseguir?”
>“Então, o link é este aqui. Você tinha visto? Porque acha que não
encontrou o link? Como poderia melhorar?”
Situações de teste
Testador desiste, mas para a próxima tarefa
precisamos que ele chegue até o fim.
35Workshop | Moderação de testes de usabilidade | Andressa Vieira e Elisa Volpato

36. Testador cheio de opiniões inúteis
Mostre a ele (com elegância) que essa não é a função dele no teste.
Só pergunte a opinião dele quando isso for um ponto do roteiro.
Deixe claro que você entendeu o ponto de vista dele:
> “OK, tomei nota de tudo o que você falou.”
> “Sim, você já mencionou isso anteriormente.” [com um sorriso, é
claro!]
Situações de teste
Inclusive eu acho que vocês deveriam
mudar essa cor aqui, porque eu fiz um
curso e eu acho que esse nome desse site
não tem nada a ver...
36Workshop | Moderação de testes de usabilidade | Andressa Vieira e Elisa Volpato

37. > Em azul o que será dito ao participante;
> E em laranja instruções e controles de moderação.
37Workshop | Moderação de testes de usabilidade | Andressa Vieira e Elisa Volpato
Atividade prática!
voluntário? :D

38. E aí, como é que foi?
E os demais, o que acharam?
> O que acharam do comportamento do testador?
> Como a situação poderia ser contornada?
38Workshop | Moderação de testes de usabilidade | Andressa Vieira e Elisa Volpato

39. A não ser que o perfil do público-alvo do teste seja de pessoas que
não sabem usar computador, é melhor dispensar este participante.
Mas evite falar que ele não faz parte do perfil, porque ele pode se
sentir desprezado, coitado. Tente dar uma enrolada, fazer algumas
perguntas (até fora do roteiro, pra disfarçar), e encerre.
Situações de teste
Testador muito leigo, não sabe nem
usar o mouse
39Workshop | Moderação de testes de usabilidade | Andressa Vieira e Elisa Volpato

40. O que fazer? Aí depende. Não tem resposta certa.
Algumas opções:
> Dê uma previsão de tempo para terminar o teste, e veja se ele não
pode mesmo ficar.
> Se ainda faltar muito, você pode tentar remarcar outro dia para
continuar.
> Se as tarefas mais importantes tiverem sido realizadas, você pode
dispensar o participante, e considerar o teste como válido.
> Se ainda faltar coisas importantes, talvez seja melhor descartar os
resultados do participante.
Situações de teste
Teste está demorando, participante
precisa ir embora
40Workshop | Moderação de testes de usabilidade | Andressa Vieira e Elisa Volpato

41. Se o participante fica na dúvida se fez certo ou não ou quer saber
sobre o significado de alguma coisa que surgiu no teste, dê uma
enrolada e deixe para depois.
> “Você acha que é isso?”
> “Então, lembra que eu disse que algumas coisas não poderia
responder? Vamos fazer assim: a gente continua com as tarefas e no
fim do teste eu te conto como funciona, certo?”
Situações de teste
Mas o que é esse
PagSeguro aí? É uma
agência de seguros?
41Workshop | Moderação de testes de usabilidade | Andressa Vieira e Elisa Volpato

42. Ainda temos tempo? Mais voluntários?
5. Viagens
[ A partir da home]
E se você quiser ir para Salvador? Existe algo neste site para este
caso?
OBJETIVO: avaliar localização do Submarino Viagens no menu.
6. Livros por autor
[ A partir da home]
Seu pai é fã da Agatha Christie. Como você faria para encontrar
todos os livros dela?
OBJETIVO: avaliar se usa busca, se vai pelo “Artistas e autores”. Se
não for ali, obter percepção.
42Workshop | Moderação de testes de usabilidade | Andressa Vieira e Elisa Volpato

43. Situações de teste
> Cuidado com os termos que utiliza: se você
disser o nome do link relacionado à tarefa,
acaba dando uma dica sem querer.
> Evite ficar muito tempo anotando, sem olhar para o participante.
O observador está pegando as frases pra você.
> Se o participante não come o lanchinho, experimente pegar um
pouco (mas sem falar de boca cheia).
> Se o participante faz uma piadinha, pode rir!
43Workshop | Moderação de testes de usabilidade | Andressa Vieira e Elisa Volpato

44. Situações de teste
> Se o participante fez um comentário
confuso e você quer ele repita ou conclua de
algum jeito, evite concluir por ele. Prefira
algo do tipo: “Então você achou que...”
(deixando no ar pra ele completar).
vai mais interferir na curva de aprendizado do
site.
> Você pode fazer perguntas extras caso tenha ficado em dúvida
sobre algum ponto.
> Se quiser mostrar a ele algum link ou algum elemento na tela para
perguntar o que ele achou, pense no melhor momento para isso.
Geralmente é no final do teste, quando não vai mais interferir na
curva de aprendizado do site e nas tarefas seguintes.
44Workshop | Moderação de testes de usabilidade | Andressa Vieira e Elisa Volpato

45. Situações de teste
> Se você precisa extrair do participante se ele
entendeu um texto ou como funciona o site,
peça para ele explicar para uma pessoa
conhecida:
“E se a sua mãe chegasse e quisesse
entender como esse site funciona? Como você
explicaria para a sua mãe?”
> Coloque o roteiro em uma prancheta. Tem testador
que fica com mania de olhar o que você está escrevendo,
e não é legal.
45Workshop | Moderação de testes de usabilidade | Andressa Vieira e Elisa Volpato

46. Situações de teste
> Quando você tiver um monte de coisas para perguntar, evite
perguntá-las todas de uma vez só. Espere o testador responder cada
uma delas. Se você pergunta várias coisas de uma vez pode
confundir o testador e obter resposta só para a última.
> A tarefa só termina quando o testador diz que terminou.
Em geral, você não deve dizer para o testador quando a tarefa está
concluída. Pode acontecer de o testador achar que ainda precisa
clicar em mais alguma coisa. Se você der a tarefa como encerrada
talvez perca a oportunidade de identificar um problema de
usabilidade: “não fica claro quando o fluxo terminou.”
46Workshop | Moderação de testes de usabilidade | Andressa Vieira e Elisa Volpato

47. Situações de teste
Esta é pra imprimir e colar no mural:
> Não faça perguntas em que
você coloca palavras na boca
do testador!
Ao fazer isso você elimina qualquer possibilidade
de obter uma resposta sincera. É provável que a pessoa concorde
com você para te agradar.
> Só utilize um adjetivo ou conceito se o participante já falou isso
antes. Assim você não influencia na opinião dele nem na curva de
aprendizado.
Então você
achou que foi
muito difícil,
não é?
47Workshop | Moderação de testes de usabilidade | Andressa Vieira e Elisa Volpato

48. Situações de teste
> O que eu faço?
> O que você faria?
> Então eu tenho que ir aqui?
> Fique à vontade, você pode explorar qualquer link.
> Eu acho que o vCard é um cartão virtual, destes animados que a
gente recebe em aniversário, datas comemorativas, não é?”
> Você acha que é?
> Sim.
> Por que?
> Pelo nome, blablablá...
> OK.
48Workshop | Moderação de testes de usabilidade | Andressa Vieira e Elisa Volpato

49. Treine bastante
> Se der, observe alguns teste antes de aplicar.
> Antes de começar os testes “de verdade”, faça um ou mais pré-
testes com colegas do trabalho. Além de descobrir falhas no roteiro,
você vai adquirir mais segurança para aplicar o teste real.
> Peça para alguém observar você aplicando o teste e depois ouça
atentamente os comentários dessa pessoa sobre a sua atuação.
> Se possível, veja o vídeo do teste que você aplicou.
49Workshop | Moderação de testes de usabilidade | Andressa Vieira e Elisa Volpato

50. > Antes de qualquer coisa, peça ao testador para ler e assinar o termo
de compromisso.
> O testador precisa saber que será filmado e que o áudio e o vídeo
serão utilizados apenas para a pesquisa.
> Avise que pode ter alguém assistindo atrás do espelho.
> Você tem a responsabilidade de assegurar que o testador não vai
passar por uma experiência desagradável nem constrangedora.
> Básico, intermediário, avançado – nunca pense no usuário como
burro ou ignorante. Considere que há níveis diferentes de acesso. Esse
será um dado importante para ajudar a tornar o site mais fácil de
usar para o maior número de pessoas.
Ética de pesquisa
50Workshop | Moderação de testes de usabilidade | Andressa Vieira e Elisa Volpato

51. Um bom teste de
usabilidade é aquele que
mostra como melhorar um
site através da
colaboração do usuário,
nunca através do seu
sacrifício ou
constrangimento.
Ética de pesquisa
51Workshop | Moderação de testes de usabilidade | Andressa Vieira e Elisa Volpato

52. Sobre avaliação de usabilidade em geral
> Observing the User Experience: A Practitioner's Guide to User Research, Mike Kuniavsky
http://www.amazon.com/Observing-User-Experience-Practitioners-Research/dp/1558609237/ref=pd_sim_b_6
> Handbook of Usability Testing: Howto Plan, Design, and Conduct Effective Tests, Jeffrey Rubin and Dana Chisnell
http://www.amazon.com/gp/product/0470185481/ref=pd_lpo_k2_dp_sr_1?pf_rd_p=1278548962&pf_rd_s=lpo-top-stripe-
1&pf_rd_t=201&pf_rd_i=1841500208&pf_rd_m=ATVPDKIKX0DER&pf_rd_r=1822DXD4ASFMG8MY4SBY
> Rocket Surgery Made Easy: The Do-It-Yourself Guide to Finding and Fixing Usability Problems, Steve Krug
http://www.amazon.com/gp/product/0321657292/ref=pd_lpo_k2_dp_sr_3?pf_rd_p=1278548962&pf_rd_s=lpo-top-stripe-
1&pf_rd_t=201&pf_rd_i=1841500208&pf_rd_m=ATVPDKIKX0DER&pf_rd_r=1822DXD4ASFMG8MY4SBY
Moderação em pesquisa de mercado
> Pesquisa Qualitativa com Texto, Imagem e Som: um Manual Prático, Martin W. Bauer
http://www.submarino.com.br/produto/1/181727/pesquisa+qualitativa+com+texto,+imagem+e+som:+um+manual+pratico
> A Abep (Associação Brasileira de Empresas de Pesquisa) também tem bons cursos de moderação de grupos, de
entrevistas e pesquisa qualitativa em geral
http://www.abep.org/novo/Content.aspx?SectionID=29&Others=True
Para se aprofundar no assunto
52Workshop | Moderação de testes de usabilidade | Andressa Vieira e Elisa Volpato

53. Dúvidas? :D
andressavieira@gmail.com
elisavolpato@gmail.com
53Workshop | Moderação de testes de usabilidade | Andressa Vieira e Elisa Volpato