Palestra: Por que é importante fazer testes de usabilidade - e como começar já!

Por que é importante fazer testes
de usabilidade  
- e como começar já
Elisa Volpato
ACE - Fevereiro de 2017

Porque fazer testes de usabilidade e como começar - Elisa Volpato - TESTR
OI, EU SOU A ELISA.
DIALOG
TESTR
2000 2005 2010 2015
ITAÚPREDICTA
??JORNALISMO
TRY ISOBAR UOL
PÓS

O que é
teste de usabilidade?

Usabilidade é um atributo
que mede a facilidade de uso
de uma interface, produto,
site (mais ou menos
qualquer coisa).
Jakob Nielsen

Teste de usabilidade é uma técnica de
pesquisa qualitativa que investiga se o
produto ou serviço é
fácil de usar
fácil de entender
e se as pessoas gostam

Avaliar um produto ou serviço
testando com usuários
representativos. Cada
participante tenta realizar
tarefas típicas enquanto o
analista observa, ouve e anota.

TESTE DE USABILIDADE PASSO A PASSO
?
objetivo
roteiro de tarefas  
e perguntas
♂
participantes
teste
resultados
ȣ
melhorias

participante
moderador
observando
tarefas e
perguntas
gravando  
tela e webcam
recompensa

POR QUE
fazer teste de usabilidade?

Porque
“você não é o
usuário.”
Jakob Nielsen

USUÁRIO
PESSOA  
DE VERDADE

"Se você trabalha em um projeto
de desenvolvimento, você é
atípico por definição. Desenhe
para otimizar a experiência do
usuário para 'outsiders', não
‘insiders’."
Jakob Nielsen

Isso aqui em cima? Sei lá, pra
mim não quer dizer nada. É o
que? Uma caixinha com, com…
TRÊS PALITOS?  
Ah, você clica e abre coisas…
Aaah, mas nunca encontraria!
Médico  
25 anos  
classe média alta 
dono de um iphone
MENU

MÉTRICAS
/ FUNIL
MAPAS
DE CALOR
GRAVAÇÃO
TESTES
A/B
QUESTIO
NÁRIOS
GOOGLE
ANALYTICS
OPTIMIZELY
CRAZYEGG
SURVEY
MONKEY
HOTJAR
Por que as
pessoas
abandonam o
funil?
O que
estavamprocurando?Ficaram
satisfeitos?
Porque métricas não respondem
todas as perguntas

Para entender comportamentos que
afetam o uso do seu produto
Quando eu assinei minha
internet eu anotei algumas
opções e mandei para o meu
marido. Daí a gente acessou
o site junto em casa. Depois
ele ligou lá para assinar.
Não é uma decisão imediata – a pessoa
vem ao site uma vez e volta depois.
O processo de decisão envolve mais de
uma pessoa.
A pessoa pode começar pelo site, mas
terminar pelo telefone.

Para testar uma ideia antes de perder
dinheiro com ela
https://www.youtube.com/watch?v=O94kYyzqvTc
PROGRESSO DO PROJETO
MUDANÇAS  
NO PROJETO
CUSTO DAS
MUDANÇAS
FAIL
EARLY
Bias and Mayhew (1994) - Cost justifying Usability

Por que ajuda (muito) a convencer seu
cliente, seu chefe…
Por que você colocou o texto
“menu” junto do ícone para
acessar o menu no celular?
Achei feio…
Lembra do vídeo? Aquele
menino não sabia o que era o
ícone. E isso aconteceu com
8 dos 12 participantes.

WIN

Por que você não é um gênio de UX
(e não tem como adivinhar como as
pessoas vão reagir ao seu produto).

Mas com a experiência acumulada, você
aprende muito sobre pessoas e
comportamentos.  
E pode tomar decisões melhores.

The spectrum of User Experience (UX)
Information Architects, 2009
experiência do
usuário (UX) é  
o todo
usabilidade

Teste de usabilidade  
é uma das  
técnicas de  
pesquisa com usuários

AbordagemQualitativo QuantitativoElisa Volpato - 2016. Adaptado de Christian Rohrer - 2014
FontedeinformaçãoComportamentalAtitudinal
Uso natural do produto Uso do produto seguindo script / em laboratório Não usa o produto Combinação / misto
Teste de usabilidade moderado
Análise contextual / abordagem etnográﬁca
Grupos de discussão
Entrevistas
Diários de uso continuado
Card Sorting
Co-criação, design participativo
Questionários online
Teste A/B
Entrevistas / intercept
Métricas
Teste de usabilidade online,
sem moderador

ComportamentalAtitudinal
Qualitativo Quantitativo
Uso natural do produto Uso do produto seguindo script / em laboratório Não usa o produto Combinação / misto
Análise contextual / abordagem etnográﬁca
Entrevistas
Diários de uso continuado
Card Sorting
Co-criação, design participativo
Elisa Volpato - Dialog User Experience - 2014.
Adaptado de Christian Rohrer - 2008
Teste A/B
Entrevistas
Google Analytics
Teste de usabilidade em laboratório
Teste de usabilidade em contexto
Teste de usabilidade  
remoto não moderado
Teste de usabilidade remoto

Pesquisa com usuários - IED - Elisa Volpato
qualitativo quantitativo
♀ ♂ ♀ ♂ ♀ ♂ ♀ ♂ ♀ ♂ ♀ ♂ ♀ ♂ ♀ ♂ ♀ ♂ ♀ ♂ ♀ ♂
♀ ♂ ♀ ♂ ♀ ♂ ♀ ♂ ♀ ♂ ♀ ♂ ♀ ♂ ♀ ♂ ♀ ♂ ♀ ♂ ♀ ♂
♀ ♂ ♀ ♂ ♀ ♂ ♀ ♀ ♂ ♀ ♂ ♀ ♂ ♀ ♀ ♂ ♀ ♂ ♀ ♂ ♀ ♀
♂ ♀ ♂ ♀ ♂ ♀ ♀ ♂ ♀ ♂ ♀ ♂ ♀ ♂ ♀ ♂ ♀ ♂ ♀ ♂ ♀ ♂
números
métricas
quantificar
decisões estratégicas
amostras maiores
como
porquês
aprofundar
insights
amostras menores
♀ ♂ ♀ ♂
♀ ♂ ♀ ♂
X

qualitativo quantitativo
O que é mais
usado: busca ou
menu?
Qual a taxa de
conversão do
ﬂuxo de compra?
Quantas
pessoas utilizam
a ajuda?
Por que as pessoas
abandonam o ﬂuxo
de compra
Por que as
pessoas buscam
a ajuda?
Como as pessoas
usam um outro?
Qual o cenário de
cada um?
X

Teste de usabilidade é uma técnica de validação
Ciclo de um produto
MVP
Versão 2
?
pergunta ideia protótipo

…a mais popular!
Teste de usabilidade
Análise de métricas
Testes A/B
Análise heurística
Entrevistas em profundidade
Card sorting
Pesquisa etnográfica
Eye tracking
Diário de uso continuado
Trabalha com UX
Trabalha em outra área, mas se envolve
67% fez testes deusabilidade nosúltimos 12 meses
Pesquisa sobre o perfil dos profissionais de UX - TESTR - outubro de 2016.

Teste de usabilidade não é…
teste de QA / encontrar bugs
teste A/B
mapa de calor

E como você pode fazer
testes de usabilidade?

A seguir, o  
super trunfo da usabilidade
para te ajudar a decidir

DEMANDA  
(para você e sua equipe)
POTENCIAL
(do teste)
trabalho dinheiro conhecimento amostra profundidade
quanto tempo /
horas de trabalho
sua equipe vai
precisar dedicar
ao projeto?
qual vai ser o
custo do projeto
como um todo
(sem contar horas
da sua equipe)
o quanto você e
sua equipe
precisam
entender de
usabilidade para
dar certo
o quão diversa e
específica pode
ser a amostra?
vão conseguir
encontrar perfis
bem detalhados?
como será o
contato com o
participante?
quanto tempo vai
durar? qual será a
profundidade de
informação dos
resultados?

CONTRATAR CONSULTORIA

CONTRATAR CONSULTORIA
Estudos mais aprofundados 
Recrutamento especializado para perfis difíceis
Processo mais demorado 
Equipe aprende menos, não internaliza o conhecimento

COM COLEGAS DE TRABALHO
The ofﬁce

COM COLEGAS DE TRABALHO
Pessoas já estão ali, pré-dispostas a ajudar 
Produtos internos, intranet 
Pré-teste 
Confidencialidade
Participantes especialistas 
Viés de confirmação

DE GUERRILHA

DE GUERRILHA
Resultados rápidos 
Ciclos de iteração 
Contexto mais informal
Perfis mais genéricos ('pessoas da praça de alimentação') 
Testes mais curtos, pontuais

COM RECRUTAMENTO, PRESENCIAL
PERFIL
AGENDADO
EM CONTEXTO

PERFIL
AGENDADO
EM SALA /  
LABORATÓRIO

Recrutamento mais detalhado 
Mais tempo de teste, mais profundidade 
Pode ser no contexto de uso
Mais trabalhoso 
Pessoas podem faltar, recrutar reservas

COM RECRUTAMENTO,
REMOTO

COM RECRUTAMENTO, REMOTO
Sem limitação de local 
Participante usa o próprio dispositivo 
Mais fácil convencer a pessoa a participar 
Participante mais à vontade
Testes geralmente mais curtos 
Depende do equipamento e internet do participante 
Viés de amostra: pode excluir alguns light-users

REMOTOS, NÃO MODERADO
(FERRAMENTA)
CRIA UM ROTEIRO
FERRAMENTA RECRUTA
PESSOAS RESPONDEM  
E GRAVAM VÍDEO

TESTES REMOTOS NÃO MODERADOS
Sem limitação de local 
Participante usa o próprio dispositivo 
Participante mais à vontade ainda 
Não precisa agendar, mais fácil de recrutar  
Resultados mais rápidos 
Pode ter amostras maiores 
Testes geralmente mais curtos 
Viés de amostra: pode excluir alguns light-users 
Não pode fazer follow-up
Vantagens de ser remoto

DEMANDA POTENCIAL
consultoria
com colegas de
trabalho
guerrilha
com recrutamento,
presencial
com recrutamento,
remoto
remoto não
moderado
Notas são aproximadas e devem ser observadas apenas como ordem de grandeza.

8 dicas
para quem quer começar

1.
Não precisa de muitos participantes;  
5 são suficientes por rodada de teste.
Representatividade > quantidade.

Quem chamar?
quem está dentro do público-alvo
‣ Clientes atuais
‣ Pessoas com perfil similar ao dos clientes atuais
(clientes em potencial)
‣ Pessoas que estão à procura do produto vendido
‣ Pessoas que se interessam pelo conteúdo
‣ Desenvolvedores que trabalham com você

mundo ideal
"Vamos falar com  
quantas pessoas for  
necessário para ter  
segurança de que  
estamos no caminho  
certo."
qualitativo = quantas pessoas?

mundo ideal
"Vamos falar com  
quantas pessoas for  
necessário para ter  
segurança de que  
estamos no caminho  
certo."

p (x >= 1) = 1 - (1 - p) n
Five, ten, or twenty-ﬁve – How many test participants? - Ellen Francik, Human Factors, 2012  
http://www.humanfactors.com/newsletters/how_many_test_participants.asp 
Jeff Sauro, James Lewis - Quantifying the User Experience
p = problem discoverability; p (x >= 1) = probabilidade de o problema ser encontrado apenas uma vez

Jakob Nielsen - http://www.nngroup.com/articles/why-you-only-need-to-test-with-5-users/
5 PESSOAS
“Se você tem
orçamento para
testar com 15
pessoas, faça 3
rodadas com  
5 pessoas - e vai
aprender mais."

ȣ
2.
Ciclos de protótipo e teste podem ser
mais valiosos do que um grande estudo.

3.
Foque no que a pessoa faz,  
e não no que ela diz.

4.
Cuidado com testes caseiros demais:  
sua mãe dificilmente vai achar  
problemas no seu trabalho.

5.
A forma de perguntar faz toda a
diferença. Prefira ‘o que você achou?’  
a ‘você achou fácil, né?'

6.
Tenha cabeça aberta e pratique o
desapego. Você quer aprender,  
não vender seu produto.

7.
Não é tão fácil entrevistar
pessoas de forma
imparcial; pratique.

8.
Qualquer teste de usabilidade é melhor
do que teste nenhum, desde que você
saiba o que está fazendo.

O que é
teste de usabilidade?
Testes de usabilidade  
remotos automatizados

E se você quer participar de  
testes de usabilidade  
(e ganhar uma recompensa):
oppino.com.br

EXERCÍCIOFORMEM
DUPLAS
duplas

EXERCÍCIO5 MINUTOS
Um vai ser o moderador,
o outro será o participante.
duplas
Leia com calmaa tarefa antesde começar

EXERCÍCIO+ 3 MINUTOS
O moderador anota em post-its os problemas / pontos de
melhoria que você observou.
Participante pode ajudar. ;)
duplas Um ponto
por post-it

EXERCÍCIO5 MINUTOS
Troquem os papéis: quem foi moderador,
vira participante e vice-versa.
duplas
Leia com calmaa tarefa antesde começar

EXERCÍCIO
COMO FOI MODERAR O TESTE?

EXERCÍCIO+ 5 MINUTOS
Assistam um trecho de um vídeo de uma
participante de teste.
Anotem os problemas observados. Lorem ipsum
grupo

EXERCÍCIO
O QUE VOCÊS ANOTARAM?

GABARITO :P
‣ Clicou em comprar mas não notou que foi para a sacola no
topo.
‣ Não entendeu que para calcular o frete precisava do CEP
‣ Foi na ajuda mas não conseguiu usar porque pediu o número
do pedido

OBRIGADA.
elisa@testr.com.br
testr.com.br

Palestra: Por que é importante fazer testes de usabilidade - e como começar já!

Recommended

Recommended

More Related Content

What's hot

What's hot (19)

Viewers also liked

Viewers also liked (20)

Similar to Palestra: Por que é importante fazer testes de usabilidade - e como começar já!

Similar to Palestra: Por que é importante fazer testes de usabilidade - e como começar já! (20)

Palestra: Por que é importante fazer testes de usabilidade - e como começar já!