Este documento discute métodos para monitorar a experiência do usuário, incluindo testes de usabilidade à distância, painéis de usuários, sondagens e análise web. Aborda definições de experiência do usuário e discute ferramentas como SUS, SUMI e PANAS para avaliar a usabilidade, satisfação e carga emocional do usuário.

1. Monitorando a
Experiência do Usuário
Walter de Abreu Cybis, D. Eng

2. Monitorando a
Experiência do Usuário
Plano do módulo
Conceitos de Base
Abordagens
Testes à distância
Painéis de usuários
Sondagens
Web analítica
P&D
Conclusões

3. Experiência do usuário
Definição e caracterização
Experiência do usuário é subjetiva !
Contexto
Satisafacao
Valor
estético
Desempenho
Valor Eficiência
ético
Satisfação
Produto
Interacao Site Web
Usuario Sistema
Experiência Usabilidade Design Suporte
Atendimento
Eficacia

4. Experiência do usuário
Definição e caracterização
Experiência do usuário é resultado de um processo
longo e dinâmico!
Experiência
Experiência Experiência além da
esperada na interação interação
Usuario
Valores, motivação, expectativas, humor, conhecimentos, recursos
Imagem, campanhas, Desempenho, satisfação, Amigos, leituras
amigos, leituras prazer, frustração… publicidade,

5. Experiência do usuário
Definição e caracterização
Definições de UX!
“as percepções e respostas da pessoa que resultam do
uso ou da expectativa de uso de um produto, sistema
ou serviço”
ISO 9241:13 –
Ergonomia da interação
Concepção centrada no usuário

6. Experiência do usuário
Definição e caracterização
Definições de UX!
“a conseqüência do estado interno do usuário (predisposições,
expectativas, necessidades, motivação, humor, etc.) das
características do sistema projetado (por exemplo,
complexidade, objetivo, usabilidade, funcionalidade, etc.) e do
contexto (ou do ambiente) no qual a interação ocorre (por
exemplo, configurações organizacionais-sociais, significado da
atividade, espontaneidade do uso, etc.)”.
Hassenzahl, 2006

7. Experiência do usuário
Definição e caracterização
Definição de UX adotada!
“a conseqüência do estado interno do usuário (predisposições,
expectativas, necessidades, motivação, humor, etc.) das
características do sistema projetado (por exemplo,
complexidade, objetivo, funcionalidade, etc.), da interação entre
este usuário e o sistema projetado (usabilidade) e do contexto
(ou do ambiente) no qual a interação ocorre (por exemplo,
configurações organizacionais-sociais, significado da atividade,
espontaneidade do uso, etc.)”.
Hassenzahl, 2006, adaptado por Cybis!

8. Monitoramento de interfaces
Definição e caracterização
Objetivos
Obter e utilizar informações sobre o uso de uma interface
para melhorar a próxima versão do sistema, ajudar a
conceber um novo produto, melhorar o suporte técnico, etc…
Estratégia
Coletar e analisar….
 medidas e informações de testes e painéis
 as percepções dos usuários sobre a usabilidade, a carga de
trabalho, a carga emocional, os sentimentos e a satisfação dos
usuários
 os registros das interações (dados de log)
…

9. Monitoramento de interfaces
Definição e caracterização
Abordagens examinadas
Testes de usabilidade a distância
Com o apoio de ferramentas automatizando as atividades de teste.
Painéis de usuários
Pesquisas sobre a usabilidade e experiência do usuário abrangendo um
grande número de usuários
Sondagens
Sobre as percepções dos usuários sobre a usabilidade, a carga de trabalho, a
carga emocional e a satisfação geram em relação aos sistemas.
Web analítica
Abordagem visando melhorias constantes baseada no registro e análise
sistemática de dados sobre as interações.
técnico e comunidades on line.

10. Testes de Usabilidade
Definição
Um teste de usabilidade envolve usuários reais ou
representativos da população-alvo interagindo com o sistema
para realizar tarefas específicas em um contexto de
operação real ou simulado.

11. Testes de Usabilidade
Caracterização
Objetivos:
➔Constatar problemas,
➔Medir seu impacto
negativo sobre as
interações
➔Identificar suas causas
na interface.
➔Conhecer mais sobre as
estratégias dos usuários

12. Testes de Usabilidade
Caracterização
Um teste de usabilidade
diferencia-se de uma
observação da interação,
que tem o objetivo
específico de conhecer
uma situação ou
o contexto do trabalho.
O objetivo de um teste de usabilidade é de testar um software,
ou as áreas problemáticas de sua interface, em uma situação
real ou o mais próximo possível do real.

13. Testes de Usabilidade
Testes a distância
Teste no terreno em que os
participantes, facilitadores
e observadores estão
geograficamente dispersos;
Vantagens
O participante é menos
estressado porque está em seu
ambiente natural, em casa ou no
escritório
Recrutamento é mais fácil porque não
há necessidade do participante
deslocar-se;
 Teste com moderador
 Teste sem moderador

14. Testes de Usabilidade
Testes a distância com moderador
O participante interage com um
moderador via telefone IP.
Vantagens
É possível fazer um pouco de análise à
distância;
Desvantagens
 A logística a implementar é mais
complicada. Pré-testes individuais (1 para
cada participante) são necessários;
 É necessário uma conexão de qualidade
para evitar atraso e cortes;
 Mesmo assim, problemas técnicos de
última hora e incontroláveis podem
aparecer.

15. Testes de Usabilidade
Testes a distância com moderador
Ferramentas:
UserVue foi descontinuado em 2010!
Ferramenta de testes +
ferramenta de
compartilhamento de telas
Ex Morae + GotoMeeting

16. Testes de Usabilidade
Testes a distância sem moderador
O participante interage com um
sistema automático de
condução.
O contratante define o perfil dos
usuários participantes, as tarefas
que eles deverão realizar e as
questões que os usuários devem
responder.
O serviço aplica as tarefas e as
questões, registra todos os
acontecimentos (imagem e som) e
prepara relatórios com os
resultados.

17. Testes de Usabilidade
Testes a distância sem moderador
Vantagens
O usuário fica a vontade para
escolher quando e onde realizar o
teste.
Os testes podem envolver um
número maior de usuários.
Desvantagens
O usuário pode não compreender
a condução e perder-se nas
tarefas do teste.
Os resultados dos testes não são
tão detalhados.

18. Testes de Usabilidade
Testes a distância sem moderador
Ferramentas
UserZoom
http://www. userzoom.com
loop11
http://www.loop11.com/
Morae - AutoPilot
http://www.techsmith.com/morae.html

19. Monitoramento de interfaces
Painéis de usuários
Definição
São estudos mais abrangentes em número de usuários,
com centenas ou mesmo milhares de usuários.
Estes podem pertencer a grupos de usuários contratados
por um serviço de painéis ou podem ser recrutados em
tempo real quando visitam os sites.
Os participantes de um painel, irão interagir com um
serviço Web ou permitirão a instalação de um plug-in em
sua máquina, que irá capturar os registros de suas
interações.

20. Monitoramento de interfaces
Painéis de usuários
Painéis de curta duração: orientados à tarefas!
Os usuário são recrutados de uma base de participantes
do serviço de painéis, ou em tempo real, enquanto
visitam o site Web.
Em ambos os casos o recrutamento se dá de forma automática,
seguindo os dados sobre o perfil desejado para os usuários,
definidos previamente.

21. Monitoramento de interfaces
Painéis de usuários
Painéis de curta
duração!
Trata-se de uma estratégia
parecida com a de um teste
de usabiliade a distância
sem moderador,
considerando um grande
número de usuários.
Em um painel o foco é
colocado mais nas respostas
qualitativas, do que nas
medidas de produtividade.

22. Monitoramento de interfaces
Painéis de usuários
Painéis de curta
duração!
Ferramentas
(testes à distância)
UserTesting.com,
Feedbackarmy,
Fivesecondtest,
Usabilla,
Whatusersdo,
Userlytics
Capteria-Zooma….

23. Monitoramento de interfaces
Painéis de usuários
Painéis de longa duração: orientados à
experiência!
Duram semanas ou meses.
Os participantes são recrutados a partir de listas de usuários
de um serviço ou produto (não são apenas os usuários de
um determinado perfil).
Uma ferramenta captura os dados comportamentais, como
URL visitadas, as aplicações utilizada, as horas de uso e
outros dados extraídos do ambiente computacional dos
usuários por meio de plug-ins.

24. Monitoramento de interfaces
Painéis de usuários
Painéis de longa duração:
orientados à experiência!
Dados qualitativos podem
ser obtidos por meio de
ferramentas genéricas de diários
ou mensagens instantâneas.
Estes se referem à:
Dificuldades e problemas encontrados
(auto-reportados)
Opiniões e expressões
Satisfação http://diary.com/

25. Monitoramento de interfaces
Sondagens
Definição
Estratégia de monitoramento baseada nas percepções subjetivas dos
usuários colhidas logo após o uso de um sistema ou passado algum
tempo da utilização.
Os questionários podem ser genéricos ou especializados (feitos sob
medida para a experiência a ser monitorada)
Questionários genéricos permitem comparar mediadas colhidas de
diferentes sistemas.
Questionários genéricos sobre:
Usabilidade
Sentimentos e a carga emocional
Carga de trabalho

26. Monitoramento de interfaces
Sondagens
Questionários genéricos
Percepção da usabilidade
System Usability Scale : SUS
Questionário de 10 questões sobre usabilidade do sistema.
Gratuito
Software Usability Measurement Inventory : SUMI
50 questões sobre 5 aspectos da usabilidade :
Eficiência, Ajuda, Controle, Aprendizagem e Empatia
976 €
Percepção da satisfação
Questionnaire for User Interaction Satisfaction : QUIS
120 questões sobre a satisfação em relação à 11 aspectos dos sistemas
US$ 50 a US$ 1000

27. Monitoramento de interfaces
Sondagens
Percepção da carga emocional
Afeto positivo e negativo : PANAS
10 questões sobre emoções positivas e negativas em relação
ao sistema.
Gratuito
Valores hedônicos e pragmáticos : AttrackDiff
21 questões sobre qualidades hedônicas e pragmáticas da
relação com o sistema.
Percepção da carga de trabalho
NASA Task Load Index : NASA TLX

28. Monitoramento de interfaces
Sondagens
Percepção da usabilidade – SUS (System Usability Scale)
Completamente Completamente
em desacordo. de acordo.
1 . Eu acho que eu gostaria de usar este
produto com freqüência.
2 . Eu acho este produto desnecessariamente
complexo.
3 . Eu acho que este produto é fácil
de usar.
4 . Eu acho que eu poderei precisar da suporte
técnico para poder usar este produto.
5 . Eu acho que as várias funções deste
produto estão bem integradas.
6 . Eu acho tem muita inconsistência neste
produto.
7 . Eu imagino que a maioria das pessoas poderia
aprender a usar este produto muito rapidamente.
8 . Achei o produto muito complicado de usar.
9 . Eu me senti muito confiante de usar o produto.
10 . Eu precisaria aprender muitas coisas antes
que eu possa sair usando este sistema .

29. Monitoramento de interfaces
Sondagens
Percepção da usabilidade – SUS (System Usability Scale)
Escala Likert de 1 à 5 para obter a opinião do usuário em
relação à uma declaração sobre a usabilidade do sistema.
Ex. Eu acho que este produto é fácil de usar.
1 = completamente em desacordo
2 = em desacordo
3 = neutro
4 = de acordo
5 = completamente de acordo
Também é possível a construção de escalas com um número par de
opções. Então, o usuário é forçado a tomar uma posição a favor
ou contra a declaração.

30. Monitoramento de interfaces
Sondagens
Percepção da usabilidade – SUS (System Usability Scale)
Pontuação SUS : entre 0 e100
Cada resposta vale entre 1 e 4
Valor das questões ímpares = posição -1
Valor das questões pares = 5 – posição
Multiplicar o total por 2,5
Completamente Completamente
em desacordo. de acordo.
1 . Eu acho que eu gostaria de usar este x 4
produto com freqüência.
2 . Eu acho este produto desnecessariamente x 4
complexo.
3 . Eu acho que este produto é fácil
de usar. x 3
4 . Eu acho que eu poderei precisar da suporte
técnico para poder usar este produto. x 3
1 2 3 4 5

31. Monitoramento de interfaces
Sondagens
Percepção da usabilidade – SUMI
50 questões:
5 aspectos ligados à
usabilidade
 Eficiência
 Ajuda
 Controle
 Facilidade de
aprender
 Empatia
http://sumi.ucc.ie/index.html University College Cork
Outros questionários de UCC - Measuring the Usability of Multi-Media
Systems (MUMMS) / Website Analysis and MeasureMent Inventory (WAMMI)

32. Monitoramento de interfaces
Sondagens
Percepção da satisfação
QUIS: Questionnaire for User Interaction Satisfaction
120 questões sobre 11 aspectos
Telas
Terminologia
Feedback
Aprendizagem
Funções
Manuais
Tutoriais on-line
Multimídia
Reconhecimento de voz
Ambientes virtuais
Acesso à internet
Instalação.
http://lap.umd.edu/quis/
http://www.lap.umd.edu/QUIS/index.html
Human-Computer Interaction Lab (HCIL) at the University of Maryland at College Park

33. Monitoramento de interfaces
Sondagens
Percepção da satisfação
QUIS: Questionnaire for User Interaction Satisfaction
Escala de diferencial semântico
Bipolar
Entre 1 e 7 posições entre dois extremos

34. Monitoramento de
interfaces
Sondagens
NASA TLX -Task Load Index
Percepção da carga de
trabalho
6 fatores compondo a
percepção da carga de
trabalho:
Mental,
Física,
Urgência,
Esforço
Desempenho
Frustração
http:// www.cc.gatech.edu/classes/AY2005/.../manual.pdf

35. Monitoramento de
interfaces
Sondagens
NASA TLX
TLX = 1Ʃ(Peso x Valor) / SP
àN
➔ aplicar logo após o uso do sistema
 Solicitar aos usuários que definam...
 a importância relativa
 o valor de cada fator.
 Peso = 0 à 5
 Valor = 1 à 18
 SP = soma dos pesos
 N = número de fatores aplicáveis
http:// www.cc.gatech.edu/classes/AY2005/.../manual.pdf

36. Monitoramento de
interfaces
Sondagens
PANAS - Positive and
Negative Affect Schedule
Percepção do afeto
positivo e negativo
Pode ser aplicado..
➔ logo em seguida
➔ ou algum tempo após a última
utilização do sistema.

37. Monitoramento de
interfaces
Sondagens
PANAS
Solicitar a percepção dos usuários
(escala Likert entre 1 e 5) em
relação a…
10 emoções ou sentimentos positivos
ativo, alerta, atento, determinado,
entusiasta, excitado, inspirado, interessado,
orgulhoso, forte
10 emoções ou sentimentos negativos
medroso, receoso, nervoso, ansioso,
irritado hostil, culpado, envergonhado,
perturbado, abalado

38. Monitoramento de
interfaces
Sondagens
AttrackDiff
Percepção dos
sentimentos dos usuários
Solicitar a percepção dos usuários
(escala diferencial semântico entre 1
e 7) em relação à 21 emoções ou
sentimentos, organizados em 3
grupos:
Pragmáticos
Hedônicas – estimulação
Hedônicas – identificação

39. Monitoramento de interfaces
Sondagens
AttrackDiff
Todas as questões são aplicáveis e
HQI alta indica percepção todas têm o mesmo peso!
de alta capacidade de
comunicar sua
identidade para os outros.
(identificação)
HQS(HQE) alto indica
percepção de novidade,
estimulação e desafio.
PQ alto indica percepção
de alta usabilidade.
Todas as questões são
aplicáveis e todas têm o
mesmo peso! Uma tradução possível!

40. Monitoramento de
interfaces
Sondagens
Ferramentas
SurveyMonkey
KeySurvey
OnlineOpinion
OpinonLab
Permitem a
implementação de
questionários
genéricos e
especializados

41. Web Analítica
Definição e caracterização
Conjunto de abordagens, Servidor Cliente - Usuário
técnicas e ferramentas
visando à melhoria
constante de sites Web
a partir da análise de
medidas e informações Arquivos de
Log
sobre as maneiras como
os usuários navegam nestes sites
Medidas e informações produzidas pela análise de
registros do histórico das transações entre um servidor
web e seus clientes (dados de log).

42. Web Analítica
Definição e caracterização
Arquivos de log em um servidor Web
Dados de Log ou em um servidor de Web analítica
Interações individuais com
um site Web
Registros
dados de log

43. Web Analítica
Definição e caracterização
Ferramentas tradicionais:
Google Analytics
WebTrends
Omniture
TeaLeaf

44. Web Analítica
Definição e caracterização
Abordagem geral
 Ciclos iterativos de análises e melhorias
Planificar:
Definir os objetivos da intervenção  objetivos do site Web
Definir as medidas e os indicadores de desempenho do site (KPI - Key Performance
Indicators) a produzir.
Definir a melhor maneira de gerar e coletar os dados de log.
Medir:
Empregar os recursos para coletar os dados e para produzir as medidas.
Obter resultados:
Produzir medidas e indicadores de desempenho do site.
Análise:
Acompanhar a evolução das medidas e indicadores no tempo,
Comparar as medidas entre sites/páginas do mesmo tipo (A/B);
Melhorar:
Propor e realizar melhorias nos sites.

45. Web Analítica
Indicadores de desempenho
Objetivos dos sites  Indicador de desempenho
Objetivos dos sites em geral
Atrair e manter usuários ativos, produtivos e satisfeitos
Indicadores de desempenho gerais
Framewrok HEART (Google)
Happiness – Satisfação dos usuários (por meio de pesquisas);
Engagement – Número de visitantes ativos (que visitam mais de uma vez) por período ;
Adoption - Número de novos visitantes ativos por período
Retention - Número de visitantes ativos que permanecem ativos depois de algumas
semanas/meses.
Task success – Eficácia e eficiência nas tarefas (em testes à distância);

46. Web Analítica
Indicadores de desempenho
Sites de Conteúdo
 Receber visitas
Indicadores de desempenho
 HEART +
 Profundidade média das visitas = total de páginas
visitadas/total de visitas
 Popularidade das páginas = total de visitas únicas por
página
 Concentração do tráfego por conteúdo – quantidade de
visitas em uma parte do site;

47. Web Analítica
Indicadores de desempenho
Sites de Comércio
Vender produtos e serviços
Indicadores de desempenho
 HEART +
 Taxa de conversão = número de pedidos/número de
visitas
 Valor médio dos pedidos = total de vendas / número de
pedidos
 Faturamento médio por visita = total de vendas / total de
visitas (desconsiderando as visitas muito curtas)

48. Web Analítica
Indicadores de desempenho
Medidas e informações
 Usadas na produção dos indicadores de
desempenho
 # de visitas
 Duração das visitas
 # de páginas visitadas
 L.O. (lista ordenada) de páginas populares
 # de visitas por página
 # de visitas únicas por página
 % de rejeição por página = % pagina é a ultima acessada

49. Web Analítica
Indicadores de desempenho
Medidas e informações
Fontes de tráfego
 # - % de acessos diretos
 L.O. (lista ordenada) de páginas que originam tráfego
 L.O. de palavras-chave usadas nas buscas
L.O. de páginas de entrada
L.O. de páginas de saída
Caminhos de navegação (em relação a uma página)
 L.O. Páginas anteriores
 L.O. páginas seguintes

50. Web Analítica
Medidas de base
Medidas e informações
Dados demográficos
 L.O. (lista ordenada) de origens geográficas dos
visitantes
 L.O. de navegadores utilizados
 L.O. de sistemas operacionais dos usuários
 L.O. de resoluções das telas e cores dos usuários

51. Web Analítica
Geração e coleta de dados de log
Servidor do site Web Tags que chamam java scripts
Servidor de Web Analítica

52. Web Analítica
Ferramentas
Google Analytics
Dashboard

53. Web Analítica
Ferramentas
Google Analytics
Visitantes ou Visitas

54. Web Analítica
Ferramentas
Google Analytics
Dados
Contextuais

55. Web Analítica
Ferramentas
Google Analytics
Fontes de
Tráfego

56. Web Analítica
Ferramentas
Google Analytics
Conteúdos
populares

57. Web Analítica
Ferramentas
Google Analytics
Navegação

58. Web Analítica
Ferramentas
Google Analytics
Conversão de
objetivos (do site)

59. Web Analítica
Ferramentas
Google Analytics
Funil de
conversões

60. Web Analítica
Ferramentas
Google Analytics
Segmentos
personalizados

61. Web Analítica
Ferramentas
Google Analytics
Alertas
automáticos

62. Web Analítica
Definição e caracterização
Abordagem comportamentalista
(behaviorista)
Só leva em consideração algumas ações físicas dos usuários
Não leva em consideração …
Suas ações cognitivas !
Seus sentimentos!
Seus objetivos !
Não se pode conhecer o seu desempenho!
Uma abordagem orientada aos objetivos do site
Tráfego
Retorno do investimento.

63. Web Analítica
Definição e caracterização
Abordagem não intrusiva
 A coleta é totalmente transparente!
Os dados de log são criados e
estocados por componentes de
software instalados no ambiente
tecnológico que disponibiliza um
site Web.
Os métodos intrusivos, como os testes de usabilidade e os
estudos em laboratório provocam fortes interferências nos
fenômenos observados.
 Pela presença dos observadores
 Pelas cenários que são trazido para os testes.

64. Web Analítica
Definição e caracterização
Uma abordagem em grande escala
Quantidade  Variedade
Grandes populações de usuários  diversos tipos de usuários!
Grande número de ações coletadas  diversos tipos de situações e de
contextos de operação!
Uma abordagem sem limitações temporais
Coleta de dados contínua!

65. Web Analítica
Definição e caracterização
Uma abordagem quantitativa
Os laudos e diagnósticos resultam da análise de medidas
produzidas por ferramentas que monitoram as interações
entre usuários e sites Web.
Uma abordagem sistemática
Baseada em ferramentas  os estudos e análises podem ser
repetidas facilmente

66. Web Analítica
Tendências da indústria
 Captura das ações dos usuários em uma
pagina (movimentos e cliques do mouse,
rolagens, edição)
 Relatórios de cliques (heatmaps), rolagens e
percursos dos usuários em geral e
individualmente.
 Integração com outras técnicas da
engenharia de usabilidade
(ex. Questionários de satisfação, testes à
distancia…)

67. Web Analítica
Tendências da indústria
Web analítica orientada à usabilidade e à
experiência do usuário
Framewrok HEART (Google)
Happiness – Satisfação dos usuários (por meio de pesquisas);
Engagement – Número de visitantes ativos (que visitam mais de uma vez) por
período ;
Adoption - Número de novos visitantes ativos por período
Retention - Número de visitantes ativos que permanecem ativos depois de algumas
semanas/meses.
Task success – Eficácia e eficiência nas tarefas (em testes à distância);
 Reflexão : HAERT é realmente orientado à
usabilidade e à experiência do usuário ?

68. Web Analítica
Web analítica orientada à usabilidade e experiência dos usuários
Objetivo
Tornar os usuários mais eficazes, eficientes e satisfeitos.
Abordagem geral
Baseada em medidas e indicadores permitindo conhecer e melhorar o
desempenho dos usuários.
Orientação usabilidade e UX por meio de ferramentas
tradicionais:
 Tornar os sites compatíveis com os usuários principais (por meio dos
recursos de segmentação)
 Minimizar situações de perda de tempo e confusão (analisar as
páginas causando as mensagens de erros, páginas causando
consultas aos mapas dos sites)
 Eliminar barreiras nas transações (ex. organizar uma promoção e
associá-la a um funil de Web analítica)

69. Web Analítica
Web analítica orientada à usabilidade e experiência dos usuários
Orientação usabilidade e UX por meio de recursos
especializados:
Usemonitor (desenvolvido por Cybis desde 2005)
 Medir e minimizar a carga de trabalho dos usuários (ações sobre
o mouse, o teclado e sobre o navegador…)
 Medir e maximizar a eficiência evidente dos usuários em
transações de sucesso evidente
 Conhecer a demanda dos usuários deficientes visuais
 Minimizar a carga de trabalho e maximizar a eficiência evidente
de usuários deficientes visuais.

70. Web Analítica Orientada à Usabilidade
P&D - Análise do desempenho evidente
Situações de sucesso evidente
Uma mensagem de confirmação é tanto a prova do sucesso do
usuário como reveladora de seu objetivo imediato
Completar as transações!
* Transação  Tarefa  Experiência

71. Web Analítica Orientada à Usabilidade
P&D - Análise do desempenho evidente
Situações de perda de eficiência evidente
Uma mensagem de erro é reveladora de uma situação que
seguramente NÃO é objetivo do usuário.
Perder tempo inutilmente!

72. Web Analítica Orientada à Usabilidade
P&D - Análise do desempenho evidente
Funcionamento
Logs
Configuração
dos estudos
Motor de analise
da eficiência evidente
Mapa da transação de sucesso evidente
Medidas e
indicadores de
eficiência

73. Web Analítica Orientada à Usabilidade
P&D - Análise do desempenho evidente
Resultados: Medidas do desempenho evidente
Evolução das medidas

74. Web Analítica Orientada à Usabilidade
P&D - Análise do desempenho evidente
Resultados: Fichas descrevendo o desempenho
evidente
# de cocorrencias, duracao
Distribuicao dos
média e efciciencia media
tipos de Descricao geral das geral
desempenho estratégias dos usuarios
Duracoes médias
para cada tipo de
desempenho Indicacao de perturbacoes de
usabilidade
Medidas detalhadas por tipo
de desempenho
Indicadores de estratégias
(entradad e desvios)

75. Web Analítica Orientada à Usabilidade
P&D - Análise do desempenho evidente
Inteligência : Identificação de boas e más
soluções de interface:
Por meio de analises longitudinais!
Flutuações no desempenho
no tempo para uma
mesma transação!
Por meio de analise transversais
Diferenças nas medidas de desempenho
dos usuários em transações
similares realizadas em contextos similares!

76. Web Analítica Orientada à Usabilidade
P&D - Análise do desempenho evidente
2005: Desenvolvimento e prova de conceito
(em colaboração com o INRIA/France);
Publicação no : WebIST 2005 - International Conference on Web Information Systems and Technologies, 2005, Miami.
2006: Primeiro protótipo e estudo de validação
(em colaboração com a EPM/Montréal);
Publicação no: 18eme Conférence Francophone sur l'Interaction Humain-Machine. 2006, Montréal,
2007: Protótipo de um serviço web
(em parceria coma a Interfacil, Brasil)
www.usemonitor.com
2009: Estudo de caso 1 – Site transacional em
desenvolvimento
(Em colaboração com a Interage - Brasil)
Publicação no : , Latin American Conference on Human-Computer Interaction, Mérida, México, 2009
2010: Estudo de caso 2 – Site transacional em produção
(Em colaboração com TRF4 - Brasil)
Publicação no : Interaction With Computer (em preparação)

77. Web Analítica Orientada à Usabilidade
P&D - Análise do desempenho evidente
Estudo de caso 1 – Análise longitudinal
Trevio/Interage (Brasil, 2009)
Painel de controle de um sistema de segurança de
comunicações via MSN
Site em desenvolvimento (em asp)
Interface complexa: formulários em uma estrutura de abas em dois
níveis….
 Estudo experimental : dados de log gerados manualmente pela
observação das interações de 4 + 4 testes gravadas em vídeo
 Intervenção : Web analítica orientanda a usabilidade + testes de
usabilidade + avaliações heurísticas

78. Web Analítica Orientada à Usabilidade
P&D - Análise do desempenho evidente
Estudo de caso 1 – Análise longitudinal
Resultados
Conclusões
 As perturbações evidentes são apenas uma parte de todas as de que
ocorrem na realidade, mas são reais;
 Os resultados são bastante detalhados para mostrar quando
perturbações evidentes são eliminadas ou ao contrario, introduzidas na
medida em que uma interface evolui (Analises longitudinais)

79. Web Analítica Orientada à Usabilidade
P&D - Análise do desempenho evidente
Estudo de caso 1 – Análise longitudinal
Resultados
Conclusões
A duração real na tarefa é cerca de 30% maior do que a duração
evidente de todas as transações associadas com a tarefa.

80. Web Analítica Orientada à Usabilidade
P&D - Análise do desempenho evidente
Estudo de caso 1 – Análise longitudinal
Resultados
Conclusões
 A ocorrência de erros de execução nas transações amplifica as perdas
de tempo nas tarefas, de onde a relevância das heurísticas que propõem
a minimização de erros, de modo a prevenir problemas de planejamento
das ações. (Bastien & Scapin, 1993).

81. Web Analítica Orientada à Usabilidade
P&D - Análise do desempenho evidente
Estudo de caso 2 – Análise Transversal
Eproc v2/TRF4 (Brasil, 2010)
Sistema de processos
jurídicos eletrônicos
Tribunal Federal da 4a Região
 Site em produção (em php)
 Interface simples: sistema de formulários estruturados por um menu principal
tradicional
 Estudo real: os dados de log analisados foram os gerados pelo servidor Web
Apache;
 Intervenção: Web analítica orientanda a usabilidade + testes de usabilidade +
avaliações heurísticas

82. Web Analítica Orientada à Usabilidade
P&D - Análise do desempenho evidente
Estudo de caso 2 – Análise Transversal
Resultados:
Fichas descrevendo o desempenho evidente dos usuários
nas transações:
20 tipos de transações,
entre as mais importantes
e freqüentes no
trabalho cotidiano dos
usuários.

83. Web Analítica Orientada à Usabilidade
P&D - Análise do desempenho evidente
Estudo de caso 2 –
Análise Transversal
Resultados:
Desempenho
evidente para grupos de
transações de mesmo tipo
Transações de consulta
de processos
 menos eficientes – ok !
Transações de movimentação
de processos
 mais eficientes - ok!

84. Web Analítica Orientada à Usabilidade
P&D - Análise do desempenho evidente
Estudo de caso 2 – Análise Transversal
Resultados:
Desempenho evidente para grupos de transações
Transações de consulta por localizador  a mais popular e a
relativamente pouco eficiente!
Transações de consulta por tipo de movimentação e por processo
parados  as menos eficientes e as menos populares.
Ocorrência Eficiência

85. Web Analítica Orientada à Usabilidade
P&D - Análise do desempenho evidente
Balanço geral da abordagem
Pontos fortes
Sistemática  uma ferramenta que facilita repetições
Objetiva baseada em medidas
Não intrusiva  invisível para os usuários
Rápida e econômica demanda menos recursos
Robusta  demanda menos recursos
Grande escala  grande numero e variedade de usuários e
contextos considerados
ÚTIL  para apoiar avaliações (estratégia transversal) e
monitoramento (estratégia horizontal).

86. Web Analítica Orientada à Usabilidade
P&D - Análise do desempenho evidente
Balanço geral da abordagem
Pontos fracos
Limitada a transações  busca de informações ?
Mas caso a informação seja objeto de uma transação…
Comportamentalista erros de intenção ?
Mas caso a perspectiva da análise seja a de tarefas…
Limitada à eficiência  eficácia (medida mais importante)?
Mas pode-se conhecer a variação da eficácia….

87. Web Analítica Orientada à Usabilidade
P&D - Análise do desempenho evidente
Perspectivas de P&D
Camada de base de serviços de Web analítica
para ferramentas de monitoramento da UX.
Questionários de satisfação
Testes de usabilidade à distancia
Diários e Painéis de usuários
Web analítica orientada a usabilidade

88. Monitoramento de interfaces
Conclusões
Vantagens evidentes
 O monitoramento se refere a etapa de produção : a mais
longa e a mais rica em informação do ciclo de vida de um
site Web ou de um sistema interativo.
 Os dados e as informações referentes as interações reais
no contexto de operação real dos sistemas permitem
melhorar sua usabilidade e a experiência dos usuários de
modo particularmente efetivo.
 O momento é de explosão de abordagens e tecnologias
para o monitoramento da usabilidade e da experiência dos
usuários.

89. Monitoramento de interfaces
Conclusões
Carências
 Falta avançar mais na direção de uma Web analítica
orientada à usabilidade e à experiência do usuário.
Produzindo medidas sobre a produtividade e a satisfação dos usuários
 Falta ainda um esforço de integração entre os resultados
produzidos pelas diferentes ferramentas de monitoramento
de interfaces.
Ex. testes à distância e a Web analítica (orientada à
usabilidade).
 Falta ainda uma tecnologia de gerenciamento capaz de
armazenar e permitir a interpretação dos resultados
produzidos por diferentes ferramentas de monitoramento de
interfaces.

90. Monitoramento de interfaces
Obrigado!
Walter de Abreu Cybis, D. Eng
walter.cybis@polymtl.ca