Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Avaliação de Usabilidade e Jogabilidade em Jogos: Métodos, Técnicas e Ferramentas

Tutorial SBGAMES 2015

  • Login to see the comments

Avaliação de Usabilidade e Jogabilidade em Jogos: Métodos, Técnicas e Ferramentas

  1. 1. Avaliação de Usabilidade e Jogabilidade em Jogos: Métodos, Técnicas e Ferramentas Jerry Medeiros
  2. 2. Introdução • As pessoas não se atraem por jogos frustrantes ou que apresentem certo grau de dificuldade de interação. • É necessário atentar-se às questões de usabilidade e jogabilidade durante o processo de criação. • Não levá-los em consideração pode interferir no objetivo principal, que é criar uma experiência agradável e imersiva.
  3. 3. Introdução • Com a eminente popularidade do free to play, os jogadores, agora, pagam depois da experiência. • O dinheiro perdido não é mais suficiente para motivar os jogadores a lidar com uma experiência ruim.
  4. 4. Introdução • Na maioria das vezes, os mecanismos de avaliação empregados estão focados em encontrar erros de programação e não consideram problemas relacionados às percepções, emoções e necessidades dos jogadores.
  5. 5. Design Centrado no Usuário • Pensar o projeto, desde o início, levando-se em consideração as características, necessidades e desejos das pessoas a quem efetivamente o jogo se destina. • É necessário a utilização de técnicas e métodos que busquem trazer esses sujeitos para o processo de desenvolvimento
  6. 6. Experiência • “Uma boa experiência não garante o sucesso, mas uma experiência ruim é quase sempre um atalho para o fracasso.” (Kuniavsky 2003)
  7. 7. Experiência É a combinação de todos os aspectos relativos à interação entre o jogo e o jogador. • Resposta emocional • Aspectos sociais e culturais, • Contexto de uso • Sentimentos decorrentes da interação São premissas para o design da experiência do jogador na metodologia do DCU.
  8. 8. Design da Experiência • Não é Game Design • Não é Design de Interface É uma atividade multidisciplinar que envolve vários profissionais especializados em diferentes áreas: game designers, artistas gráficos, sound designers, especialistas em interação, roteiristas e outros .
  9. 9. Design da Experiência A maioria das pesquisas, processos e métodos de experiência do usuário foi desenvolvida fora da indústria de jogos. Os jogos são produzidos com o objetivo de entreter e divertir os usuários, e não torná-los produtivos como os demais softwares.
  10. 10. Design da Experiência Enquanto a EXPERIÊNCIA DOS USUÁRIOS relaciona-se à facilidade e à adequação de uma tarefa, a EXPERIÊNCIA DO JOGADOR se refere ao suporte do jogo para a vivência de momentos divertidos.
  11. 11. Design da Experiência A experiência do jogador não é algo opcional, algo que se decida colocar o u não em um projeto de jogo. É um fator inerente a qualquer ponto de contato entre uma pessoa e um objeto interativo.
  12. 12. Ciclo de Vida do Projeto Embora seja possível trabalhar com DCU em qualquer modelo de ciclo de vida de projeto, recomenda-se usar um ciclo de vida iterativo e incremental, com ciclos bem definidos Ao final de cada ciclo, um parte do jogo deve estar completamente pronta e testável.
  13. 13. Ciclo de Vida do Projeto
  14. 14. Ciclo de Vida do Projeto
  15. 15. Avaliação por fase do ciclo • Avaliação Formativa: Feita durante o processo de design, antes de o jogo estar completamente implementado e, em alguns casos, antes mesmo da existência de um protótipo funcional/digital.
  16. 16. Avaliação por fase do ciclo • Avaliação Formativa: Pode ser feita por meio de cenários, storyboards, modelagem conceitual da interação ou protótipos de baixa fidelidade.
  17. 17. Avaliação por fase do ciclo • Avaliação Formativa: O Objetivo é identificar e corrigir problemas de interação, inadequações de usabilidade e de jogabilidade antes mesmo do inicio da programação do jogo.
  18. 18. Avaliação por fase do ciclo • Avaliação Somativa: Feitas em produtos já terminados, têm por objetivo validar determinados aspectos: • Sistema de pontuação está bom ? • O balanceamento das fases está adequado ? • Os efeitos sonoros são agradáveis ? • Há engajamento e retenção dos jogadores ?
  19. 19. Como Avaliar ? Depende: • Do prazo; • Do orçamento; • Dos objetivos; • Da natureza do jogo; • Da equipe.
  20. 20. Teste com Jogadores A palavra TESTE assusta. A regra #1 de testar com jogadores é : Não fale sobre o teste com os jogadores.
  21. 21. Quick and Dirty • Fácil de ser aplicado • Pode ser feito com frequência • Gratuito • Quase sempre traz algum resultado interessante.
  22. 22. Protocolo Think Aloud É um procedimento analítico que permite ao avaliador “ter acesso” ao modelo mental do jogador. Ajuda a compreender melhor os comportamentos, sentimentos e atitudes do jogador em relação ao jogo.
  23. 23. Protocolo Think Aloud E se o participante se calar ? Lembrá-lo de continuar a dizer no que está pensando.
  24. 24. Protocolo Think Aloud “Onde você acha que deveria ficar o tutorial ?” “Porque você optou por fazer esse caminho ?” “Qual estratégia você adotou para vencer esse obstáculo?”
  25. 25. Protocolo Think Aloud E se o participante me fizer perguntas ? (Jogador) Mas isso não é inútil ? Resposta inadequada: Não! Resposta adequada: Porque você acha isso ? (Jogador) Como faz para matar esse inimigo ? Resposta inadequada: Pise na cabeça dele! Resposta adequada: Como você espera que seja ?
  26. 26. Teste de Usabilidade/Jogabilidade Método empírico (envolve usuário) Principal objetivo: validar as soluções de design Realizado com participantes que são parte do público alvo. Método: OBSERVAÇÃO da interação do jogador com jogo Resultado: descoberta de padrões e sugestão de melhorias.
  27. 27. Teste de Usabilidade/Jogabilidade • Testes de Exploração • Testes de Avaliação • Testes de Validação • Testes de Comparação
  28. 28. Teste de Usabilidade/Jogabilidade
  29. 29. Como fazer ? É necessário PLANEJAR! 1. Determinar objetivos (onde quero chegar?) 2. Escolher o que medir (quais métricas?) 3. Definir perfil de participantes e recrutar (pra quem ?) 4. Definir tarefas e cenários (qual a motivação ?) 5. Preparar os materiais, equipe, ambiente e ferramentas (como e com o que ?) TESTAR O TESTE
  30. 30. Determinar os Objetivos Qual o objetivo do teste ? Engajamento, compreensão, nivelamento, satisfação, comparação ... O que precisa ser avaliado ? Interface, gameplay, curva de dificuldade... Formule perguntas específicas.
  31. 31. Determinar os Objetivos EXEMPLO 1. É possível trocar de arma em um tempo aceitável e que não prejudique a experiência do jogador? 2. O inventário é facilmente acessado quando o jogador precisa equipar um item? 3. Os check poins estão bem posicionados para que o jogador não perca grande parte do progresso e não se frustre?
  32. 32. Escolher o que medir As métricas dependem do objetivo • Tempo gasto por fase • Quantidades de mortes até atingir um check point • Número de toques na posição errada ao acionar algum botão virtual
  33. 33. Seleção dos Participantes Quem vai jogar meu jogo ? Determinar quem é o público-alvo, levando em consideração: • Características pessoais: idade, gênero; • Dados sobre instrução: grau, assuntos estudados; • Experiência computacional: tempo de utilização, frequência, dispositivos; • Experiência com o produto: tempo de utilização, frequência, gêneros preferidos de jogo;
  34. 34. Seleção dos Participantes Quantos jogadores devo selecionar ? • 5 (em cada categoria) para uma análise mais qualitativa • 20 para uma análise mais quantitativa
  35. 35. Seleção dos Participantes
  36. 36. Seleção dos Participantes Onde encontrar essa pessoas ? • Redes sociais • Contatos pessoais • Contatos do cliente/parceiros • Base de dados de jogadores • Empresas de recrutamento • Escolas
  37. 37. Seleção dos Participantes EVITAR • Amigos • Membros da família • Pessoas envolvidas com o projeto • Desenvolvedores
  38. 38. Seleção dos Participantes DIVULGUE UM QUESTIONÁRIO DE FILTRO 1. Com que frequência você costuma jogar First Person Shooters? [ ] Menos de 1 vez por semana [Terminar] [ ] 1 ou 2 vezes por semana [Continuar] [ ] 3 ou mais vezes por semana [Continuar] 2. Quais dos seguintes Jogos você já jogou? [ ] [ ] Call of Dutty [ ] Counter-Strike [ ] Borderlands [ ] Crysis [Recrutador: Necessário ter jogado pelo menos 2.] 3. Em quais plataformas você joga? [ ] PC [ ] Console [ ] Ambos [Recrutador: Necessário Jogar em PC.] ou [Recrutador: Selecionar de forma mista.]
  39. 39. Definir Tarefas e Cenários Tarefas: O que precisa ser testado ? • O que é necessário que o jogador faça que se possa avaliar o que foi definido ? • Como é esperado que o jogador realize a tarefa? (quando relevante) • Com quanto tempo é esperado que o jogador realize a tarefa (quando relevante)
  40. 40. Definir Tarefas e Cenários EXEMPLO TAREFAS 1. Inicie uma partida e jogue naturalmente até perder uma vida 2. Desabilite apenas a música de fundo e inicie uma nova partida 3. Durante a partida, troque o nível de dificuldade para FÁCIL 4. Reinicie a partida sem voltar ao menu inicial 5. Encerre a partida, compre uma shotgun e jogue novamente 6. Consulte a lista de missões e escolha qual deseja completar 7. Jogue até completar a missão escolhida 8. Compre novos itens para o seu personagem
  41. 41. Preparar os materiais, equipe, ambiente e ferramentas Escrever, revisar e imprimir • Roteiro, tarefas, termo de consentimento. Verificar ambiente Nível aceitável de ruídos, privacidade, lanche (se necessário) Verificar dispositivos Bateria, conexão, captura (áudio e vídeo), software espião, navegador (limpar cache) Não esquecer mouse, teclado, joypad (se necessário)
  42. 42. Preparar os materiais, equipe, ambiente e ferramentas ESTRUTURA DO ROTEIRO • Propósito do teste • Lembrar que quem é avaliado é o jogo e não o jogador • Que o objetivo é melhorar a jogo • Que a identidade será mantida em sigilo • Que a participação é voluntária • Explicar como ocorrerá teste • Explicar que podem fazer perguntas, mas nem todas poderão ser • Explicar as tarefas • Realizar entrevista semi-estruturada no final
  43. 43. Preparar os materiais, equipe, ambiente e ferramentas “Obrigado por concordar em participar do nosso estudo sobre o Jogo. Meu nome é Jerry.“ [Evitar usar a palavras teste ou avaliação, pois geralmente intimidam o participante]” “Estou aqui para entender como as pessoas interagem com esse jogo” “Durante a sessão, vou te pedir para fazer algumas específicas no jogo e observar como você as faz. Por favor, tente executá-las da forma como você faria normalmente caso eu não estivesse observando” “Por favor, tente pensar em voz alta enquanto você está jogando. Apenas me diga o que passar pela sua mente.” ”Não estamos testando você, não se preocupe pois não há a possibilidade de você cometer erros. Ao fazer isso você me ajuda a entender o que é legal ou não no jogo. ”A sessãoo durará cerca de 45 minutos.” “Você tem alguma pergunta antes de começar?”[Responder todas as perguntas]
  44. 44. Teste Piloto Executar uma sessão de teste com alguém, não necessariamente um participante selecionado. Adequar tarefas, tempo, ambiente, equipamento...
  45. 45. Teste Piloto Antecipa e previne problemas com o teste real. • As tarefas foram compreendidas pelos usuários? • Todas as tarefas foram possíveis de concluir? • Os equipamentos estão ok? • O protótipo precisa ser ajustado? • O questionário está ok? Envolvidos: 1 a 3 (depende da complexidade do teste, mas quase sempre 1 é suficiente)
  46. 46. Aplicação do Teste EQUIPE ENVOLVIDA Condutor • Orienta o participante • Faz com que ele se sinta à vontade • Responde perguntas (nem todas) • Estimula o participante a verbalizar Observador(es) • Observam e registram os padrões • Não interferem no teste
  47. 47. Aplicação do Teste EQUIPE ENVOLVIDA Participantes (Jogadores) Posso/Devo pagá-los ? A resposta mais adequada é NÃO (Mas..) O que o participante precisa saber ? • Que está sendo observado • Que sua identidade será preservada • Onde estão as câmeras, espelhos, microfones.. • Precisa aceitar um termo de consentimento
  48. 48. Aplicação do Teste AMBIENTE DO TESTE Varia de acordo com a necessidade, objetivo, orçamento... É o conjunto de todos os equipamentos, acessórios e artefatos necessários para a realização de um sessão de teste.
  49. 49. Aplicação do Teste
  50. 50. Aplicação do Teste
  51. 51. Aplicação do Teste ESCOLHA UM SOFTWARE ESPIÃO Quicktime (http://www.apple.com/quicktime/download/) SilverBack (http://silverbackapp.com/) CamStudio (http://camstudio.org/) Camtasia (http://www.techsmith.com/products/studio/default.asp ) Morae (http://www.techsmith.com/products/morae/default.asp) Ovo Logger (http://www.ovostudios.com/ovologger.asp#during ) ScreenCam (http://www.smartguyz.com/index.html ) ZD Soft (http://www.zdsoft.com/downloads.html)
  52. 52. Aplicação do Teste Mr. Tappy (http://www.mrtappy.com/)
  53. 53. Aplicação do Teste COMO OBSERVAR • Procure por padrões de comportamento e fenômenos • Não interfira no teste (função do orientador/condutor) • Marque o tempo inicial (quando medindo o tempo) • Anote pontos de dificuldade • Anote termos que causaram confusão • Anote o caminho percorrido • Anote as sugestões do participante • Anote se a tarefa foi realizada com sucesso ou não • Anote frases/depoimentos que exemplifiquem algo importante • Anote o tempo final
  54. 54. Aplicação do Teste QUESTIONÁRIO/ENTREVISTA DE SATISFAÇÃO • Formular perguntas relacionadas a aspectos difíceis de serem detectados somente com a observação • Sentimentos, opiniões, sugestões para melhoria • Posicionamento em relação a outros jogos do mesmo gênero.
  55. 55. Aplicação do Teste
  56. 56. Terceirização de Testes Mr. Tappy (http://playtestcloud.com/)
  57. 57. Análise Heurística Quantos especialistas devem avaliar o jogo ? 5 especialista conseguem encontrar, em média 75% dos problemas que possivelmente seriam enfrentados pelos usuários reais.
  58. 58. Análise Heurística
  59. 59. Análise Heurística Método analítico (não envolve usuário) Principal objetivo: validar as soluções de design Realizado por especialistas com base nas melhores práticas definidas por profissionais experientes. Método: Análise do jogo com base em um conjunto de linhas guia. Resultado: descoberta de padrões e sugestão de melhorias.
  60. 60. Análise Heurística Planejamento • Definir a proposta de design (protótipo de baixa fidelidade, protótipo de alta fidelidade ou jogo completo) • Hipóteses sobre os usuários (opcional) • Cenário de tarefas (opcional)
  61. 61. Análise Heurística COMO FAZER ? 1. Duas sessões curtas de avaliação individual, onde cada especialista: • Avalia a conformidade da interface com um conjunto de heurísticas; • Anota os problemas encontrados e sua localização; • Julga a gravidade desses problemas; • Gera um relatório individual com o resultado de sua avaliação e comentários adicionais, caso o deseje.
  62. 62. Análise Heurística COMO FAZER ? Para a categorizar os problemas encontrados na avaliação: • Frequência: Define se um problema ocorre isoladamente ou se ele é recorrente e avalia se os locais no qual esse problema ocorre são muito utilizados pelo usuário ou não. • Impacto: Define se o usuário terá dificuldade em lidar com o problema ou não. Os problemas de grande impacto podem trazer constrangimento, frustração ou impedir que o usuário prossiga com a utilização do sistema. • Persistência: Define se o problema ocorrerá todas as vezes que o usuário interagir com o sistema ou se ele desaparecerá com o aumento da experiência do usuário.
  63. 63. Análise Heurística COMO FAZER ? Para pontuar os problemas pode-se utilizar a seguinte escala: • 0: Não concordo que seja um problema; • 1: Problema cosmético: não precisa ser corrigido, a não ser que haja tempo extra; • 2: Problema menor: prioridade baixa para a correção; • 3: Problema maior: prioridade alta para a correção; • 4: Catástrofe: é imperativa a correção antes que o produto seja lançado.
  64. 64. Análise Heurística COMO FAZER ? 2. Reunião de consolidação da avaliação dos especialistas • Os avaliadores, em conjunto, discutem os problemas encontrados • Gera-se um relatório, que consolida todos os problemas encontrados por todos os avaliadores.
  65. 65. Análise Heurística COMO FAZER ? 3. Seleção dos problemas que devem ser corrigidos • Etapa realizada por pelo menos um dos especialistas que avaliou a interface juntamente com a equipe de desenvolvimento. • Análise de custo/benefício das correções dos problemas encontrados • Leva-se em consideração não apenas a gravidade dos problemas, mas também os prazos e o orçamento do projeto, bem como a capacitação da equipe de desenvolvimento.
  66. 66. OBRIGADO ;) Jerry Fernandes Medeiros Especialista em Design de Interação Produtor de Jogos Digitais Educativos Jerry.medeiros@tamboro.com.br

×