Ferramentas para testes de usabilidade e experimentos

Figura1_SBB_Usability-TestingDurante o experimento que conduzi para o meu doutorado  eu utilizei várias ferramentas que me auxiliaram a coletar dados muito importantes. Neste post vou apresentar alguns dos softwares que me auxiliaram durante a coleta e análise de dados.

Os testes de usabilidade com usuários reais devem ser muito bem instrumentados, isto é, possuir ‘instrumentos’ para coletar dados enquanto os usuários utilizam o site, plataforma, aplicação ou qualquer outro software que se deseja testar.

Na área de testes de usabilidade (e também na engenharia de software experimental) esta instrumentação assume a forma de diferentes softwares que coletam dados para posterior análise. Além disso, os softwares utilizados nas análises também são muito importantes.

Pois bem, vou comentar aqui um pouco sobre os softwares que utilizei no experimento que conduzi durante o meu doutorado. Creio que esta lista de ferramenta é muito útil para quem desejar realizar testes de usabilidade presenciais como usuário, mas existem outros cenários importantes que podem se beneficiar das ferramentas que vou citar neste post. A propósito, quem desejar mais informações sobre a pesquisa que desenvolvi no doutorado pode dar uma olhada nos slides que utilizei na minha apresentação disponibilizados aqui,

 

Figura2_locodococoachoftheseason

Dentre os outros cenários que se beneficiariam da coleta de métricas e análise de dados, destaco um que venho pesquisando à algum tempo: o caso dos e-sports. Neste contexto técnicos podem coletar informações importantes para ajudar a definir estratégias, exercícios para o jogadores, compreender melhor comportamentos e, por que não, basear o treinamento no que os resultados da análise mostram com o objetivo de obter vantagens competitivas. A propósito, se algum leitor for um técnico de alguma equipe de e-sports ou souber de algum contato nesta área que se interesse pelo assunto, peço a gentileza de encaminhar o meu contato (@pichiliani)

1) Gravação de tela e áudio Figura3_camtasia-recording7

A gravação completa da tela e interações do usuário com o software em vídeo é muito importante e permite diversas análises posteriores. Recomendo o Camtasia Studio ou o Snagit, pois além deste softwares possuírem diversos recursos para a gravação eles não consomem muito processamento e memória, permitem gravar o áudio e geram arquivos intermediários de vídeo com tamanho reduzido que podem ser posteriormente convertidos para formatos populares (.AVI, .MP4, .MP3, etc).

2) Gravar o horário

Sempre que há a necessidade de gravar a tela do usuário é preciso incluir um marcador de tempo com precisão adequada (geralmente segundos ou milissegundos). Os relógios das interfaces da maioria dos sistemas operacionais são relativamente pobres em recursos para escolha de fontes, formato de data e hora, precisão e outros recursos. Para estes casos eu recomendo o TClock, que é uma ótima alternativa para colocar um relógio na tela que vai ser gravado junto com o vídeo que inclui as interações do usuário.




3) Observação da tela Figura4_Testing

Durante uma sessão de uso de software muitas vezes o moderador (ou experimentador) não está perto do usuário e precisa enxergar a tela para ver o que está acontecendo. Neste cenário eu recomendo algum software de compartilhamento de tela pela rede, como o TightVNC. Com este software é possível observar se o usuário realmente está fazendo o que ele deve fazer o use está se desviando muito do planejado.

4) Múltiplos desktops

Dependendo do que se deseja observar, é possível que várias janelas e software estejam sendo executados os mesmo tempo no computador. No caso do Windows, recomendo utilizar um software que permite a utilização de vários desktops ao mesmo tempo, como o dexplot. Este software cria diversos desktop virtuais onde é possível separar janelas e deixar o desktop do usuário ‘limpo’ (sem nenhuma janela adicional) enquanto um segundo desktop contém as janelas dos softwares de monitoria e outros.

5) Notificações de gravação

Durante o uso de alguns softwares geralmente o usuário acaba gravando algum arquivo em disco. Em algumas situações é preciso tomar algum tipo de atitude como, por exemplo, gravar em um log a data/hora, nome e tamanho do arquivo modificado ou tirar uma cópia de cada versão do arquivo gravada. Nestes casos é preciso desenvolver algum tipo de programa que é notificado automaticamente quando algum arquivo é salvo em uma pasta. Infelizmente existem poucos software que realizam esta tarefa, mas não é difícil criar um programa simples para isso.

Em geral, as linguagens de programação possuem recursos (classes e funções) para criar programas que geram uma notificação quando alguma modificação é feita em uma pasta. Por exemplo, o Java possui a classe FileAlterationObserver e o C# possui a classe FileSystemWatcher. A partir destas classes é possível criar programas que vão monitorar o que acontece nas pastas e realizar as operações necessárias assim que houver algum modificação no conteúdo das pastas.

6) Gravação da interação com teclado e mouse Figura6_AFS-AKA2_lg1

A gravação da movimentação do ponteiro do mouse e seus cliques é uma fonte importante de dados, assim como a gravação de cada tecla pressionada pelo usuário. Existem várias ferramentas para realizar este tipo de operação e aqui vou recomendar duas: o Mini Mouse Macro e o Basic Key Logger. Destaco que esse tipo de software deve ser utilizado SEMPRE com o consentimento do usuário, pois ele pode ter sérias implicações éticas caso contrário.

7) Diferenciação de texto Figura7_Kompare

Uma vez que os dados já tenham sido gravados é preciso tratá-los antes de iniciar as análises. Um dos tratamentos mais comuns é comparar o que usuário fez em relação a um estado inicial antes do experimento. Em geral, esta comparação é feita por meio da descoberta de diferenças indicadas pelas ações do usuário. E para descobrir estas diferenças recomendo o WinMerge que compara dois arquivos texto e mostra a diferenças (inclusões, alterações e exclusões).

8) Transcrição de texto

Muitas vezes gravamos o áudio do usuário durante o experimento ou durante uma entrevista/conversa informal (debriefing) logo após ele ter terminado as tarefas do experimento. Em geral, precisamos analisar manualmente este áudio e fazer a transcrição do que foi dito para texto com o objetivo de realizar análises futuras. Existem diversos serviços pagos que podem ajudar quando temos muito texto, mas caso seja necessário a transcrição manual do áudio eu recomendo o software Subtitle Workshop. Este software foi criado para geração de legenda de vídeo, mas ele pode ser facilmente utilizado para ler arquivos de áudio com o objetivo de transcrever o que foi falado.

As principais vantagens desta ferramenta incluem uma interface adequada para escrever as linhas do texto, sincronização da legenda no tempo certo e atalhos simples para avançar e retroceder o vídeo/áudio.

9) Análise de mapa de calor Figura8_m-ut-bsp-et

A geração de gráficos a partir dos dados é algo básico que deve ser contemplado por qualquer análise. Existem diversas ferramentas para isso, mas aqui vou destacar uma em participar: o Ogama.net. Este software permite a criação de mapas de calor (heat maps) que facilitam a descoberta de pontos específicos na tela onde o usuário clicou, interagiu ou olhou.

Esta ferramenta requer arquivos de texto com as coordenadas da tela e também arquivos de vídeo/imagem para sobrepor as ‘manchas’ solares. Existem outras formas de fazer isso, mas o Ogama.net é muito simples de usar e não requer programação.

Esta entrada foi publicada em Ferramentas, Programação e marcada com a tag , , , , , , , , . Adicione o link permanente aos seus favoritos.

2 respostas a Ferramentas para testes de usabilidade e experimentos

  1. ANTULIO DE OLIVEIRA disse:

    Prezado Pichilianni,
    Agradeço imensamente pela postagem deste artigo “Ferramentas para testes de usabilidade e experimentos” , que me serviu de referência para o
    desenvolvimento de minha TESE de Doutorado.
    Parabéns pela sua Tese, considero um show de bola para o desenvolvimento da Engenharia de Software. Gostaria de saber se ela já está disponível para download?
    Tenho algumas dúvidas com relação ao desenvolvimento do experimento, gostaria de trocar umas ideias com você. Poderia me enviar um contato para meu e-mail?
    Mais uma vez parabéns pelas suas publicações no Blog, Livros e artigos científicos publicados!

    Antúlio de Oliveira
    ao@cin.ufpe.br

  2. pichiliani disse:

    Antúlio,

    Você pode entrar em contato comigo pelo e-mail pichiliani at gmail dot com para conversarmos sobre suas ideias.

Deixe uma resposta

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *