Avaliação de ferramentas de geração de casos de teste de software: uma análise comparativa

Abstract

Devido a sua complexidade, é compreensível que sistemas de software estejam sujeitos a diversos tipos de erros e inconsistências. Para evitar que esses erros cheguem aos usuários finais e causem prejuízos de valor incalculável, é fundamental introduzir atividades de teste em projetos de desenvolvimento de software que garantam sua qualidade. É possível garantir a qualidade na etapa de desenvolvimento do software com a constância e repetição dos testes, contudo, manualmente essa seria uma atividade custosa de ser realizada, devido à quantidade de tempo necessária para executar todos os processos. Uma vez que os testes automatizados sejam criados, eles podem ser executados quantas vezes forem necessárias. Em outros termos, testes automatizados fazem o que os testes manuais não são capazes, por exemplo, simular a execução de milhares de usuários em um sistema. Outro benefício dos testes automatizados é a possibilidade de serem programados para executar após cada modificação do código, informando caso haja defeitos, e auxiliando os desenvolvedores a encontrar falhas antes de enviar o produto para a equipe de qualidade. Nesse contexto, existem diversas ferramentas que geram casos de teste automaticamente para estes fins, no entanto, identificar a melhor ferramenta para cada cenário é uma tarefa custosa. O presente trabalho tem como objetivo auxiliar a escolha da ferramenta mais adequada, dentre o Evosuite e o Randoop, para o contexto do teste de software, baseado na cobertura de código e teste de mutação como métricas qualitativas estudadas em dois sistemas operacionais. Ao final do estudo, os resultados obtidos mostram que o Evosuite gerou casos de teste que cobriram uma porcentagem maior de código do que a cobertura dos casos de teste gerados pelo Randoop, tendo um melhor desempenho no Windows que no MacOS nas duas ferramentas. Considerando a métrica de mutação, os testes do Randoop mataram mais mutantes quando comparados aos testes gerados pelo Evosuite em ambos os sistemas operacionais, e o percentual de mutantes mortos foi equivalente no Windows e no MacOS.