Moving Forward to a True Autonomous Driving: Avoiding Fatal Crashes Using Metamorphic Testing

Abstract

O desenvolvimento de aplicações para carros autônomos tem se tornado cada vez mais comum nos últimos anos devido às diversas vantagens que este tipo de tecnologia pode nos proporcionar, como a diminuição de acidentes de trânsito e a acessibilidade para pessoas incapacitadas de dirigir. Porém, a realização de testes em sistemas autônomos acaba por se deparar com inúmeras barreiras, tais como o perigo de testar estes sistemas em um ambiente de mundo real e a dificuldade de validar se o comportamento do carro está correto ou não. Tais fatores influenciaram para a primeira fatalidade registrada com relação a um carro autônomo, ocorrida no ano de 2018, em Tempe, Arizona. Nos últimos anos, a abordagem de Testes Metamórficos tem se mostrado como uma ótima alternativa para a garantia da qualidade destes sistemas expondo falhas que poderiam resultar em demais fatalidades. Porém, ainda não é possível afirmar quais fatores podem ter maior influência na causa destas falhas pelos custos e perigos da realização destes testes em mundo real. Objetivando auxiliar no mapeamento desses fatores, esse trabalho utiliza um simulador para sistemas de carros autônomos, o CARLA, junto de um sistema de rede neural treinado, por meio da abordagem Learn by Cheating, e aplica um conjunto de Testes Metamórficos que possibilita analisar e evidenciar, por meio de várias execuções, quais fatores possuem maior influência na causa destas possíveis falhas. Pelos experimentos realizados é possível analisar, por meio de um conjunto de 6 relações metamórficas, que a chuva possui uma influência em falhas equivalente a 14,6% do total de execuções realizadas, além de mostrar influência absoluta na execução de uma das rotas propostas.