Classificação automática de questões de concursos: um estudo comparativo utilizando algoritmos de mineração de textos

Abstract

No Brasil, o ingresso no funcionalismo público tem como requisito obrigatório a realização de processos seletivos e avaliativos chamados de Concursos Públicos. Esses processos seletivos têm como uma das principais características a extensa quantidade de conteúdo programático nos seus editais, que exige do candidato preparo prévio e dedicação de muitas horas de seu dia aos estudos. Nessa etapa de preparação, uma das alternativas consideradas mais eficazes é estudar resolvendo as questões cobradas pelas bancas elaboradoras em concursos anteriores. Este estudo tem como objetivo identificar qual método de mineração de texto é mais indicado para classificar automaticamente questões de concursos de forma mais eficiente, tendo como justificativa reduzir os altos custos necessários para classificação ao lidar com bancos de questões robustos. A automatização desta tarefa pode ser muito útil para a empresa que fornece o serviço e para os usuários das plataformas de estudos e aplicar algoritmos de classificação em questões de um banco já classificado possibilita o aprendizado dos métodos utilizados para que sejam usados em bancos de questões onde não haja classificação. Para esse estudo, foram utilizadas 20 mil questões relacionadas à área de Informática extraídas da EdTech QConcursos, escritas em linguagem natural e que portanto necessitaram passar pelas etapas de mineração de texto. Dentre os modelos, destacaram-se Naïve Bayes, Generalized Linear, Árvore de Decisão, Floresta Aleatória, Gradient Boosted, que apresentaram valores de acurácia superiores a 90% quando aplicados a disciplinas. Quando aplicados a assuntos de questões, os maiores valores foram iguais ou inferiores a 24%.