DepreBERTBR: um modelo de linguagem pré-treinado para o domínio da depressão no idioma português brasileiro

Abstract

Transtornos mentais, tais como ansiedade e depressão, são caracterizados por causar distúrbios significativos na cognição e regulação emocional de uma pessoa. Particularmente, a depressão vem sendo alerta de preocupação pela Organização Mundial de Saúde diante de sua crescente expansão em escala mundial. Além de minar a autoestima do ser humano, em casos mais graves, esse transtorno pode levar à morte. As redes sociais vêm se tornando um espaço cada vez mais convidativo para que usuários com tendência depressiva possam expor seus sentimentos por meio de postagens. Pesquisas para detecção de indícios de depressão em redes sociais no idioma português brasileiro ainda são escassas, tendo em vista que a maioria dos trabalhos na literatura se concentra em soluções para o idioma inglês. Neste panorama, esta dissertação de mestrado propõe uma abordagem para classificar postagens de redes sociais no idioma português brasileiro com tendências depressivas. A abordagem apoia-se na construção de um modelo de linguagem pré-treinado denominado DepreBERTBR, baseado no modelo de linguagem BERT, focado no domínio da depressão para o idioma português brasileiro. Com o conhecimento adquirido durante o pré-treinamento, a partir de um corpus construído com postagens extraídas de subcomunidades do Reddit ligadas a transtornos mentais, o DepreBERTBR foi ajustado para a tarefa de classificação de textos considerando três graus de depressão: ausente, moderado ou grave. Como resultado, o DepreBERTBBR alcançou um valor médio de 0,87 para F1-score, considerando uma validação cruzada com 10 dobras, demonstrando que o modelo desenvolvido foi eficaz em classificar, de acordo com o grau de depressão, textos de postagens do Reddit com teor depressivo no idioma português do Brasil, em comparação a outros modelos de linguagem no idioma português do Brasil, mostrando-se ser bastante competitivo para tarefas de classificação e, em especial, para detectar indícios de depressão.