Explorando combinações de técnicas de Prompt Engineering: um caso de uso na geração e explicação de código

Abstract

O uso de Modelos de Linguagem de Grande Escala (LLMs) na geração e explicação de código tem ampliado a relevância da Engenharia de Prompts (PE) como alternativa para aprimorar resultados em problemas de programação sem a necessidade de retreinamento dos modelos. Neste cenário, entretanto, ainda existem lacunas na compreensão dos efeitos das combinações de técnicas de PE sobre o comportamento dos LLMs, especialmente quando consideradas diferentes arquiteturas de modelos e estratégias de avaliação automatizadas. Este trabalho investiga, por meio de uma abordagem experimental controlada e operacionalizada por um framework reprodutível e escalável, o impacto dessas combinações na geração e explicação de código em Python. A pesquisa é organizada em três experimentos, nos quais são analisados treze cenários distintos, combinando seis técnicas de PE aplicadas a seis modelos de linguagem. A avaliação é conduzida com base na métrica BERTScore, na tarefa de geração de código, e em julgamentos automatizados por meio do paradigma LLM-as-a-Judge, guiado por critérios estruturados voltados à análise conjunta de geração e explicação de código. Os resultados indicam que as combinações de técnicas de PE influenciam significativamente a qualidade das respostas, em termos de similaridade semântica, coerência entre código e explicação, e custo computacional. Combinações que incorporam mecanismos de verificação tendem a aumentar a consistência entre código e explicação, enquanto configurações excessivamente complexas ou sem estratégias de refinamento podem comprometer a clareza das respostas. Este trabalho fornece evidências empíricas sobre o impacto dessas combinações e um framework experimental reutilizável, além de diretrizes práticas para sua aplicação em diferentes LLMs.