Os LLMs compreendem expressões idiomáticas? Evidências para uma teoria da Competência Fraseológica Artificial Simulada

Resumo

Esta pesquisa examina, por meio de experimento quase controlado, a performance do modelo de linguagem de grande escala Claude Haiku 4.5 no processamento de expressões idiomáticas do português brasileiro. Fundamentado na articulação entre Fraseologia e Linguística Cognitiva, o estudo propõe o conceito de competência fraseológica artificial simulada, definida como o desempenho funcional baseado em regularidades estatístico-distribucionais, que não passaram pela experiência da corporalidade, vivência sociocultural e inferência pragmática como ocorre com os humanos. O corpus experimental, constituído por 140 unidades fraseológicas (expressões idiomáticas opacas, somáticas, culturais e contraprovas experimentais), foi submetido a três condições de prompting — zero-shot, few-shot contextualizado e Chain-of-Thought com role-playing — avaliando-se quatro dimensões: detecção de idiomaticidade, precisão semântica, adequação pragmática e sensibilidade cultural. Os dados obtidos demonstram elevada acurácia semântica das unidades convencionalizadas, mas desempenhos assimétricos nas dimensões pragmática e cultural, além de uma relevante alucinação figurativa diante de expressões idiomáticas inexistentes. A condição Chain-of-Thought demonstrou avanços qualitativos consistentes, reduzindo falsos positivos. Os resultados reforçam a hipótese de que o LLM analisado não dispõe de mecanismos equivalentes à competência fraseológica humana, embora haja evidências de que estratégias de engenharia de prompt possam mitigar parcialmente tais limitações arquiteturais.