Grokking e Transições de Fase: Uma abordagem pedagógica da Física Estatística do Aprendizado de Máquina

Resumen

O fenômeno de grokking em redes neurais artificiais descreve a situação contra-intuitiva em que um modelo, após sofrer sobreajuste (overfitting) completo aos dados de treino por um longo período, repentinamente atinge generalização perfeita em dados inéditos de teste. Neste trabalho, apresentamos uma revisão pedagógica deste fenômeno sob a perspectiva da Física Estatística, direcionada ao ensino de graduação em física e áreas correlatas. Demonstramos como o processo de aprendizado pode ser mapeado como uma transição de fase dinâmica de primeira ordem, onde a acurácia de validação desempenha o papel de parâmetro de ordem, o decaimento de pesos (weight decay) atua como um potencial harmônico restritivo, e a inicialização aleatória dos pesos combinada com a dinâmica caótica/estocástica intrínseca do próprio otimizador sob taxas de aprendizado finitas emulam uma temperatura efetiva cuja inversão favorece estados ordenados de baixa energia. Para tornar os conceitos concretos, fornecemos códigos reprodutíveis em Python para o treinamento e análise de redes Perceptron Multicamadas (MLP) e Transformers aplicados a três experimentos distintos: aritmética modular, o problema da paridade esparsa e a conservação de energia modular. Mostramos que a generalização emerge da descoberta de simetrias ocultas no conjunto de dados, manifestada pelo alinhamento periódico dos pesos na forma de representações trigonométricas circulares (analisadas via Transformada de Fourier) e pela organização espacial concêntrica de estados degenerados de energia no espaço de embeddings.