A lei de Goodhart reúne quatro falhas, e um time de ML pode orçar cada uma delas

Em março de 2025, alguns autores do artigo The Leaderboard Illusion, que já haviam submetido modelos da Cohere ao Chatbot Arena, inscreveram dois checkpoints idênticos do Aya-Vision-8B no ranking de preferência humana mantido pela LMArena. Não avisaram os organizadores de que os dois eram o mesmo modelo. A Arena deu 1052 a um e 1069 ao outro, cada nota com um intervalo de uns 20 pontos para cima e para baixo, e quatro outros modelos ficaram entre eles. Um laboratório que submetesse os dois em privado e publicasse apenas a nota maior anunciaria um ganho que não existe. Singh e coautores relatam o experimento no artigo de 2025, e ele mostra, em escala pequena, uma das várias coisas que as pessoas querem dizer quando invocam a lei de Goodhart.

A lei tem duas formulações famosas. A observação de Charles Goodhart, de 1975, sobre a política monetária britânica, tal como Manheim e Garrabrant a citam, dizia que regularidades estatísticas tendem a ruir quando se passa a depender delas para exercer controle. O ensaio de Marilyn Strathern, de 1997, sobre auditoria nas universidades britânicas deu a versão que todo mundo repete: "When a measure becomes a target, it ceases to be a good measure", ou, em tradução minha, quando uma medida vira meta, ela deixa de ser uma boa medida. Strathern atribuiu o rótulo a um educador chamado Hoskin e o ilustrou com as classificações de diploma: quanto mais o resultado 2.1 no exame se transforma em expectativa, pior ele funciona como forma de distinguir estudantes.

Cada formulação comprime vários mecanismos numa única frase, e cada mecanismo pede uma defesa diferente. Meu argumento é que um time de ML consegue definir de antemão um orçamento para cada um: quantos candidatos um holdout pode julgar, até onde se pode empurrar um proxy aprendido, qual segunda métrica vigia a primeira e quem tem permissão para mexer na avaliação. A maioria dos times não define nenhum. O hábito que eles de fato praticam, o de não reutilizar o conjunto de teste, protege contra a falha que a melhor evidência que encontrei classifica como branda, e acho que a falta desses orçamentos pesa mais do que o ritual. A evidência que joga contra mim ganha uma seção própria.

Uma frase só cobre quatro falhas diferentes

O artigo de David Manheim e Scott Garrabrant, de 2018, "Categorizing Variants of Goodhart's Law", parte de um objetivo G com o qual o time se importa e de um proxy M que ele consegue medir. Um efeito Goodhart é qualquer caso em que otimizar M destrói a relação estatística entre M e G. Os autores separam quatro maneiras de isso acontecer.

A variante regressional existe porque um proxy é o objetivo mais algum erro. Quem seleciona um valor alto de M seleciona também um valor alto do erro, e por isso a qualidade verdadeira do vencedor fica abaixo da nota. Os autores a consideram a variante mais fundamental, já que toda métrica imperfeita a produz. A variante extremal aparece quando a otimização leva o sistema a uma região em que a relação antiga entre M e G nunca foi observada, o que em aprendizado de máquina é o conhecido problema de predição fora da amostra. Na variante causal, o time age sobre a métrica, ou sobre algo entre a métrica e o objetivo, e o caminho causal que tornava a métrica informativa se rompe. A variante adversarial exige um segundo agente, com objetivos diferentes, que otimiza contra a métrica que o time usa. A lei de Campbell, segundo a qual indicadores sociais usados em decisões convidam à corrupção, cabe nesse grupo, assim como o efeito cobra: diz-se que uma recompensa por cobras mortas levou pessoas a criá-las.

Variante	O que quebra	Caso típico em ML	Primeira defesa
Regressional	Selecionar a maior nota seleciona também o ruído	O melhor entre muitos candidatos num único holdout	Contar os candidatos e confirmar o vencedor em dados novos
Extremal	O proxy é tomado como confiável fora da faixa em que foi verificado	Otimização pesada contra uma recompensa ou um juiz aprendido	Limitar a otimização e auditar o proxy com um juiz mais forte
Causal	Agir sobre a métrica corta seu elo com o objetivo	Uma métrica de produto que sobe quando a experiência piora	Métricas de guarda que a mudança não deveria mover
Adversarial	Alguém com interesse molda o que é avaliado	Variantes privadas, versões ajustadas, recompensas atreladas à nota	Separar quem otimiza de quem avalia

As variantes se sobrepõem em sistemas reais, e o próprio artigo diz isso. Incluí a tabela porque a primeira defesa muda de linha para linha, e um time que responde a toda preocupação com Goodhart dizendo "vamos separar mais dados" cobriu uma das quatro linhas.

Escolher o melhor entre muitos candidatos infla o vencedor numa quantidade calculável

O caso regressional é o único em que dá para pôr números antes de começar. Singh e coautores simularam um provedor que testa uma família de variantes cuja nota média latente na Arena é 1200 e publica a melhor. O máximo esperado cresce com o número de variantes, porque o máximo de várias estimativas ruidosas fica acima da média que elas compartilham. O experimento dos checkpoints idênticos, descrito acima, confirma a direção com votos reais. Eles também relatam que a Meta testou 27 variantes privadas num único mês, antes do lançamento do Llama 4. O artigo não afirma saber quanto a nota publicada pela Meta está acima da verdade.

A aritmética cabe num quadro branco. Este exemplo é inventado. Suponha que um time avalie candidatos num holdout de 1.000 itens e que todos tenham, na verdade, 80% de acurácia. O erro-padrão de uma acurácia medida é a raiz quadrada de 0,8 vezes 0,2 dividido por 1.000, cerca de 1,26 ponto. Para N erros independentes, o máximo esperado fica em torno de 0,56 erro-padrão com N = 2, 1,54 com N = 10, 1,87 com N = 20 e 2,25 com N = 50 (valores calculados por simulação). O vencedor de dez candidatos idênticos parece, portanto, cerca de 1,9 ponto melhor do que é, e o de vinte, cerca de 2,4 pontos. Candidatos reais compartilham a maior parte dos erros porque veem os mesmos itens, então a inflação entre modelos parecidos é menor do que essa, e candidatos reais diferem em qualidade verdadeira, de modo que parte da vantagem do vencedor é merecida. O que importa é a ordem de grandeza. Um ganho de 2 pontos num holdout de 1.000 itens está bem dentro do que a seleção sozinha produz depois que dez ou vinte candidatos foram testados.

Leo Gao, John Schulman e Jacob Hilton derivaram um resultado aparentado para modelos de recompensa. Quando o proxy é igual à recompensa de referência mais um ruído independente, e ambos seguem distribuição normal, o esforço de otimização se divide entre a recompensa real e o ruído na proporção de suas variâncias. Um proxy mais ruidoso gasta mais de cada passo com o ruído.

A defesa decorre do mecanismo. Mantenha a contagem de quantos candidatos cada holdout já julgou e trate essa contagem como o recurso que está sendo gasto. Antes de uma decisão que importe, reavalie o vencedor num conjunto de confirmação que não participou da seleção: a nota ali é uma estimativa sem viés, porque o ruído que o favoreceu no primeiro conjunto não tem motivo para se repetir. Publique o número de candidatos testados ao lado da nota, para que o leitor refaça a conta do quadro branco sem precisar perguntar.

Empurrar um proxy aprendido mais longe tem um ponto de virada mensurável

As falhas extremais aparecem onde a própria métrica é um modelo. O artigo de Gao, Schulman e Hilton, de 2022, "Scaling Laws for Reward Model Overoptimization", montou uma versão controlada do problema. Um modelo de recompensa fixo, de 6 bilhões de parâmetros, fez o papel do julgamento humano e rotulou 100.000 comparações sintéticas, com as quais se treinaram modelos de recompensa proxy de 3 milhões a 3 bilhões de parâmetros. Depois os autores otimizaram uma política de 1,2 bilhão de parâmetros contra cada proxy, por amostragem best-of-n e por aprendizado por reforço, e acompanharam a nota de referência.

A nota de referência primeiro subiu e depois caiu, enquanto a nota do proxy continuava a crescer. O formato da curva dependeu do otimizador, com formas funcionais ajustadas diferentes para best-of-n e para aprendizado por reforço, e os coeficientes variaram de maneira suave com o tamanho do proxy. Uma política maior ganhou menos com a otimização, mas não sobreotimizou mais rápido: a distância entre proxy e referência ficou quase igual nos dois tamanhos de política testados. Uma penalidade de KL elevou a nota de proxy alcançável a uma dada distância sem melhorar a nota de referência nessa distância, embora os autores avisem que o resultado pode ser sensível a hiperparâmetros. Eles atribuem a queda principalmente ao Goodhart extremal, isto é, ao proxy ser consultado sobre saídas muito distantes de tudo o que viu no treino.

Para quem gerencia, o achado útil é que o ponto de virada pode ser medido e, dentro desse arranjo, previsto. Um time que otimiza contra uma nota aprendida, seja um modelo de recompensa, um LLM como juiz ou um preditor de cliques, pode reservar uma checagem mais forte ou independente, por exemplo uma amostra revisada por pessoas, e acompanhá-la ao lado do proxy. A regra de parada é o ponto em que a checagem independente deixa de seguir o proxy.

Há limites. A referência, ali, era ela mesma um modelo, os autores dizem que o arranjo sintético pode não se transferir para situações do mundo real, e todos os experimentos usaram um único ambiente, o do InstructGPT. Esse artigo mede modelos de recompensa, de modo que aplicar a curva a um prompt ajustado contra um modelo juiz é palpite meu.

O artigo Leaderboard Illusion traz uma medição em escala de laboratório de um efeito parecido. Seus autores fizeram o fine-tuning de um modelo-base de 7 bilhões de parâmetros com 0%, 30% e 70% da mistura de treino tirada de dados no estilo da Arena. A taxa de vitórias contra o Llama-3.1-8B-Instruct no ArenaHard subiu de 23,5% para 42,7% e para 49,9%, um ganho relativo de 112%, enquanto a acurácia no MMLU foi de 66,5% para 64,4% e para 65,9%, uma leve queda. O GPT-4o pontuou as taxas de vitória como juiz, então o experimento simula a preferência humana em vez de medi-la. Ainda assim, uma nota subiu na distribuição que a define enquanto uma nota vizinha escorregou de um a dois pontos.

Uma métrica que sobe enquanto a meta cai precisa de uma segunda métrica vigiando

As falhas causais nascem de agir sobre a própria métrica. Ron Kohavi e colegas da Microsoft relataram uma em 2012. Um bug num experimento do Bing mostrou aos usuários resultados de busca muito ruins, e duas métricas organizacionais importantes melhoraram: as consultas distintas por usuário subiram mais de 10% e a receita por usuário mais de 30%. Os autores explicaram que resultados degradados obrigam as pessoas a buscar de novo e a clicar em anúncios, um ganho de curto prazo que eles comparam a subir os preços numa loja, e observaram que, se as métricas de curto prazo acompanhassem as metas de longo prazo, a empresa pioraria a qualidade de propósito. O remédio que propuseram foi um critério de avaliação melhor. Desaconselharam usar as consultas distintas sozinhas e trataram as sessões por usuário como a grandeza-chave, porque usuários satisfeitos voltam. Disseram também que as consultas distintas por tarefa deveriam ser minimizadas, desde que a tarefa seja concluída, com as consultas distintas por sessão como medida substituta.

Essa última condição é o desenho de uma métrica de guarda: a grandeza que se otimiza, emparelhada com uma exigência que ela não pode violar. O texto da DeepMind de 2020 sobre specification gaming dá um segundo exemplo. Um barco no jogo Coast Runners recebeu uma recompensa intermediária por acertar blocos verdes ao longo do percurso e aprendeu a andar em círculos acertando sempre os mesmos blocos, em vez de completar a pista. Imagino que uma checagem da taxa de conclusão em cada política avaliada teria acusado o barco. O texto diz que seus autores haviam reunido uns 60 exemplos assim, a partir de listas existentes e de contribuições da comunidade de IA, e afirma que o problema está longe de resolvido.

As métricas de guarda têm uma fraqueza que decorre da própria lei: uma guarda que vira alvo também se degrada. Duas práticas ajudam. Mantenha as guardas fora das metas individuais, para que ninguém seja premiado por movê-las, e inclua pelo menos uma guarda custosa de burlar, como a revisão humana periódica de uma amostra aleatória.

A nota do Llama 4 na Arena mostra o que acontece quando quem constrói também escolhe o artefato avaliado

A variante adversarial pode surgir sem má intenção alguma. Basta um ator que controle parte da medição e se beneficie de uma nota alta. Em abril de 2025, o anúncio do Llama 4 pela Meta citou uma nota de 1417 na Arena para uma "experimental chat version" do Maverick. A LMArena respondeu em 8 de abril que a interpretação da Meta sobre a política da plataforma não correspondia ao que ela espera dos provedores e que a Meta deveria ter dito com clareza que o modelo submetido era customizado para otimizar a preferência humana. A LMArena publicou mais de 2.000 resultados de confrontos diretos para revisão, disse que estava incluindo na Arena o Maverick lançado publicamente e que estava atualizando suas políticas de ranking. Em janeiro de 2026, segundo um resumo do Slashdot de uma entrevista ao Financial Times que não li diretamente, Yann LeCun teria dito que os resultados de benchmark do Llama 4 foram "fudged a little bit" pelo uso de versões diferentes do modelo em testes diferentes. Não tomo posição sobre intenção. A parte cuja reputação depende da nota também escolheu qual artefato a produziu.

As plataformas de competição enfrentam isso há anos, e suas respostas são estruturais. O Kaggle divide o conjunto de teste em uma parte pública, que alimenta o ranking, e uma parte privada, usada uma única vez na classificação final. O algoritmo Ladder, de Avrim Blum e Moritz Hardt, de 2015, vai além: só divulga uma nota nova quando a submissão é uma melhora estatisticamente significativa sobre o melhor resultado anterior do participante, de modo que os concorrentes não conseguem ler pequenas flutuações na nota e se ajustar a elas. Para a Arena, Singh e coautores recomendam que as notas sejam publicadas em caráter permanente, sem retratação, e que o número de modelos privados por provedor seja limitado.

Um time interno pode copiar a estrutura. Um grupo, os avaliadores, é dono do holdout, das definições de métrica e da execução final. O grupo que constrói o modelo recebe um sinal grosseiro e com limite de frequência, no estilo do Ladder. O artefato avaliado é o artefato que vai para produção, e uma execução não é apagada depois de vista. Eu evitaria também atrelar recompensas individuais a uma única métrica de modelo, porque isso cria o incentivo que a história das cobras descreve. Meu julgamento é que o preço de um avaliador separado é pequeno perto do preço de ir para produção com base num número que foi selecionado, embora eu não tenha medição de nenhum dos dois.

Reusar um conjunto de teste foi, na maior parte, inofensivo, e isso limita o ritual que ele merece

A objeção mais forte a tudo isso é empírica. Se o sobreajuste adaptativo é raro, a engrenagem descrita acima é exagerada. Em 2019, Benjamin Recht e colegas construíram novos conjuntos de teste para o CIFAR-10 e o ImageNet seguindo os procedimentos de coleta originais, depois de quase uma década de uso intenso dos conjuntos antigos. A acurácia caiu de 3% a 15% no CIFAR-10 e de 11% a 14% no ImageNet. Mesmo assim, o ranking dos modelos quase não mudou, e cada ponto ganho no conjunto antigo valeu mais de um ponto no novo, com inclinações ajustadas de 1,7 e 1,1. Se os modelos tivessem sido ajustados ao conjunto antigo, os modelos mais recentes deveriam ter mostrado retornos decrescentes, e não mostraram. Os autores atribuíram a queda a uma diferença de distribuição, já que as imagens novas eram um pouco mais difíceis, e não encontraram sinal de adaptatividade.

No mesmo ano, Rebecca Roelofs e colegas compararam rankings públicos e privados em 120 competições de classificação do Kaggle com pelo menos 1.000 submissões. Encontraram pouco ou nenhum sinal de sobreajuste adaptativo. Entre as melhores submissões, os efeitos ficavam, em geral, abaixo de 1% de acurácia. Os casos fora da curva costumavam ter algum defeito, ou uma divisão que não fora sorteada de forma independente ou um conjunto de teste muito pequeno. A conclusão deles foi que a mudança de distribuição parece um problema mais urgente do que a reutilização do conjunto de teste, e que limites à reutilização talvez não comprem a confiabilidade que se supõe. A comparação com o GSM1k que discuto no ensaio sobre conjuntos de avaliação é outro caminho para um sintoma parecido, já que trata de contaminação dos dados de treino e não de olhadas repetidas num conjunto de teste: algumas famílias de modelos perderam até 8% em problemas novos, e os modelos de fronteira testados por Zhang e coautores mostraram pouco sinal disso.

Aceito a evidência, e ela muda o que eu construiria. Nesses estudos, o fluxo de trabalho comum de um time, com ajuste de hiperparâmetros e escolhas de arquitetura sobre um benchmark compartilhado, não corroeu os benchmarks medidos, pelo menos não em quantidade suficiente para inverter um ranking. Recht e colegas oferecem duas razões possíveis, as restrições sobre a frequência com que os resultados são revelados, como no Ladder, e a faixa estreita de modelos que o treino padrão produz, e dizem que seus dados não permitem escolher entre elas. Dizem também que os resultados não excluem uma queda constante compartilhada por todos os modelos. Uma leitura é que o resultado benigno deve algo ao primeiro mecanismo, a interação limitada com o conjunto de teste, o que faria de um limite de consultas parte da lição e não um ritual a abandonar.

Três pontos sobrevivem à objeção. Os casos fora da curva nos dados de Roelofs tinham conjuntos de teste pequenos, que é o termo de ruído da fórmula regressional, então holdouts pequenos continuam sendo um risco. A mudança de distribuição, que os dois artigos apontam como o problema principal, precisa ser monitorada em produção, porque a disciplina com o conjunto de teste em nada a previne. E nenhum dos estudos cobre as outras três linhas da tabela: um proxy aprendido empurrado com força, uma métrica que se move sem mover o objetivo, ou um ator com interesse. A evidência sustenta menos cerimônia em torno de manter o conjunto de teste limpo e mais esforço em contar candidatos, limitar proxies, emparelhar métricas e separar papéis.

Seis práticas põem um orçamento em cada variante

Elas decorrem da evidência acima, e nenhuma exige ferramenta além de uma planilha e um calendário.

1. Quando uma métrica passa a ser critério de seleção ou de recompensa, escreva qual variante você espera que a prejudique e dê um dono à métrica.
2. Defina um orçamento de consultas por holdout. Conte cada candidato avaliado contra ele, aposente o holdout quando a contagem passar do orçamento e reavalie qualquer vencedor num conjunto de confirmação antes de uma decisão que importe.
3. Emparelhe cada métrica otimizada com guardas que ninguém seja premiado por mover, no formato do critério do Bing: minimize isto, desde que aquilo seja cumprido.
4. Limite a otimização contra qualquer proxy aprendido e acompanhe uma checagem independente, como uma amostra revisada por pessoas, até saber onde os dois divergem.
5. Registre a nota offline e o resultado em produção de cada release e vigie a diferença. As Rules of Machine Learning do Google, na Regra 37, dividem essa diferença em três partes: treino contra holdout, holdout contra os dados do dia seguinte, e dados do dia seguinte contra o tráfego real. Uma queda grande do holdout para o dia seguinte é tratada como sinal de atributos sensíveis ao tempo.
6. Separe o grupo que otimiza do grupo que avalia, publique o protocolo, avalie o artefato que vai para produção e não retire execuções.

Das seis, a última é a menos testada. Gao e coautores dizem que seus modelos não eram capazes o bastante para manipular um proxy e que suas leis de escala podem falhar quando forem. Para um sistema que consegue agir sobre o próprio código de avaliação, eu esperaria que a linha adversarial importasse, e não encontrei medição disso. Um primeiro passo que custa uma tarde é escolher a métrica que o seu time mais otimiza, contar quantos candidatos já foram avaliados no holdout dela e calcular qual seria a vantagem do vencedor se todos eles fossem idênticos.

Fontes

1. Manheim, D., Garrabrant, S. (2018, revisado em 2019). Categorizing Variants of Goodhart's Law. arXiv:1803.04585. Fonte das quatro variantes, do efeito cobra e das formas citadas de Goodhart (1975) e Campbell (1979).
2. Strathern, M. (1997). "Improving ratings": audit in the British University system. European Review 5(3), 305-321.
3. Gao, L., Schulman, J., Hilton, J. (preprint de 2022; ICML 2023, PMLR 202). Scaling Laws for Reward Model Overoptimization. arXiv:2210.10760.
4. Singh, S., Nan, Y., Wang, A., et al. (2025). The Leaderboard Illusion. arXiv:2504.20879.
5. Recht, B., Roelofs, R., Schmidt, L., Shankar, V. (2019). Do ImageNet Classifiers Generalize to ImageNet? ICML 2019. arXiv:1902.10811.
6. Roelofs, R., Fridovich-Keil, S., Miller, J., Shankar, V., Hardt, M., Recht, B., Schmidt, L. (2019). A Meta-Analysis of Overfitting in Machine Learning. NeurIPS 2019.
7. Kohavi, R., Deng, A., Frasca, B., Longbotham, R., Walker, T., Xu, Y. (2012). Trustworthy Online Controlled Experiments: Five Puzzling Outcomes Explained. KDD 2012.
8. Blum, A., Hardt, M. (2015). The Ladder: A Reliable Leaderboard for Machine Learning Competitions. ICML 2015. arXiv:1502.04585.
9. Krakovna, V., Uesato, J., Mikulik, V., Rahtz, M., Everitt, T., Kumar, R., Kenton, Z., Leike, J., Legg, S. (2020). Specification gaming: the flip side of AI ingenuity. Blog da DeepMind, 21 de abril de 2020.
10. Meta (abril de 2025). The Llama 4 herd: The beginning of a new era of natively multimodal AI innovation, ai.meta.com/blog/llama-4-multimodal-intelligence (fonte da nota 1417). LMArena (8 de abril de 2025). Statement on Llama-4-Maverick-03-26-Experimental, conforme reproduzido por Simon Willison, simonwillison.net/2025/Apr/8/lmaren; resumo do Slashdot (2 de janeiro de 2026) da entrevista de Yann LeCun ao Financial Times, tech.slashdot.org/story/26/01/02/1449227. A declaração da LMArena e as falas de LeCun são de segunda mão; não li o texto original nem a entrevista.
11. Zinkevich, M. Rules of Machine Learning: Best Practices for ML Engineering, Regra 37. Google for Developers (página atualizada em 25 de agosto de 2025).
12. Zhang, H., et al. (2024). A Careful Examination of Large Language Model Performance on Grade School Arithmetic. arXiv:2405.00332.
13. Aritmética ilustrativa de seleção (números inventados): holdout de 1.000 itens, 80% de acurácia verdadeira para todos os candidatos, erros independentes com distribuição normal, máximos esperados calculados por simulação para N = 2, 10, 20 e 50, conforme declarado no texto.