Uma pontuação de confiança só serve se significar o que diz

Um credor aprova empréstimos quando a probabilidade de inadimplência estimada pelo modelo está abaixo de um limiar. Suponha que um bom empréstimo renda US$ 200 e uma inadimplência custe US$ 2.000. A probabilidade de equilíbrio é 200 dividido por 2.200, cerca de 9,1%. Vale a pena conceder o empréstimo se a chance real de inadimplência estiver abaixo desse valor, e não vale se estiver acima. O modelo do credor é excelente em ordenar, com AUC perto de 0,85, e para um grupo particular de solicitantes informa 6% de chance de inadimplência. O modelo erra no nível. A taxa real do grupo é 12%.

Na crença do modelo, cada empréstimo ao grupo tem valor esperado de 0,94 × 200 − 0,06 × 2.000, que é +US$ 68. Na taxa real, é 0,88 × 200 − 0,12 × 2.000, que é −US$ 64. O credor vai aprovar esses empréstimos, porque o número manda, e em 10.000 deles perderá US$ 640.000 acreditando ter ganho US$ 680.000. Nada estava errado com a capacidade do modelo de distinguir os melhores solicitantes dos piores. O dano veio do relato do modelo sobre o quanto estava seguro.

Qualidade do ranking e calibração são propriedades separadas, e a maioria dos relatórios de avaliação mede só a primeira. A AUC é cega à calibração: estique todas as pontuações por uma transformação monotônica e o ranking, e portanto a AUC, não muda, enquanto todas as probabilidades ficam erradas. Para qualquer decisão que use o próprio número, num limiar, num valor esperado, num preço ou numa regra de passagem a um humano, a calibração é a propriedade que determina se a decisão é sólida. Este ensaio explica o que ela é, por que os modelos modernos tendem a não tê-la, o que acontece com os modelos de linguagem e o que fazer.

O que é calibração e como se mede

Um modelo é calibrado se, entre todos os casos em que diz 70%, cerca de 70% se mostram positivos. A ideia é operacional. Se o serviço de meteorologia diz que há 30% de chance de chuva em muitos dias, deve chover em cerca de 30% deles. Um diagrama de confiabilidade verifica isso ordenando as previsões em faixas por probabilidade prevista e desenhando, para cada faixa, a frequência observada do desfecho. Um modelo calibrado produz pontos ao longo da diagonal. Um resumo comum é o erro de calibração esperado, a diferença média entre a confiança prevista e a acurácia observada nas faixas, ponderada pelo número de previsões em cada uma.

O escore de Brier, introduzido por Glenn Brier em 1950 para previsões do tempo, é a diferença quadrática média entre a probabilidade prevista e o desfecho. Pertence a uma família chamada de regras de pontuação próprias, que têm a propriedade de que quem faz a previsão minimiza o escore esperado ao relatar suas crenças honestas. A perda logarítmica é outra. A acurácia não é uma regra de pontuação própria, e também é cega às probabilidades. Um modelo que diz 51% e um que diz 99% ganham a mesma acurácia quando os dois acertam, e recompensas muito diferentes de uma regra própria quando um erra.

Por que os modelos modernos erram? Chuan Guo, Geoff Pleiss, Yu Sun e Kilian Weinberger estudaram a questão em 2017 e relataram que as redes neurais modernas, ao contrário das de uma década antes, são mal calibradas, com profundidade, largura, decaimento de pesos e normalização em lote influenciando o resultado. A falha típica é o excesso de confiança: a rede atribui 95% a previsões que estão certas em 85% das vezes. A causa é em parte mecânica. Treinar com entropia cruzada continua recompensando margens maiores nos exemplos de treino, o que empurra a confiança para cima mesmo depois de o modelo parar de melhorar nos dados reservados. O mesmo artigo mostrou que uma correção de um único parâmetro, o escalonamento de temperatura, que divide os logits do modelo por uma constante ajustada num conjunto de validação, resolve a maior parte do problema nos conjuntos de dados que testaram.

Onde importa e onde não importa

A calibração importa sempre que a saída alimenta uma aritmética que a trata como probabilidade. Precificar risco é o caso mais claro: o prêmio de uma seguradora para uma apólice depende da probabilidade de sinistro estimada. Decisões de valor esperado, como o empréstimo acima, dependem dela. Também dependem os limiares sensíveis a custo, em que o corte é definido pela razão entre os custos dos erros. Modelos cujas saídas são combinadas também precisam dela, já que multiplicar ou tirar a média de probabilidades de modelos separados pressupõe que cada uma signifique o que diz. E a calibração decide se um humano consegue usar o número: um clínico ou subscritor que aprendeu que "90%" do sistema acerta cerca de nove vezes em dez o usará de modo diferente de um que aprendeu que acerta seis em dez.

Importa menos onde só a ordem conta. Um recomendador que mostra os dez primeiros itens precisa de um bom ranking e não se importa se as pontuações são probabilidades. Um sistema de recuperação que passa os vinte melhores trechos a um modelo de linguagem se importa com a ordem e pouco mais. Na dúvida, o teste é saber se algum passo posterior usa a magnitude da pontuação. Se usa, ela deve ser calibrada, e a calibração deve ser medida e não presumida.

O que acontece com os modelos de linguagem

Os modelos de linguagem complicam o quadro. Saurav Kadavath e colegas da Anthropic relataram em 2022, num artigo intitulado "Language Models (Mostly) Know What They Know", que modelos maiores são bem calibrados em perguntas diversas de múltipla escolha e de verdadeiro ou falso quando as perguntas são apresentadas num formato adequado. Mostraram também que se pode pedir a um modelo que estime a probabilidade de que a própria resposta proposta esteja correta, o que chamaram de P(True), e que preveja se sabe a resposta antes de tentar, P(IK), com resultados encorajadores e com calibração mais fraca em tarefas diferentes das do treino.

O relatório técnico do GPT-4, da OpenAI, acrescentou uma cautela. Afirma que o modelo pré-treinado é altamente calibrado num benchmark de múltipla escolha, isto é, sua confiança declarada acompanha a frequência com que ele acerta, e que o processo de pós-treinamento reduz a calibração. A legenda da figura correspondente diz que o pós-treinamento prejudica a calibração de forma significativa. A etapa que torna um modelo agradável e prestativo parece tornar sua confiança menos honesta.

Uma razão para isso foi exposta em 2025 por Adam Kalai, Ofir Nachum, Santosh Vempala e Edwin Zhang em "Why Language Models Hallucinate". Eles argumentam que os erros se originam no pré-treinamento como pressões estatísticas naturais, e que o treino e a avaliação então recompensam o palpite em vez do reconhecimento da incerteza. A maioria dos benchmarks pontua uma resposta errada e um "não sei" do mesmo modo, o que faz do palpite a melhor estratégia, e os modelos otimizados contra essas notas se tornam bons em fazer prova. O remédio que propõem é mudar a forma como os benchmarks existentes são pontuados, de modo que erros confiantes sejam penalizados e abstenções não.

Para uma empresa que usa esses modelos, as consequências práticas são diretas. Não leia as probabilidades dos tokens nem o "tenho 90% de certeza" verbalizado por um modelo de chat como probabilidades até testá-los na sua própria tarefa. Reúna algumas centenas de casos com respostas conhecidas, registre a confiança que o modelo dá e desenhe o diagrama de confiabilidade. Onde a confiança é mal calibrada, um mapeamento ajustado nesses casos pode repará-la, e a concordância entre várias amostras da mesma pergunta costuma ser um sinal mais honesto do que a declaração do próprio modelo.

Consertando

Existem duas famílias de remédio, e elas fazem trabalhos diferentes.

A recalibração toma o modelo como está e aprende um mapeamento das suas pontuações para probabilidades, usando dados reservados da mesma distribuição que o modelo vai enfrentar. O escalonamento de temperatura, o escalonamento de Platt e a regressão isotônica são as ferramentas padrão, em ordem crescente de flexibilidade e de necessidade de dados. São baratas e não mudam o ranking. A mecânica do escalonamento de temperatura cabe em duas linhas. Um classificador binário produz um logit, e a probabilidade é a função logística dele. Um logit de 3,0 dá 95,3%. Divida o logit por uma temperatura ajustada de 1,5 e ele vira 2,0, o que dá 88,1%. A ordem dos casos não muda, porque a transformação é monotônica, e a confiança declarada desce até o que os dados de validação justificam.

Um erro comum fica a montante de tudo isso. Equipes que lidam com eventos raros costumam sobreamostrar os positivos ou reponderar as classes para que o modelo veja um conjunto de treino balanceado. O modelo então aprende probabilidades para um mundo em que metade dos casos é positiva. Se a taxa real é de 1%, uma saída de 50% significa cerca de 1% em produção, já que as chances precisam ser multiplicadas pela razão entre as chances a priori reais, 0,01 para 0,99, e as chances a priori do treino, 1 para 1. Um pipeline que reamostra e não corrige depois relata probabilidades erradas por uma ordem de grandeza, e tudo o que é construído sobre elas herda o erro.

Uma limitação vale para todos os métodos aqui. O conjunto de calibração precisa se parecer com a produção, e um mapeamento ajustado aos dados do ano passado pode falhar nos deste ano, motivo pelo qual a calibração deve ficar no painel de monitoramento ao lado da deriva.

A predição conforme (conformal prediction) toma outro caminho e dá uma garantia no lugar de uma probabilidade. Na introdução de Anastasios Angelopoulos e Stephen Bates, ela constrói conjuntos ou intervalos que contêm o desfecho verdadeiro com uma probabilidade especificada pelo usuário, digamos 90%, e a garantia é explícita, não assintótica e livre de distribuição, valendo sem pressupostos sobre o modelo ou sobre a distribuição. Pode envolver qualquer modelo treinado, inclusive uma rede neural. Na regressão, a saída é um intervalo em torno da previsão cuja largura reflete a incerteza real do modelo. Na classificação, é um conjunto de rótulos plausíveis, muitas vezes um e às vezes vários, e um conjunto grande é um sinal direto de que o modelo não sabe. A garantia repousa numa condição chamada permutabilidade, grosso modo que os dados de calibração e os casos novos venham do mesmo processo, de modo que ela se enfraquece quando o mundo deriva.

A calibração também tem um lado de governança. Os pesquisadores Jon Kleinberg, Sendhil Mullainathan e Manish Raghavan mostraram em 2016 que, quando as taxas-base de um desfecho diferem entre grupos, um escore de risco em geral não pode ser calibrado dentro de cada grupo e ao mesmo tempo ter taxas de erro iguais entre grupos, exceto em casos degenerados. O resultado impõe uma escolha que nenhuma técnica remove. Um credor ou um tribunal que decide qual propriedade priorizar está tomando uma decisão de política, e as pessoas responsáveis pelo sistema devem tomá-la conscientemente, com os números na mesa. Relatar a calibração por grupo é o primeiro passo, já que mostra qual das duas propriedades o sistema tem no momento.

Projetando para a abstenção

A confiança calibrada torna possível uma política que escores não calibrados não sustentam: deixar o modelo agir quando está seguro e enviar o resto a uma pessoa. Tome um classificador ilustrativo com acurácia geral de 88,5%, cujas previsões caem em quatro faixas de confiança. Na mais baixa, 10% dos casos têm confiança de 0,5 a 0,7 e acurácia de 60%. Na seguinte, 30% dos casos têm confiança de 0,7 a 0,9 e acurácia de 82%. Depois, 30% ficam entre 0,9 e 0,97 com acurácia de 94%, e os últimos 30% acima de 0,97 chegam a 99%. Se o modelo trata automaticamente apenas as duas faixas superiores, que são 60% do volume, a acurácia nos casos automatizados é (0,3 × 0,94 + 0,3 × 0,99) / 0,6, ou 96,5%, e os 40% restantes vão para revisores.

Essa troca substitui um único número de acurácia por uma curva: para cada nível de automação, a taxa de erro que você aceita. O negócio pode escolher o ponto da curva que combina com o custo dos erros e o custo da revisão. Nada disso funciona sem calibração, já que as faixas só significam o que dizem se a confiança nelas for verdadeira. E é preciso reverificar à medida que os dados mudam, porque uma faixa que valia 94% no trimestre passado pode valer 88% neste.

Ponha o diagrama na revisão

A mudança institucional mais simples é fazer do diagrama de confiabilidade uma peça padrão de toda revisão de modelo. Peça-o por segmento além do geral, já que um modelo pode estar calibrado na média e muito desviado para um grupo de clientes, como no exemplo do empréstimo. Peça seus intervalos de confiança, porque uma faixa com quarenta casos diz pouco: se a taxa observada na faixa é de 70%, o intervalo de 95% vai cerca de 14 pontos para cada lado. Com 200 casos na faixa, ele encolhe para cerca de 6 pontos, e com 1.000 para cerca de 3. Essa aritmética define quantos dados rotulados uma verificação de calibração exige, e é por isso que um diagrama construído com um conjunto de validação pequeno pode parecer tranquilizador ou alarmante por acaso. Peça o escore de Brier ou a perda logarítmica ao lado da AUC. E pergunte o que o processo posterior faz com o número, para que a equipe possa dizer se a calibração importa para o uso em questão.

Um modelo honesto é aquele cuja confiança pode ser auditada contra os desfechos. A auditoria leva um dia, e é a única maneira de descobrir se um 70% do sistema vale como base para agir.

Fontes

Brier, G. W. (1950). Verification of forecasts expressed in terms of probability. Monthly Weather Review 78(1).
Gneiting, T., Raftery, A. E. (2007). Strictly proper scoring rules, prediction, and estimation. Journal of the American Statistical Association 102(477).
Guo, C., Pleiss, G., Sun, Y., Weinberger, K. Q. (2017). On Calibration of Modern Neural Networks. ICML 2017. arXiv:1706.04599.
Kadavath, S., Conerly, T., Askell, A., et al. (2022). Language Models (Mostly) Know What They Know. arXiv:2207.05221.
OpenAI (2023). GPT-4 Technical Report. arXiv:2303.08774, seção de limitações e Figura 8.
Kalai, A. T., Nachum, O., Vempala, S. S., Zhang, E. (2025). Why Language Models Hallucinate. arXiv:2509.04664.
Angelopoulos, A. N., Bates, S. (2021). A Gentle Introduction to Conformal Prediction and Distribution-Free Uncertainty Quantification. arXiv:2107.07511.
Kleinberg, J., Mullainathan, S., Raghavan, M. (2017). Inherent Trade-Offs in the Fair Determination of Risk Scores. ITCS 2017. arXiv:1609.05807.