Um modelo que prevê bem ainda pode errar sobre o que fazer

Rich Caruana e colegas abriram seu artigo de 2015 sobre modelos interpretáveis para a saúde com uma história de alerta, tirada de um projeto para prever quais pacientes com pneumonia provavelmente morreriam, de modo que os de baixo risco pudessem ser tratados em regime ambulatorial. Um dos modelos, construído com regras, produziu uma regra surpreendente: pacientes com histórico de asma tinham risco menor de morrer de pneumonia do que a população geral. Um médico que lesse essa regra ficaria perplexo, porque a asma torna a pneumonia mais perigosa.

A regra refletia os dados com fidelidade. Pacientes asmáticos com pneumonia costumavam ser internados direto na unidade de terapia intensiva, e o tratamento agressivo que recebiam funcionava tão bem que seus desfechos eram melhores que a média. O modelo havia aprendido um padrão verdadeiro sobre o passado. Se tivesse sido usado para decidir quem podia ir para casa, teria mandado os asmáticos embora primeiro, retirando o próprio cuidado que os fazia parecer seguros. A rede neural que aprendeu o mesmo padrão teria sido, segundo relatos, precisa em dados reservados e não foi implantada.

A história é uma lição compacta sobre uma distinção que equipes de negócios insistem em perder de vista. Prever responde à pergunta do que vai acontecer, dado o modo como as coisas vêm sendo conduzidas. Decidir pergunta o que vai acontecer se fizermos algo diferente. A primeira pode ser respondida com dados históricos, se o mundo continuar o mesmo. A segunda exige uma afirmação sobre causa, e os dados históricos só a respondem sob condições raramente satisfeitas. Um modelo pode ser excelente na primeira e enganoso na segunda, como mostra a regra da asma, e as métricas usuais de acurácia não dirão em qual situação você está.

O paradoxo de Simpson é o mecanismo

A demonstração clássica envolve uma comparação de dois tratamentos para cálculos renais, relatada por C. R. Charig e colegas em 1986 e reanalisada por Steven Julious e Mark Mullee em 1994. A cirurgia aberta teve taxa de sucesso de 78% (273 de 350 pacientes). A nefrolitotomia percutânea, um procedimento menos invasivo, teve taxa de sucesso de 83% (289 de 350). À primeira vista, o procedimento menos invasivo é melhor.

	Pedras pequenas	Pedras grandes	Todos os pacientes
Cirurgia aberta	93% (81 de 87)	73% (192 de 263)	78% (273 de 350)
Nefrolitotomia percutânea	87% (234 de 270)	69% (55 de 80)	83% (289 de 350)

Dentro de cada tamanho de pedra, a cirurgia aberta se saiu melhor. A inversão surge porque o tamanho da pedra determinou tanto a escolha do tratamento quanto o desfecho: os cirurgiões designaram a cirurgia aberta aos casos maiores e mais difíceis, e pedras grandes têm taxas de sucesso menores com qualquer tratamento. A comparação geral mistura um efeito do tratamento com uma diferença na composição dos casos. Se os números agregados ou os estratificados são os certos depende da história causal, que os números sozinhos não contam. Aqui o tamanho da pedra é um fator de confusão que precede a escolha do tratamento, então a comparação estratificada é a que merece confiança.

O paradoxo importa fora da medicina porque toda ação de negócios tem a mesma estrutura. Clientes que recebem um desconto, uma ligação de um vendedor ou uma oferta de retenção não são uma amostra aleatória. Alguém, ou algo, os escolheu, em geral com base nas mesmas variáveis que predizem o desfecho. Uma comparação entre clientes tratados e não tratados mede essa seleção junto com o que o tratamento fez.

A escada das perguntas causais

A imagem de Judea Pearl em "The Book of Why" organiza as perguntas numa escada de três degraus. No primeiro, ver, pergunta-se o que uma variável nos diz sobre outra: clientes que abrem e-mails compram mais. No segundo, fazer, pergunta-se o que acontece se intervirmos: os clientes comprarão mais se lhes enviarmos mais e-mails? O terceiro, imaginar, trata de contrafactuais sobre um caso particular. O aprendizado de máquina como é praticado vive sobretudo no primeiro degrau, onde o aprendizado supervisionado é excelente. A maioria das decisões de negócios está no segundo.

O degrau importa porque dados coletados sem intervenção não conseguem, em geral, responder perguntas do segundo degrau. Nenhuma quantidade de linhas adicionais ou de capacidade do modelo muda isso, e nenhum hiperparâmetro vai consertar. A identificação precisa vir do desenho, seja um experimento, seja um argumento sobre o que determinou a atribuição do tratamento.

Para que serve, de fato, o modelo de churn

Tome uma empresa de assinaturas que constrói um modelo para prever quais clientes cancelarão no próximo mês e o usa para enviar uma oferta de retenção aos clientes de maior risco. O modelo pode ser muito preciso, com AUC de 0,90. A pergunta de negócios é outra: para quais clientes a oferta muda o desfecho? Analistas de marketing falam em quatro grupos. Os persuadíveis ficam por causa da oferta e teriam saído sem ela. Os certos ficam de qualquer modo, e a oferta é desperdiçada neles. Os casos perdidos saem de qualquer modo. Os cães adormecidos são os que teriam ficado e saem porque a oferta ou o contato os lembrou de cancelar.

Um ranking de probabilidade de churn não diz a que grupo um cliente pertence, e os clientes no topo do ranking são desproporcionalmente casos perdidos. Uma ilustração, com números inventados mas plausíveis, mostra o custo. Cada oferta custa US$ 15, e um cliente retido vale US$ 300. O segmento A tem 50% de churn sem a oferta, e a oferta o reduz em 2 pontos. O segmento B tem 20% de churn, e a oferta o reduz em 8 pontos. O valor esperado de uma oferta é o ganho multiplicado por US$ 300, menos US$ 15. Para o segmento A, isso dá 0,02 × 300 − 15 = −US$ 9 por cliente. Para o segmento B, +US$ 9. Uma campanha dirigida ao maior risco previsto vai atrás do segmento A e, em 10.000 clientes, perde US$ 90.000. Uma campanha dirigida ao maior ganho previsto vai atrás do segmento B e, em 10.000 clientes, ganha US$ 90.000. A decisão de quem tratar vale US$ 180.000, e o modelo de churn não consegue tomá-la.

O ajuste observacional não basta

Uma resposta natural é ajustar por tudo o que é observável e chamar a diferença de efeito do tratamento. A evidência sobre o quanto isso funciona é sóbria, e um dos testes mais limpos vem da publicidade. Brett Gordon, Florian Zettelmeyer e colegas compararam os resultados de experimentos randomizados no Facebook com o que métodos observacionais comuns teriam concluído dos mesmos dados. Usaram 15 experimentos, que cobriam cerca de 500 milhões de observações usuário-experimento e 1,6 bilhão de impressões de anúncios. Mesmo com variáveis demográficas e comportamentais abundantes, os métodos observacionais muitas vezes não reproduziram o resultado experimental. No resumo da versão preliminar do estudo, as abordagens por pareamento e regressão superestimaram o efeito da publicidade, e em metade dos estudos o aumento estimado nas compras estava errado por um fator de três.

A explicação é a seleção sobre aquilo que o analista não vê. Os anúncios são mostrados a pessoas que já têm inclinação a comprar, e essas inclinações não estão totalmente registradas em nenhum conjunto de dados. Ajustar pelas variáveis que você tem não consegue remover a parte que lhe falta. O resultado vale muito além da publicidade, para qualquer negócio em que o tratamento é direcionado, o que descreve a maioria das intervenções empresariais.

Há um segundo obstáculo que um conjunto de dados maior não remove, e ele é construído pela própria política da empresa. Se todo cliente acima de um limiar de pontuação sempre recebeu a oferta, e ninguém abaixo dele recebeu, então nenhum cliente de pontuação alta no histórico ficou sem tratamento. Os métodos causais precisam de sobreposição, isto é, clientes com características semelhantes nos dois grupos, e uma regra de direcionamento determinística a destrói. O modelo pode ser ajustado e produzirá um número para cada cliente. Esse número então repousa numa extrapolação, sem nada nos dados contra o que conferi-lo. A cura mais barata é um pouco de aleatoriedade na regra, como tratar uma pequena fração aleatória dos clientes abaixo do limiar e reter de uma pequena fração aleatória dos acima dele, o que dá à análise futura algo com que comparar.

Construindo corretamente o modelo de decisão

O remédio prático é tratar toda ação conduzida por um modelo como uma intervenção que você avalia como tal.

O primeiro passo é manter um grupo de controle randomizado. Reserve uma pequena fração dos clientes elegíveis, digamos de 5% a 10%, que não recebem nenhum tratamento conduzido pelo modelo, seja qual for a pontuação. Os desfechos deles são o contrafactual contra o qual o efeito do programa é medido. Sem eles, o máximo que se pode dizer é como se saíram os clientes tratados, o que nada diz sobre o que o tratamento fez.

O segundo é randomizar o tratamento dentro de faixas de pontuação, ao menos por um período, de modo que os dados contenham clientes do mesmo risco previsto que foram e não foram tratados. Esses dados permitem estimar um modelo de uplift. Existem vários métodos: ajustar modelos separados para tratados e controles e subtrair suas previsões; as florestas causais de Stefan Wager e Susan Athey (2018), que estimam efeitos heterogêneos com intervalos de confiança válidos; e a abordagem de aprendizado de máquina duplo (double machine learning) de Victor Chernozhukov e colegas (2018), que usa modelos flexíveis para as grandezas incômodas preservando garantias estatísticas para o efeito.

Uma ressalva sobre a aritmética da heterogeneidade. Estimar um efeito médio é muito mais barato do que estimar o efeito em cada segmento, e a decisão de direcionamento depende do segundo. Suponha que o churn seja de 20% sem a oferta e de 12% com ela em algum segmento, um efeito de 8 pontos. Com 2.000 clientes por braço, o erro-padrão da diferença é de cerca de 1,2 ponto, e o intervalo de 95% vai de aproximadamente 5,7 a 10,3 pontos. Com 500 por braço, o erro-padrão é de cerca de 2,3 pontos e o intervalo vai de 3,5 a 12,5. Um ranking de segmentos construído com a segunda estimativa confundirá muitos segmentos entre si. É por isso que programas de uplift costumam precisar de vários meses de dados randomizados antes que a regra de direcionamento mereça confiança, e por isso que a regra deve ser reconferida contra um novo conjunto reservado.

O terceiro é planejar o tamanho do experimento, porque os efeitos são pequenos e o ruído é grande. Detectar um aumento de conversão de 5% para 6% com 80% de poder a 5% de significância exige cerca de 8.100 clientes em cada braço. Detectar um aumento de 5% para 5,5% exige cerca de 31.000 por braço, e detectar de 2,0% para 2,2% exige mais de 80.000. Quanto menor o ganho que justifica o programa, maior o experimento. Uma equipe que pula essa aritmética pode rodar um experimento pequeno demais para distinguir um sucesso de um fracasso, e relatar o ruído como descoberta.

O quarto é usar quase-experimentos quando a randomização não é possível. Um lançamento escalonado entre regiões permite uma comparação de diferenças em diferenças. Um ponto de corte de pontuação, abaixo do qual os clientes recebem algo e acima do qual não recebem, sustenta um desenho de regressão descontínua. Uma falha de abastecimento que atrasou o tratamento de modo aleatório para alguns clientes pode servir de instrumento. Cada um desses exige um argumento sobre por que aproxima a randomização, e o argumento deve ser escrito e revisado.

Quando prever é exatamente o que você precisa

Nada disso torna os modelos preditivos menos úteis. Quando ninguém intervém no desfecho, a previsão é a ferramenta certa. Prever demanda para o planejamento de capacidade, estimar sinistros para reservas, projetar fluxo de caixa e precificar o risco de uma carteira são casos em que o modelo descreve o que vai acontecer e o negócio se adapta em volta. Uma previsão também basta quando a ação sabidamente funciona e a única questão é onde empregar uma capacidade limitada, como quando uma equipe de fraude tem mais alertas que analistas e a intervenção, bloquear uma transação, não está em disputa. O erro a evitar é mais estreito: usar um ranking de quem provavelmente vai experimentar um desfecho como se fosse um ranking de quem se beneficiaria de uma intervenção. O primeiro é uma afirmação sobre o passado, e o segundo é uma afirmação sobre causa.

Onde isso aparece com modelos de linguagem

A mesma distinção opera em fluxos de trabalho assistidos por IA. Um modelo que prevê quais chamados de suporte vão escalar não diz se encaminhá-los a um atendente sênior reduz as escalações. Um sistema que recomenda quais leads de vendas ligar não mostra se ligar muda alguma coisa. Um copiloto que propõe ações aos funcionários altera os dados com que será treinado depois, o que faz do registro observacional um registro da influência do próprio sistema. O remédio é o mesmo: um grupo reservado, randomização no lançamento e uma comparação dos desfechos entre casos tratados e não tratados.

Comece pela decisão

Antes de construir qualquer modelo, escreva uma frase nomeando a ação, as pessoas a quem será aplicada e o desfecho que ela pretende mudar. Depois escreva uma segunda nomeando o grupo de comparação: as pessoas que não receberão a ação e como serão escolhidas. Se a segunda frase não puder ser escrita, o projeto é de previsão, e sua saída deve ser usada para prever e não para atribuir tratamento. Um modelo que não pode ser amarrado a um grupo de comparação defensável continuará produzindo números precisos e pouco úteis, que foi a situação do modelo de pneumonia que olhou para a asma e enxergou segurança.

Fontes

1. Caruana, R., Lou, Y., Gehrke, J., Koch, P., Sturm, M., Elhadad, N. (2015). Intelligible Models for HealthCare: Predicting Pneumonia Risk and Hospital 30-day Readmission. KDD 2015.
2. Charig, C. R., Webb, D. R., Payne, S. R., Wickham, J. E. A. (1986). Comparison of treatment of renal calculi by open surgery, percutaneous nephrolithotomy, and extracorporeal shockwave lithotripsy. British Medical Journal 292.
3. Julious, S. A., Mullee, M. A. (1994). Confounding and Simpson's paradox. British Medical Journal 309.
4. Pearl, J., Mackenzie, D. (2018). The Book of Why: The New Science of Cause and Effect. Basic Books.
5. Gordon, B. R., Zettelmeyer, F., Bhargava, N., Chapsky, D. (2019). A Comparison of Approaches to Advertising Measurement: Evidence from Big Field Experiments at Facebook. Marketing Science 38(2).
6. Wager, S., Athey, S. (2018). Estimation and Inference of Heterogeneous Treatment Effects using Random Forests. Journal of the American Statistical Association 113(523).
7. Chernozhukov, V., Chetverikov, D., Demirer, M., et al. (2018). Double/debiased machine learning for treatment and structural parameters. The Econometrics Journal 21(1).