Árvores com gradiente ainda definem a linha de base em tabelas, mas ela está se movendo

Em 2022, Léo Grinsztajn, Edouard Oyallon e Gaël Varoquaux reuniram 45 conjuntos de dados tabulares de domínios variados e colocaram métodos de aprendizado profundo, padrão e novos, contra modelos baseados em árvores como XGBoost e florestas aleatórias. Fizeram buscas de hiperparâmetros numa escala incomum nessa literatura, divulgando cada ponto de uma busca de 20.000 horas de computação, para que ninguém pudesse dizer que as árvores venceram porque as redes estavam mal ajustadas. A conclusão do resumo foi direta: modelos baseados em árvores continuam no estado da arte em dados de tamanho médio, algo como dez mil linhas, mesmo antes de contar a vantagem de velocidade.

Esse artigo virou a citação padrão de um folclore de profissionais: quando os dados são uma tabela, comece com árvores de decisão com gradiente. Quatro anos depois, o folclore continua sendo um bom padrão, com um asterisco que cresce a cada trimestre. O asterisco vem dos próprios resultados do campo, então este ensaio dá duas passadas na questão. A primeira pergunta por que as árvores vão bem em tabelas, porque a resposta diz quando o conselho vale. A segunda pergunta o que mudou desde 2022, porque o primeiro autor do artigo "árvores vencem" é hoje o primeiro autor de um relatório sobre um modelo de fundação tabular, e esse fato resume a situação melhor do que qualquer argumento.

Tabelas não são imagens

As redes profundas ganharam reputação em dados com estrutura espacial ou sequencial que uma rede pode explorar por construção: pixels próximos pertencem uns aos outros, palavras anteriores numa frase afetam as posteriores. Uma tabela não tem nada disso. Suas colunas são heterogêneas, cada uma com significado e unidade próprios: idade em anos, renda em reais, um CEP, uma contagem de atrasos, uma marca de sim ou não. Reordenar as colunas não muda nada no problema. A estrutura que importa é a identidade de cada coluna e um punhado de interações entre elas.

A equipe de Grinsztajn atribuiu a diferença a três vieses indutivos, que se leem como uma descrição da tabela de negócios típica. O primeiro é a tolerância a atributos não informativos. Tabelas reais trazem colunas que são ruído ou quase, como identificadores, códigos livres e campos que nunca foram bem preenchidos. Uma árvore ignora uma coluna que nunca ajuda numa divisão. Uma rede neural mistura cada entrada em cada unidade oculta e precisa aprender a ignorar o lixo, o que custa dados.

O segundo é que a orientação dos dados importa. Uma árvore divide uma coluna por vez, então trata cada coluna como um eixo com significado próprio. Um perceptron multicamadas padrão é quase indiferente a uma rotação do espaço de entrada, e nos experimentos dos autores rotacionar aleatoriamente os atributos degradou os modelos baseados em árvores muito mais do que as redes neurais. Essa assimetria é evidência de que as identidades das colunas carregam informação que as árvores usam e as redes descartam.

O terceiro é a capacidade de aprender funções irregulares. Regras de negócio e processos do mundo real estão cheios de limiares. Uma política de crédito trata um solicitante com renda de 49.000 de modo diferente de um com 51.000. Uma faixa de imposto, um degrau de preço, um corte de elegibilidade e um limite regulatório são todos degraus, e o alvo como função das entradas pode saltar. Uma árvore representa um degrau com uma única divisão. Uma rede feita de ativações suaves o aproxima com uma rampa íngreme, o que exige mais unidades e mais dados. A tendência tem nome na literatura. Nasim Rahaman e colegas mostraram em 2019 que redes treinadas por descida de gradiente aprendem os componentes de baixa frequência de uma função-alvo antes dos de alta frequência, um viés espectral para soluções suaves que persiste mesmo quando a verdade não é suave. Um degrau abrupto é uma característica de alta frequência, e a rede chega a ele por último.

As vantagens pouco glamorosas

Tabelas vêm com irritações práticas que as bibliotecas em torno das árvores com gradiente passaram uma década absorvendo. Valores ausentes são rotina, e o XGBoost e o LightGBM aprendem em cada divisão para qual ramo um valor ausente deve ir, de modo que nenhuma etapa de imputação é necessária. Colunas categóricas de alta cardinalidade, como CEPs, identificadores de estabelecimentos e SKUs de produtos, também são rotina. O CatBoost, descrito por Liudmila Prokhorenkova e colegas no NeurIPS 2018, as trata com um esquema ordenado de estatísticas do alvo que evita o vazamento que uma versão ingênua introduziria. A mesma tabela entregue a uma rede neural exige tratamento de ausentes, escalonamento de colunas numéricas assimétricas e uma camada de embedding para cada coluna categórica, cada uma delas um lugar para um erro.

A operação também favorece as árvores. Um modelo com gradiente treina em minutos numa CPU, pontua uma linha numa pequena fração do tempo que um transformer precisa, ocupa megabytes e pode ser exportado para rodar dentro de um banco de dados ou de um dispositivo. Retreinar toda semana é barato o bastante para ser tedioso. O custo por previsão importa pouco com mil previsões por dia e muito com cem milhões, que é a escala em que operam alguns sistemas de pontuação de fraude e de ranqueamento de anúncios.

O que os estudos maiores acrescentam

Uma objeção justa é que 45 conjuntos de dados são uma amostra estreita. Em 2023, Duncan McElfresh e colegas compararam 19 algoritmos em 176 conjuntos de dados, um estudo muito maior, e o título deles levantou uma pergunta: quando as redes neurais superam as árvores com gradiente em dados tabulares? A resposta foi que o debate é exagerado. Em muitos conjuntos, a diferença entre as duas famílias é desprezível, ou um ajuste leve de hiperparâmetros de um GBDT importa mais do que a escolha entre famílias. Eles constataram que as árvores com gradiente lidam melhor do que as redes com distribuições de atributos assimétricas e de cauda pesada e com outras irregularidades.

O conteúdo prático desse resultado é sobre onde vai o esforço. Uma equipe que gasta um mês procurando a arquitetura de rede certa para um problema tabular está, em média, gastando esforço onde ele faz menos diferença. Uma tarde gasta limpando os dados, corrigindo vazamentos nos atributos e ajustando um modelo com gradiente com parada antecipada costuma render mais.

A linha de base está se movendo

O estudo de 2023 continha uma constatação que virou tendência. Entre os algoritmos que testou estava o TabPFN, um transformer pré-treinado num grande número de conjuntos de dados tabulares sintéticos gerados a partir de uma distribuição a priori sobre processos geradores de dados. Na inferência, em vez de treinar um modelo, o TabPFN recebe as linhas de treino rotuladas como contexto e prevê as linhas de teste numa única passada, do modo como um modelo de linguagem aprende com exemplos em seu prompt. Estava limitado a conjuntos de treino de cerca de três mil linhas, e mesmo assim foi o melhor em média.

Em janeiro de 2025, uma equipe liderada por Freiburg publicou um sucessor na Nature. O artigo relata que o modelo supera todos os métodos anteriores em conjuntos de até dez mil amostras por ampla margem, com substancialmente menos tempo de treino, e a comparação de destaque foi que em 2,8 segundos ele superou um conjunto dos melhores modelos de referência ajustados por quatro horas, em classificação. Em novembro de 2025, a equipe lançou o TabPFN-2.5, revisado em fevereiro de 2026, para até 50.000 linhas e 2.000 atributos, com a afirmação de liderar o benchmark TabArena e igualar um conjunto do AutoGluon ajustado por quatro horas. Contra o XGBoost padrão, relata taxas de vitória de 100% em conjuntos de classificação pequenos e médios e de 87% nos maiores. Descreve também uma etapa de destilação que converte o modelo numa rede compacta ou num conjunto de árvores, com latência bem menor.

Por que um modelo pré-treinado venceria um conjunto ajustado justamente em dados pequenos? Uma explicação razoável é que, quando há só algumas centenas de linhas, o problema principal é decidir quanta estrutura os dados sustentam, e um modelo que viu um número enorme de tabelas sintéticas tem uma distribuição a priori melhor do que um conjunto de árvores partindo do nada. Um modelo com gradiente precisa aprender com essas poucas linhas quais interações importam e quão suaves são as relações, de modo que sobreajusta ou subajusta conforme o ajuste. À medida que o número de linhas cresce, a distribuição a priori importa menos, o que combina com o padrão das afirmações: a vantagem é maior em tabelas pequenas e encolhe conforme elas crescem. Note também o que a comparação de 2,8 segundos conta. O modelo não faz treino por gradiente na sua tabela; o tempo é de inferência sobre todo o conjunto de treino, o que move o custo para a hora da previsão.

A evidência independente é mais cautelosa. O TabArena, um benchmark vivo apresentado por Nick Erickson, Frank Hutter e colegas no NeurIPS 2025, relata que os GBDTs continuam fortes em conjuntos tabulares práticos, que os métodos de aprendizado profundo alcançaram os GBDTs quando recebem orçamentos de tempo maiores e uso de conjuntos de modelos, e que os modelos de fundação vão bem em conjuntos menores. Conjuntos de modelos de famílias diferentes definem o estado da arte. Os autores também alertam que o procedimento de validação afeta fortemente o quanto os modelos atingem seu potencial, e que alguns modelos de aprendizado profundo aparecem em excesso nos melhores conjuntos por sobreajuste ao conjunto de validação.

Vários limites se aplicam. A maior parte dos números de destaque vem de benchmarks dos próprios desenvolvedores, mesmo quando o benchmark em si é independente, e a replicação por outros grupos é o teste adequado. O tamanho do conjunto de treino tem teto, então tabelas grandes continuam território das árvores com gradiente. Um modelo que condiciona no conjunto de treino na hora da previsão leva esse conjunto a cada chamada de inferência, o que afeta memória e latência, e é o motivo da etapa de destilação. E a comparação que importa em produção raramente é só a acurácia.

O que fazer na segunda-feira

A avaliação merece mais atenção do que o modelo. Uma divisão aleatória entre treino e teste favorece qualquer modelo em dados que derivam no tempo, porque as linhas de teste vêm do mesmo período das de treino e compartilham suas peculiaridades. Para qualquer coisa com dimensão temporal, como cancelamento, demanda, inadimplência ou fraude, reserve os meses mais recentes como conjunto de teste e treine com o que veio antes. As diferenças entre famílias de modelos costumam ser menores do que a diferença entre uma divisão aleatória e uma divisão temporal no mesmo modelo, e uma comparação que usa a divisão errada pode coroar o vencedor errado.

As duas passadas se combinam num procedimento barato de seguir.

1. Construa primeiro a linha de base: um modelo de árvores com gradiente (XGBoost, LightGBM ou CatBoost) com parada antecipada e uma divisão de validação sensata. Reserve uma tarde.
2. Se a tabela tem menos de cerca de 50.000 linhas, rode um modelo de fundação tabular na mesma divisão, o que leva minutos. Se ele vencer por mais do que o ruído da sua estimativa de validação, trate como um sinal real.
3. Combine em conjunto o que for melhor. O resultado do TabArena de que conjuntos entre famílias definem o estado da arte significa que uma mistura raramente é pior que seu melhor membro.
4. Só então considere uma arquitetura neural própria, e apenas por um motivo que os dados sugiram, como colunas categóricas de cardinalidade muito alta ou a necessidade de compartilhar representações entre tarefas.

Onde a tabela tem uma coluna de texto, um LLM pode ganhar lugar no pipeline como extrator de atributos: gere embeddings do texto e alimente os vetores, ou alguns rótulos derivados, no modelo com gradiente junto com as outras colunas. Pedir a um LLM que preveja diretamente a partir de linhas serializadas é outra coisa. O TabLLM, de uma equipe em torno de David Sontag, encontrou um modelo ajustado competitivo com bons modelos de referência, incluindo árvores com gradiente, no regime de pouquíssimos exemplos, em que os rótulos são escassos e o conhecimento prévio do modelo ajuda. O argumento do artigo é feito para esse regime e não se estende a tabelas com milhares de linhas rotuladas.

Onde entra a interpretabilidade

Decisões reguladas acrescentam uma restrição que favorece as ferramentas mais antigas. As bibliotecas de árvores com gradiente suportam restrições de monotonicidade, que obrigam a previsão a se mover apenas para cima conforme uma entrada escolhida aumenta. Isso permite que um modelo de crédito garanta que uma renda maior nunca reduza a pontuação, o que revisores de modelos de crédito costumam exigir. Elas também funcionam com métodos de atribuição como o SHAP, que produzem uma explicação por decisão. No Brasil, o artigo 20 da LGPD dá ao titular dos dados o direito de solicitar a revisão de decisões tomadas unicamente com base em tratamento automatizado que afetem seus interesses, inclusive perfis de crédito, e de pedir informações claras sobre os critérios utilizados. Um modelo cujo comportamento pode ser restringido e explicado facilita o cumprimento dessa obrigação, e qualquer substituto deve ser julgado nesses termos além da acurácia.

A pergunta a fazer a um novo método tabular é a que o artigo de 2022 fez de forma implícita, e a resposta precisa vir dos seus dados: na minha tabela, no meu tamanho, contra um modelo com gradiente bem ajustado, por quanto ele vence, e quanto essa vitória custa em latência, memória e explicabilidade? Um método que não sabe responder a isso ainda não ganhou lugar no pipeline.

Fontes

1. Grinsztajn, L., Oyallon, E., Varoquaux, G. (2022). Why do tree-based models still outperform deep learning on tabular data? NeurIPS 2022 Datasets and Benchmarks. arXiv:2207.08815.
2. McElfresh, D., Khandagale, S., Valverde, J., et al. (2023). When Do Neural Nets Outperform Boosted Trees on Tabular Data? NeurIPS 2023 Datasets and Benchmarks. arXiv:2305.02997.
3. Hollmann, N., Müller, S., Purucker, L., et al. (2025). Accurate predictions on small data with a tabular foundation model. Nature 637, 319-326.
4. Grinsztajn, L., et al. (Prior Labs) (2025, revisado em 2026). TabPFN-2.5: Advancing the State of the Art in Tabular Foundation Models. arXiv:2511.08667.
5. Erickson, N., Purucker, L., Tschalzev, A., et al. (2025). TabArena: A Living Benchmark for Machine Learning on Tabular Data. NeurIPS 2025 Datasets and Benchmarks. arXiv:2506.16791.
6. Hegselmann, S., Buendia, A., Lang, H., Agrawal, M., Jiang, X., Sontag, D. (2023). TabLLM: Few-shot Classification of Tabular Data with Large Language Models. arXiv:2210.10723.
7. Chen, T., Guestrin, C. (2016). XGBoost: A Scalable Tree Boosting System. KDD 2016. arXiv:1603.02754.
8. Brasil. Lei nº 13.709/2018 (Lei Geral de Proteção de Dados Pessoais), art. 20.
9. Rahaman, N., Baratin, A., Arpit, D., et al. (2019). On the Spectral Bias of Neural Networks. ICML 2019. arXiv:1806.08734.
10. Prokhorenkova, L., Gusev, G., Vorobev, A., Dorogush, A. V., Gulin, A. (2018). CatBoost: unbiased boosting with categorical features. NeurIPS 2018. arXiv:1706.09516.