O andaime em volta de um modelo é uma aposta contra o próximo modelo

Em 13 de março de 2019, Rich Sutton publicou um ensaio curto, "The Bitter Lesson", que abre com uma frase que poucos pesquisadores conseguiram ignorar: a maior lição de setenta anos de pesquisa em IA é que métodos gerais que usam cada vez mais computação vencem no fim, e por larga margem. Ele a sustenta com quatro histórias. Os programas de xadrez que derrotaram Kasparov em 1997 o fizeram com busca profunda e massiva, para desalento dos pesquisadores que haviam embutido a compreensão humana do jogo. O Go computacional seguiu o mesmo arco cerca de vinte anos depois, quando a busca combinada com aprendizado por autojogo tornou irrelevante, ou pior, o conhecimento feito à mão. No reconhecimento de voz, métodos estatísticos que usavam mais computação superaram sistemas construídos sobre o conhecimento de fonemas e do trato vocal, e o aprendizado profundo reduziu ainda mais a participação humana. Na visão computacional, detectores de bordas e atributos desenhados à mão cederam lugar a redes que usam só convolução e algumas invariâncias.

A explicação de Sutton para a recorrência do erro é a parte mais pulada. Embutir conhecimento num sistema, diz ele, sempre ajuda no curto prazo e dá satisfação pessoal a quem constrói. No longo prazo, estagna, e complica o método de maneiras que o impedem de aproveitar o próximo aumento de computação. A tentação é real e não se limita a laboratórios de pesquisa. É a tentação permanente de quem constrói sobre um modelo: escrever o prompt esperto, acrescentar a etapa de validação, dividir a tarefa em cinco chamadas, codificar as regras que um especialista humano usaria. Cada uma dessas coisas é um pedaço pequeno de conhecimento embutido. Cada uma é uma aposta de que o próximo modelo não vai torná-la desnecessária.

Sutton é mais cuidadoso do que a versão em slogan do ensaio dele. Ele diz que apoiar-se em conhecimento humano e apoiar-se em computação não precisam entrar em conflito, embora na prática entrem: o tempo gasto numa coisa é tempo não gasto na outra, e a abordagem pesada em conhecimento tende a complicar um método de modo a impedi-lo de absorver o próximo aumento de computação. É uma afirmação sobre custo de oportunidade e sobre acoplamento. Deixa espaço para o conhecimento que o sistema não consegue aprender sozinho, e o restante deste ensaio depende desse espaço.

Quero argumentar que a aposta merece ser precificada de forma explícita. Parte do andaime em volta dos modelos compensa por anos. Parte expira em uma geração de modelos, e o custo de mantê-la é pago em complexidade, latência e tokens muito depois de ela ter deixado de ajudar. A habilidade prática é distinguir os dois tipos de antemão.

Uma técnica que expirou em três anos

O caso mais limpo é o prompting de cadeia de pensamento. Em janeiro de 2022, Jason Wei e colegas do Google mostraram que dar a um modelo de 540 bilhões de parâmetros oito exemplos resolvidos, cada um com seus passos de raciocínio, produzia acurácia de estado da arte no GSM8K, o benchmark de matemática do ensino fundamental, à frente de um GPT-3 ajustado com um verificador. Meses depois, Takeshi Kojima e colegas descobriram que nem os exemplos eram necessários. Acrescentar "Let's think step by step" (pensemos passo a passo) a uma pergunta levou a acurácia do InstructGPT no MultiArith de 17,7% para 78,7% e no GSM8K de 10,4% para 40,7%. Um ganho de sessenta e um pontos com uma frase foi um dos resultados mais estranhos do período, e a expressão virou item fixo dos guias de prompting.

Depois os laboratórios passaram a treinar os modelos para fazer isso sozinhos. O o1 da OpenAI, lançado em setembro de 2024, foi treinado com aprendizado por reforço para produzir uma longa cadeia de raciocínio antes de responder. O R1 da DeepSeek, publicado em janeiro de 2025 e depois na Nature, mostrou que o comportamento de raciocínio podia ser incentivado por aprendizado por reforço em tarefas com respostas verificáveis, sem traços de raciocínio rotulados por humanos, e que o modelo resultante superava modelos treinados com demonstrações humanas em tarefas verificáveis de matemática, programação e ciências. A técnica que os usuários precisavam pedir passou a ser algo que o modelo fazia sem ser solicitado.

Pedi-la mesmo assim passou a ter um preço. Em junho de 2025, Lennart Meincke, Ethan Mollick, Lilach Mollick e Dan Shapiro, da Wharton, publicaram um relatório sobre prompting de cadeia de pensamento em vários modelos atuais. Para modelos de raciocínio, os ganhos de acurácia foram marginais, muitas vezes nulos, enquanto o tempo adicional ia de 20% a 80%. Para alguns modelos sem raciocínio houve melhora modesta, com mais variância nas respostas, incluindo erros ocasionais em perguntas que o modelo teria acertado de outro modo. Uma técnica que valia sessenta pontos em 2022 era, três anos depois, um imposto de latência para os modelos que mais importavam.

Os guias de prompting escritos em 2022 não ficaram errados porque seus autores erraram. Ficaram errados porque a capacidade que compensavam migrou para os pesos. É o argumento de Sutton em miniatura, encenado ao longo de três anos numa técnica que qualquer pessoa podia aplicar numa linha.

Computação em tempo de teste é a mesma lição apontada para a inferência

Os modelos de raciocínio são uma instância da lição além de serem uma baixa dela. Sutton nomeou duas classes de método que escalam com a computação: busca e aprendizado. Durante a maior parte da história dos modelos de linguagem, o aprendizado acontecia no treino e uma chamada ao modelo era uma única passada direta. Uma linha de trabalho de 2024 perguntou o que aconteceria se a computação também fosse gasta no momento de responder. Charlie Snell e colegas relataram em agosto de 2024 que, em problemas nos quais um modelo menor tem taxa de sucesso não trivial, gastar computação extra em tempo de teste podia superar um modelo catorze vezes maior numa comparação com FLOPs equivalentes, e que alocar essa computação de forma adaptativa melhorava a eficiência em mais de quatro vezes sobre uma linha de base de melhor-de-N.

Para quem constrói, a implicação é incômoda. Boa parte da engenharia de aplicações de 2023 e 2024 consistia em versões manuais de busca em tempo de teste: amostrar cinco respostas e ficar com a maioria, pedir ao modelo que critique e revise o próprio rascunho, dividir um problema em subperguntas e agregar. Parte disso agora vem embutida, treinada em modelos que decidem sozinhos por quanto tempo pensar. O elaborado pipeline de várias chamadas que superava uma única chamada dois anos atrás pode ser superado por uma única chamada a um modelo mais novo, a custo menor e com menos lugares para falhar.

A atração do conserto esperto

O relato de Sutton sobre a lição amarga inclui uma afirmação sobre psicologia, e ela serve tanto para equipes de produto quanto para pesquisadores. O conserto que contorna uma falha do modelo é concreto. Aparece numa demonstração na mesma tarde. A pessoa que o escreveu entende exatamente por que funciona, uma satisfação que "esperar o próximo modelo" não oferece. As organizações acrescentam uma segunda força: um andaime, uma vez construído, ganha dono, repositório e uma linha no roadmap, e apagá-lo parece criticar o trabalho de alguém. O custo de mantê-lo se dilui em latência, tokens e fragilidade, de modo que ninguém recebe uma conta com o nome dele.

O remédio é tornar a remoção rotineira e não pessoal. Um andaime que entra na base de código com uma finalidade declarada, um benefício medido e uma data de revisão pode sair quando a revisão mandar, e ninguém foi julgado. Parece burocracia, mas é a mesma disciplina de uma feature flag com prazo de validade.

Três tipos de andaime

Nem toda estrutura em volta de um modelo é igual, e separá-las é o exercício útil. Um tipo compensa uma fraqueza do modelo: ele não conta com confiabilidade, esquece instruções num prompt longo, perde o fio de um problema de vários passos, formata a saída de modo inconsistente. Outro tipo codifica conhecimento sobre o seu mundo que o modelo não poderia ter: o catálogo de produtos, a política de reembolso, o esquema do banco de dados, o que os reguladores exigem, quais clientes são protegidos por cláusulas contratuais. O primeiro tipo é perecível por construção, já que os construtores de modelos trabalham justamente nessas fraquezas. O segundo não depende do progresso do modelo e se torna mais valioso quando o modelo melhora no uso dele. Existe um terceiro tipo, de garantia, que nada tem a ver com capacidade: a etapa de aprovação antes de um reembolso acima de determinado valor, a verificação de permissão numa escrita no banco, o log de auditoria de cada chamada de ferramenta. Um modelo mais inteligente não aposenta nada disso, porque existem para que uma pessoa ou um regulador possa responder pelo que o sistema fez.

Um livro-razão torna a distinção concreta. Considere um pipeline de classificação de documentos construído em 2024 e examine suas partes.

Peça	O que compensa	Evidência de que ajuda	Reteste quando
"Pense passo a passo" no prompt	Raciocínio fraco em vários passos	Acurácia com e sem, nos seus casos	A cada troca de modelo
Cadeia de cinco chamadas (extrair, normalizar, classificar, verificar, formatar)	Erros quando um prompt faz tudo	Acurácia por etapa contra a linha de base de chamada única	A cada troca de modelo
Laço de repetição com checagem por regex na saída	Formatação pouco confiável	Fração das saídas que falham na checagem	A cada troca de modelo
Tabela de doze regras ligando fornecedores a categorias contábeis	Nada: é política da empresa	É a especificação	Quando a política mudar
Recuperação das cláusulas contratuais do cliente	O modelo não tem dados privados	As respostas citam a cláusula certa	Quando o repositório de contratos mudar
Aprovação humana para créditos acima de certo valor	Nada: é responsabilização	Exigida por política e auditoria	Quando a política mudar

As três primeiras linhas são apostas contra o próximo modelo. As três últimas não são, e um modelo mais forte melhora a do meio. O esforço tende a fluir para as linhas que vão expirar e a se afastar das que duram, porque as peças perecíveis são as que produzem melhoria visível rápido.

O custo de carregar uma peça perecível pode ser calculado. Suponha que a cadeia de cinco chamadas da tabela leve 1,2 segundo por chamada, de modo que um documento leve 6 segundos, e que cada chamada reenvie o documento de 3.000 tokens. São 15.000 tokens de entrada por documento contra 3.000 de uma chamada única. A um preço ilustrativo de US$ 2 por milhão de tokens de entrada, a cadeia custa US$ 0,030 por documento e a chamada única US$ 0,006. Em 200.000 documentos por mês, a diferença é de US$ 4.800, além de uma espera quatro vezes maior. Se um modelo mais novo faz o trabalho todo em uma chamada com a mesma acurácia, essa diferença é puro imposto pela manutenção do desenho antigo.

Onde a lição pode não se aplicar

Há objeções justas. Sutton escreveu sobre programas de pesquisa medidos em décadas, e uma equipe de produto entrega por trimestre. Um paliativo que funciona hoje e custa um dia para remover depois é uma decisão de engenharia sensata. A lição defende que se precifique a remoção, não que se recuse a construir.

Uma segunda objeção é que a premissa de computação cada vez mais barata enfrenta limites. A computação em tempo de teste não é de graça: modelos de raciocínio podem produzir milhares de tokens ocultos por resposta, cobrados como saída, o que pode tornar uma chamada várias vezes mais cara que uma comum. Onde a tarefa é de alto volume e simples, um modelo pequeno com um prompt preciso e um validador pode continuar sendo a resposta de engenharia correta por anos, porque a abordagem mais forte custa mais do que a tarefa vale.

Uma terceira é que o próprio Sutton não acredita que a abordagem atual complete a história. Numa entrevista de setembro de 2025 a Dwarkesh Patel, ele argumentou, segundo o resumo de Patel, que os modelos de linguagem aprendem a prever o que as pessoas diriam e não o que acontece no mundo, e que o campo precisará de sistemas que aprendam continuamente com a experiência. Com David Silver, ele havia feito um argumento relacionado num artigo de abril de 2025 sobre uma "era da experiência". Se ele estiver certo, a próxima grande mudança no desenho de aplicações pode vir de uma direção que o andaime de hoje não antecipa. A lição também recomenda humildade aqui: apostas em uma arquitetura específica podem envelhecer tão depressa quanto apostas em um prompt específico.

Faça o teste do dia da atualização

O hábito prático é barato. Toda vez que um modelo novo chega, rode sua suíte de avaliação duas vezes, uma com o andaime no lugar e outra com as peças perecíveis desligadas: a instrução passo a passo, a chamada extra de verificação, o laço de repetição, a cadeia de várias chamadas reduzida a uma única. Compare acurácia, latência e custo por tarefa, com intervalos. Onde a versão com andaime não vence mais, apague-a. Onde ainda vence, registre por quanto e marque a próxima revisão para o próximo modelo.

Depois de alguns ciclos de lançamento, o livro-razão mostra quais das suas decisões foram duradouras. As peças que codificam as regras, os dados e as obrigações da sua empresa mantêm o valor em toda atualização, e são elas que merecem o investimento, a documentação e os responsáveis. As peças que compensam as fraquezas do modelo vão desaparecer quase todas, e a economia de apagá-las chega sem nenhuma engenharia nova.

Fontes

Sutton, R. (13 de março de 2019). The Bitter Lesson. incompleteideas.net/IncIdeas/BitterLesson.html.
Wei, J., Wang, X., Schuurmans, D., et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. NeurIPS 2022. arXiv:2201.11903.
Kojima, T., Gu, S. S., Reid, M., Matsuo, Y., Iwasawa, Y. (2022). Large Language Models are Zero-Shot Reasoners. NeurIPS 2022. arXiv:2205.11916.
DeepSeek-AI (2025). DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning. Nature 645, 633-638. arXiv:2501.12948.
Meincke, L., Mollick, E., Mollick, L., Shapiro, D. (2025). Prompting Science Report 2: The Decreasing Value of Chain of Thought in Prompting. Wharton Generative AI Labs. arXiv:2506.07142.
Snell, C., Lee, J., Xu, K., Kumar, A. (2024). Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters. arXiv:2408.03314.
Patel, D. (setembro de 2025). Richard Sutton, Father of RL, Thinks LLMs Are a Dead End. Dwarkesh Podcast. dwarkesh.com/p/richard-sutton.
Silver, D., Sutton, R. S. (2025). Welcome to the Era of Experience. Pré-publicação, abril de 2025.