A economia da inferência define o produto que você consegue bancar

Tome o Llama 3.1 70B, um modelo cuja configuração é pública: 80 camadas, 8 cabeças de chave-valor, 128 dimensões por cabeça. Para cada token que uma conversa mantém, o servidor guarda um vetor de chave e um vetor de valor em todas as camadas. Em precisão de 16 bits isso dá 2 × 80 × 8 × 128 × 2 bytes, ou 327.680 bytes por token. Preencha a janela de 128.000 tokens do modelo e uma única conversa ocupa cerca de 43 gigabytes, aproximadamente 40 GiB, de memória de GPU. Os pesos do modelo, a 16 bits por parâmetro, ocupam 140 GB. Um único usuário com um documento longo aberto segura quase um terço da memória do próprio modelo.

Começo por esse número porque ele torna legível a tabela de preços de um provedor de IA. Os preços parecem arbitrários até você enxergar a restrição de hardware por baixo: tokens de saída custam várias vezes o que custam os de entrada, tokens em cache custam uma fração, jobs em lote custam metade, e alguns provedores cobram mais por token quando o prompt passa de certo tamanho. Tudo isso decorre de dois fatos sobre como transformers são servidos. Uma equipe que os entende consegue desenhar um produto barato de operar. Uma equipe que trata o modelo como caixa-preta com tarifa por token descobre o que seu desenho custa na primeira fatura.

A decodificação espera pela memória, não pela aritmética

Atender uma requisição tem duas fases. No prefill, o modelo lê o prompt inteiro de uma vez e monta o cache de chave-valor. Os tokens são processados em paralelo, então o trabalho é multiplicação densa de matrizes e o chip é limitado pela sua velocidade aritmética. Na decodificação, o modelo emite um token por vez, cada um dependendo do anterior, e cada passo precisa transmitir os pesos do modelo da memória para as unidades de cálculo.

A consequência aparece numa conta que qualquer pessoa pode refazer. Uma H100 (variante SXM) tem cerca de 3,35 terabytes por segundo de largura de banda de memória e cerca de 989 teraflops de cálculo BF16 denso. Um modelo de 70 bilhões de parâmetros exige cerca de 140 gigaflops por token gerado (duas operações por parâmetro) e, a 16 bits, 140 GB de pesos a ler por passo. Imagine por um instante que uma única GPU guardasse o modelo inteiro. O cálculo sozinho permitiria uns 7.000 tokens por segundo. A largura de banda sozinha permitiria uns 24 passos por segundo, porque cada passo precisa ler 140 GB.

Se um passo atende uma conversa, o chip produz 24 tokens por segundo e usa bem menos de um por cento da sua capacidade aritmética. Se um passo atende 300 conversas ao mesmo tempo, a mesma leitura de pesos produz 300 tokens, e cálculo e largura de banda ficam carregados de modo parecido. Dividir o modelo entre várias GPUs divide os dois números e deixa a razão como está. O ponto de equilíbrio fica perto de 300 sequências simultâneas. Abaixo disso, o hardware espera pela memória, e o custo de cada token é sobretudo o custo de dividir uma leitura de pesos entre poucas pessoas.

É por isso que servir modelos é um problema de agrupamento em lotes, e é por isso que os provedores conseguem vender tokens. Também explica um piso de latência que nenhum truque de software remove: um nó de oito GPUs com 17,5 GB de pesos por placa ainda precisa ler essa quantidade a cada passo, o que leva cerca de 5 milissegundos a 3,35 TB/s. Gerar uma resposta de 500 tokens leva pelo menos dois segundos e meio de decodificação, mesmo com o sistema ocioso. O prefill é diferente. Um prompt longo custa cálculo, mas chega em uma única passada paralela.

O cache é memória alugada por conversa

O agrupamento em lotes tem um limite, e o limite é o cache KV. Toda conversa ativa precisa do seu próprio cache, dimensionado em 327.680 bytes por token para o modelo acima. Com 8.000 tokens, são 2,7 GB. Com 128.000 tokens, 43 GB.

Considere um nó ilustrativo de oito GPUs de 80 GB. Os pesos usam 140 GB e sobram uns 500 GB para caches, antes das sobrecargas. Há espaço para cerca de 185 conversas de 8.000 tokens, ou cerca de 11 conversas de 128.000 tokens. Um usuário de contexto longo ocupa o lugar de dezesseis de contexto curto. Um preço fixo por token esconde isso, e é por isso que alguns provedores passaram a cobrar diretamente. A tabela de preços do Claude Haiku 5.5 da Anthropic, em outubro de 2026, é de US$ 0,10 por milhão de tokens de entrada e US$ 0,50 por milhão de tokens de saída para prompts de até 100.000 tokens, e cinco vezes isso acima do limite. O acréscimo é o jeito de o provedor repassar a memória que um prompt longo segura.

O modo como os caches são gerenciados importa tanto quanto o tamanho deles. Woosuk Kwon e colegas, em sua maioria da UC Berkeley, argumentaram no artigo do vLLM (SOSP 2023) que os sistemas de serviço da época desperdiçavam memória de cache por fragmentação e duplicação, o que limitava o tamanho dos lotes. O método PagedAttention, que guarda o cache em blocos de tamanho fixo como um sistema operacional faz com a paginação de memória, melhorou a vazão de 2 a 4 vezes com a mesma latência nos sistemas usados como comparação. Um ganho desse tamanho obtido só com gestão de memória diz o quanto a restrição aperta.

Quem projeta modelos ataca a mesma restrição pelo outro lado, e as escolhas deles viram a sua estrutura de custos. A atenção por consultas agrupadas (grouped-query attention), apresentada por Joshua Ainslie e colegas do Google em 2023, deixa várias cabeças de consulta compartilharem uma cabeça de chave-valor. O Llama 3.1 70B tem 64 cabeças de consulta e apenas 8 de chave-valor. Se tivesse mantido um par separado para cada cabeça, o cache custaria cerca de 2,6 MB por token em vez de 0,33 MB, e uma conversa completa de 128.000 tokens guardaria perto de 340 GB. A decodificação especulativa, de Yaniv Leviathan, Matan Kalman e Yossi Matias, também do Google, ataca o gargalo sequencial: um modelo pequeno propõe vários tokens, o modelo grande os confere numa única passada paralela e mantém os que aprova, e a saída é idêntica à decodificação comum. Eles relataram acelerações de duas a três vezes no T5-XXL. A quantização guarda pesos e caches em 8 ou 4 bits, o que reduz tanto a memória lida por passo quanto a memória mantida por conversa, a um custo de qualidade que precisa ser medido na sua própria tarefa. Quem compra a API encontra essas técnicas como preços menores ou respostas mais rápidas. Quem hospeda os próprios modelos pode escolher entre elas.

Uma tabela de preços é física em dólares

A tabela atual de preços da Anthropic deixa um padrão consistente à vista. Em todos os seus modelos em outubro de 2026, os tokens de saída custam cinco vezes os de entrada: Haiku 5.5 a US$ 0,10 e US$ 0,50, Sonnet 5.5 a US$ 2 e US$ 10, Opus 5.5 a US$ 4 e US$ 20. Ler de um cache custa um décimo do preço de entrada na maioria dos modelos e 5% ou menos em vários dos mais novos. Requisições em lote têm 50% de desconto em ambos. No lançamento, em agosto de 2025, a OpenAI listou o GPT-5 a US$ 1,25 de entrada e US$ 10 de saída por milhão de tokens, uma diferença de oito vezes, de modo que a razão exata varia por fornecedor enquanto a direção não varia.

Os provedores não publicam suas bases de custo, então o que segue é a minha leitura, não uma declaração deles. O prêmio da saída combina com o gargalo da decodificação: cada token de saída é um passo sequencial que ocupa uma vaga no lote e relê os pesos. O desconto do cache combina com o fato de que um prefixo em cache já pagou pelo seu prefill, e o que sobra é aluguel de memória. O desconto do lote combina com a chance de preencher capacidade ociosa fora do horário de pico, quando ninguém está esperando a resposta. Visto assim, a tabela diz a uma equipe de produto onde os custos do provedor são baixos e onde são altos, que é o que um bom projetista quer saber.

Os modelos de raciocínio agravam o prêmio da saída. Os tokens de pensamento que um modelo produz antes de responder são cobrados como saída. Uma requisição que devolve uma resposta de 100 tokens depois de 5.000 tokens de raciocínio é cobrada por 5.100 tokens de saída, e a fatura é dominada por um texto que o usuário nunca vê.

Quanto custa um prompt de sistema de 6.000 tokens

Considere um assistente de suporte construído como exemplo, precificado pela tabela do Sonnet 5.5: US$ 2 por milhão de tokens de entrada, US$ 10 por milhão de saída, US$ 2,50 por milhão para gravar um prefixo no cache de 5 minutos e US$ 0,10 por milhão para ler dele. O prompt de sistema e o texto de políticas somam 6.000 tokens. Uma conversa tem 8 turnos. Cada mensagem do usuário tem 300 tokens e cada resposta, 250.

A entrada cresce a cada turno, porque o histórico é reenviado. O turno 1 envia 6.300 tokens, o turno 2 envia 6.850, e assim por diante até 10.150 no turno 8. Somada nos oito turnos, a entrada é de 65.800 tokens. A saída é de 2.000 tokens. Sem cache, a entrada custa US$ 0,1316 e a saída US$ 0,0200, de modo que uma conversa custa cerca de US$ 0,152. Com 10.000 conversas por dia, são uns US$ 1.500 por dia.

Agora ponha em cache só o prefixo de 6.000 tokens. O primeiro turno o grava (US$ 0,0150), os sete turnos seguintes o leem (7 × 6.000 tokens × US$ 0,10 por milhão, cerca de US$ 0,0042), e os 17.800 tokens restantes de entrada são cobrados à tarifa normal (US$ 0,0356). Com o custo de saída inalterado, a conversa custa cerca de US$ 0,075, aproximadamente metade. Nada mudou no modelo nem na qualidade. A economia veio de pôr o material estático na frente e mantê-lo idêntico, byte a byte, de uma requisição para a outra.

A mesma aritmética mostra algo sobre a saída. Os 2.000 tokens de saída são 3% de todos os tokens da conversa e 27% da fatura com cache. Encurtar as respostas em um terço, com um formato mais enxuto ou uma instrução mais estrita, reduz o custo da conversa em cerca de 9%. Cortar um terço do prompt de sistema em cache, 2.000 tokens de políticas escritas com cuidado, economiza aproximadamente o mesmo e põe em risco o comportamento para o qual aquele texto existe. Aparar o prompt é a primeira coisa em que a maioria pensa, e os números dizem que a resposta é o alvo mais seguro.

Esses cálculos sugerem algumas práticas. Mantenha as partes estáveis do prompt na frente e as voláteis no fim, já que mudar um único token no começo invalida tudo o que vem depois. Versione o prompt de sistema de propósito e trate cada edição como algo com custo de cache. Resumir turnos antigos poupa tokens, mas reescreve o prefixo, então meça a troca em vez de presumi-la. Mande o trabalho não interativo, como a classificação noturna ou o enriquecimento de documentos, para endpoints em lote pela metade do preço. Limite o tamanho do contexto por faixa de produto em vez de deixá-lo aberto, porque a memória que uma conversa segura é a forma menos visível de ela custar dinheiro.

Preços em queda não aposentam o problema de projeto

A objeção óbvia é que nada disso vai durar, porque os preços dos tokens caem depressa. Caem mesmo. A Epoch AI estima que o preço de atingir um nível fixo de desempenho cai cerca de 40 vezes por ano, com taxas de 9 a 900 vezes conforme o benchmark e o patamar de desempenho. O AI Index 2025 de Stanford, trabalhando com dados da Epoch, relata a mesma faixa. Uma arquitetura ajustada à tabela de hoje pode parecer apertada no ano que vem.

Três coisas limitam o conforto. Primeiro, a queda é medida em capacidade fixa. As equipes costumam querer o melhor modelo disponível, e o preço da faixa mais alta não está caindo 40 vezes ao ano: a faixa de topo da Anthropic custa US$ 10 e US$ 50 por milhão de tokens. Segundo, os projetos consomem o que recebem. A Anthropic informa que agentes usam cerca de quatro vezes os tokens de um chat e sistemas multiagentes cerca de quinze vezes, o que significa que tokens mais baratos são gastos em mais passos. Terceiro, a própria Epoch alerta que as quedas mais rápidas ocorreram no ano mais recente e podem não persistir.

Mais útil do que qualquer nível de preço é a estrutura. A saída custa um múltiplo da entrada, prefixos em cache custam uma fração, a memória cresce com o contexto e o lote é barato. Essas relações vêm das restrições de hardware descritas acima e se mantiveram em todos os cortes de preço até agora. Um projeto que as explora continua eficiente enquanto os valores absolutos se movem.

Ponha o orçamento na especificação

A maioria das especificações de produto lista metas de latência e não diz nada sobre tokens. Uma especificação melhor declara, para cada tarefa visível ao usuário, o tempo até o primeiro token no percentil 95, o tempo total no percentil 95 e um orçamento de tokens dividido em entrada em cache, entrada nova e saída. O orçamento produz um custo por tarefa, e o custo por tarefa, comparado com o que vale uma tarefa bem-sucedida, diz se o produto tem margem.

Projetos que não conseguem declarar esses números não estão prontos para revisão. Uma equipe que consegue declará-los fez escolhas sobre o layout do prefixo, o tamanho das respostas, os limites de contexto, o agrupamento em lotes e o roteamento, e vai perceber quando uma mudança em qualquer deles mexer na fatura. A primeira mudança a tentar é a mais barata da lista: ache o prefixo estático mais longo da sua maior carga de trabalho, leve-o para o começo do prompt e ligue o cache.

Fontes

1. Meta (2024). Configuração do modelo Llama 3.1 70B (80 camadas, 8 cabeças de chave-valor, dimensão de cabeça 128, 131.072 posições). Repositório de modelos do Hugging Face.
2. Kwon, W., Li, Z., Zhuang, S., et al. (2023). Efficient Memory Management for Large Language Model Serving with PagedAttention. SOSP 2023. arXiv:2309.06180.
3. NVIDIA. Folha de dados da GPU H100 Tensor Core (largura de banda de memória e vazão BF16).
4. Anthropic. Pricing, documentação para desenvolvedores do Claude (preços de tabela em outubro de 2026). platform.claude.com/docs/en/about-claude/pricing.
5. OpenAI (agosto de 2025). Anúncio de preços da API do GPT-5.
6. Epoch AI. LLM inference price trends. epoch.ai/data-insights/llm-inference-price-trends.
7. Stanford Institute for Human-Centered AI (2025). The AI Index Report 2025.
8. Anthropic (junho de 2025). How we built our multi-agent research system. anthropic.com/engineering/multi-agent-research-system.
9. Ainslie, J., Lee-Thorp, J., de Jong, M., et al. (2023). GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints. EMNLP 2023. arXiv:2305.13245.
10. Leviathan, Y., Kalman, M., Matias, Y. (2023). Fast Inference from Transformers via Speculative Decoding. ICML 2023. arXiv:2211.17192.