O que o Transformer mudou foi a ordem da computação

O artigo que apresentou o Transformer relatou dois resultados de tradução. Na tarefa WMT 2014 de inglês para alemão, obteve 28,4 de BLEU, mais de dois pontos acima dos melhores resultados anteriores, incluindo conjuntos de modelos. De inglês para francês, chegou a 41,8, um novo recorde para um único modelo. Uma terceira frase do resumo recebe menos atenção do que as notas: o modelo para o francês foi treinado em três dias e meio com oito GPUs, o que os autores descrevem como uma pequena fração do custo de treino dos melhores modelos da literatura.

Essa frase é a parte do artigo que melhor envelheceu. Ganhos de um par de pontos de BLEU são a moeda corrente da pesquisa em tradução automática e foram superados muitas vezes. Um modelo que treina em dias em aceleradores comuns, porque sua estrutura os mantém ocupados, mudou o que se podia tentar. Três dias e meio com oito GPUs dão 672 horas de GPU. A ficha do modelo Llama 3.1 405B, da Meta, lista 30,84 milhões de horas de GPU H100, cerca de 46.000 vezes mais. Os dois chips diferem em uma ordem de grandeza de velocidade, então a comparação é tosca, mas indica o quanto o campo andou no eixo que o artigo de 2017 abriu. Minha tese neste ensaio é que a contribuição duradoura do Transformer foi um rearranjo da ordem em que a computação acontece, e que a maior parte do que veio depois, do pré-treinamento à escala dos modelos atuais, foi tornada possível por esse rearranjo. Ele também fixou uma estrutura de custos da qual o campo ainda tenta escapar.

A atenção já existia

O título do artigo, "Attention Is All You Need", estimula a leitura de que a atenção foi a descoberta. Não foi. Em 2014, Dzmitry Bahdanau, Kyunghyun Cho e Yoshua Bengio argumentaram que codificar uma frase de origem inteira em um único vetor de tamanho fixo era um gargalo para modelos de tradução, e propuseram deixar o decodificador buscar de forma suave, na frase de origem, as partes relevantes para cada palavra que produzia. O sistema deles igualou um tradutor de estado da arte baseado em frases no par inglês-francês. A atenção virou depois um complemento padrão das redes recorrentes, a família de modelos que lê uma sequência um elemento por vez e carrega um estado oculto adiante.

O Transformer manteve a atenção e descartou a recorrência. O título era uma afirmação sobre essa segunda metade: a maquinaria recorrente não acrescentava nada que a atenção já não fornecesse. A mudança importa por causa do que a recorrência impõe. Uma camada recorrente calcula o estado na posição t a partir do estado na posição t − 1, de modo que uma sequência de 2.000 tokens exige 2.000 passos dependentes, e nenhuma quantidade de hardware encurta a cadeia. Uma GPU ou TPU tem milhares de unidades aritméticas feitas para trabalhar ao mesmo tempo, e uma rede recorrente lhes entrega uma pequena operação de matriz por vez.

A mudança estava no grafo de dependências

A Tabela 1 do artigo compara tipos de camada em três medidas. A autoatenção tem custo da ordem de n²·d por camada para uma sequência de comprimento n e largura de representação d, contra n·d² de uma camada recorrente. Precisa de um número constante de operações sequenciais, contra n da camada recorrente. E duas posições quaisquer são ligadas por um caminho de comprimento constante, em vez de um caminho cujo comprimento cresce com a distância entre elas. Os autores observam que a autoatenção é a mais barata das duas sempre que n é menor que d, o que era verdade para as entradas do tamanho de frases de 2017 e para modelos cujo d era 512 ou 1.024.

A coluna de operações sequenciais foi a que importou na década seguinte. Com atenção, todas as posições de uma camada são calculadas de uma vez, como um punhado de grandes multiplicações de matrizes que se encaixam bem em um hardware construído para fazer exatamente isso. O tempo de treino deixa de ser proporcional ao comprimento da sequência vezes a profundidade e passa a ser limitado pela vazão. Uma contagem aproximada mostra o tamanho da diferença. Um passo recorrente multiplica um lote de estados ocultos, digamos 64, pelas matrizes de pesos da camada. Uma camada Transformer multiplica as 64 sequências de 2.048 tokens numa só operação, 131.072 vetores de tokens contra os mesmos pesos. Cada peso buscado na memória faz 2.048 vezes mais aritmética, e essa razão é a diferença entre um acelerador que espera pela memória e um que calcula. A mesma propriedade tornou viável treinar com documentos longos, muitos documentos de cada vez e, no fim, a maior parte do texto da internet pública.

O comprimento constante do caminho foi um segundo benefício, mais discreto. Numa rede recorrente, a informação do começo de um parágrafo precisa sobreviver a muitas atualizações de estado para influenciar o fim. Num Transformer, uma camada de atenção deixa o último token olhar diretamente para o primeiro. Isso ajuda com dependências de longo alcance e com os problemas de otimização que atormentavam o treino de redes recorrentes profundas.

A computação virou a variável

Em um ano, dois sistemas mostraram para que servia a propriedade. O GPT (2018) pré-treinou um Transformer para prever o próximo token num grande corpus de livros e o ajustou para tarefas individuais. O BERT (2018) pré-treinou uma versão bidirecional, mascarando palavras e recuperando-as. Ambos usaram texto sem rótulos, que existe em quantidade quase ilimitada, e ambos dependiam de poder treinar um modelo grande com muito texto em tempo razoável. A receita de pré-treinar em escala e depois adaptar substituiu uma década de arquiteturas específicas para cada tarefa.

Em 2020, Jared Kaplan e colegas da OpenAI relataram que a perda em modelagem de linguagem cai como uma lei de potência no tamanho do modelo, no tamanho do conjunto de dados e na computação de treino, ao longo de mais de sete ordens de grandeza. Constataram também que detalhes arquiteturais como largura e profundidade tinham efeitos mínimos dentro de uma faixa ampla. Juntas, as duas conclusões transformaram um problema de pesquisa em um problema de orçamento. Se o formato da rede importa pouco e a perda segue uma curva suave na computação, o caminho para um modelo melhor é gastar mais, e a arquitetura que permite gastar com mais eficiência é a que vence.

É fácil pôr números na escala da mudança. O modelo base do artigo original tinha seis camadas no codificador e seis no decodificador e cerca de 65 milhões de parâmetros. O Llama 3.1 405B, da Meta, lançado sete anos depois, tem 126 camadas e 405 bilhões de parâmetros, cerca de 6.000 vezes mais. O bloco repetido dentro dele seria reconhecível pelos autores de 2017: uma subcamada de atenção e uma subcamada feed-forward, cada uma envolvida por uma conexão residual e uma normalização. Os refinamentos são reais, mas incrementais. A normalização de camada foi para a frente de cada subcamada. Embeddings posicionais rotativos substituíram os senoidais. A atenção por consultas agrupadas encolheu o cache. Uma ativação com portas substituiu a simples. Uma década de esforço foi gasta para tornar o mesmo bloco maior e mais barato de rodar, não para substituí-lo.

Uma interface para toda tarefa

Uma segunda mudança veio junto com a primeira e recebe menos crédito. Antes de 2018, cada tarefa de linguagem tendia a ter sua própria arquitetura e seu próprio conjunto de dados rotulados: um etiquetador aqui, um modelo de perguntas e respostas ali. Um único Transformer treinado para prever texto podia ser apontado para qualquer uma delas. Colin Raffel e colegas do Google (T5, 2019) tornaram a ideia explícita ao reformular toda tarefa como texto de entrada e texto de saída, de modo que tradução, classificação e resumo compartilhassem um modelo e uma função de perda. Em 2020, Tom Brown e colegas da OpenAI mostraram que um modelo só de decodificador, com 175 bilhões de parâmetros, podia executar tarefas novas a partir de alguns exemplos postos no prompt, sem nenhuma atualização de pesos.

Essa interface é o motivo de os modelos de linguagem terem virado plataforma. Um prompt é um programa escrito no formato de entrada do próprio modelo, e quem sabe escrever pode tentar um. A categoria de produtos dos últimos três anos, de assistentes de chat a agentes, repousa numa propriedade do objetivo de treino da arquitetura e não em algum truque técnico isolado. O artigo original era um artigo de tradução, com codificador e decodificador. Os descendentes só de decodificador descartaram metade dele.

A conta chega na inferência

O paralelismo foi pago com custo quadrático. Comparar cada posição com todas as outras significa uma matriz de pontuações n × n por cabeça por camada. Para uma janela de 131.072 tokens, são cerca de 17 bilhões de pontuações por cabeça por camada, e a cada passo de geração o novo token ainda precisa ser pontuado contra todos os 131.072 anteriores em cada cabeça e cada camada. O cache que poupa o modelo de recalcular o passado cresce linearmente com o comprimento, para cada conversa mantida em memória. O custo de atenção, desprezível para frases de 50 palavras, define hoje a economia dos produtos de contexto longo. Os autores originais viram o problema chegar. A conclusão do artigo diz que planejavam investigar mecanismos de atenção local e restrita para lidar com entradas e saídas grandes, como imagens, áudio e vídeo. Nove anos depois, essa frase soa como uma agenda de pesquisa ainda em aberto.

É aqui que a história de origem do Transformer encontra seus limites atuais. O projeto trocou tempo sequencial no treino por trabalho quadrático no comprimento da sequência, e em 2017 era um bom negócio, já que as sequências eram curtas e o tempo de treino era a restrição. Hoje o treino roda uma vez e o serviço roda bilhões de vezes, com sequências milhares de vezes mais longas. A troca que fez a arquitetura vencer não é a que agora domina o seu custo.

O que os híbridos concedem

A resposta mais visível em 2025 foi manter a atenção, mas usar menos dela. Uma família de modelos híbridos troca a maior parte das camadas de atenção por camadas de tempo linear, como as camadas de espaço de estados da família Mamba ou variantes de atenção linear com portas, que comprimem o passado em um estado de tamanho fixo e por isso dispensam um cache crescente. Os modelos Granite 4.0 da IBM, anunciados em 2 de outubro de 2025, intercalam camadas Mamba-2 e camadas de transformer na proporção de 9:1, e a IBM informa redução de mais de 70% da memória para entradas longas e muitas sessões simultâneas. O Nemotron-H, da NVIDIA, troca a maioria das camadas de atenção por camadas Mamba. O Kimi Linear, da Moonshot, um modelo de 48 bilhões de parâmetros com 3 bilhões ativos, combina uma camada de atenção linear com atenção latente e informa até 75% menos cache KV e até seis vezes a vazão de decodificação com um milhão de tokens. O Qwen3-Next, da Alibaba, segue um plano parecido. São números informados pelos fornecedores, em comparações escolhidas por eles, e devem ser lidos assim.

A estrutura do compromisso informa mais do que os números. Todos esses projetos mantêm algumas camadas de atenção plena. A explicação usual é que comprimir o passado em um estado de tamanho fixo faz perder a capacidade de recordar com exatidão um detalhe anterior qualquer, e a recordação exata é o que a atenção faz melhor, de modo que os projetistas mantêm uma minoria de camadas de atenção para cobri-la. O resultado é um modelo que parece um Transformer com a maior parte da atenção removida. Se é nisso que a arquitetura se estabiliza, o artigo de 2017 acertou sobre a atenção e o campo agora descobre quão pouco dela basta.

O que um comprador deve tirar disso

A maioria dos leitores não vai treinar uma arquitetura, mas as propriedades dela chegam às suas faturas e aos seus resultados. O preço do contexto longo, a pegada de memória das sessões simultâneas e a qualidade da recuperação em entradas muito longas remontam à estrutura de custos da atenção e aos atalhos usados para reduzi-la. Quando um fornecedor vende um modelo pela eficiência em contexto longo, as perguntas úteis são as que tratam da troca: quanta recordação exata o modelo mantém nos comprimentos de entrada que você usa, e a sua pilha de serviço tem implementações eficientes dos novos tipos de camada? Uma economia medida na pilha do fornecedor não se transfere automaticamente para a sua.

O contra-argumento é que nada disso é estrutural, porque a escala e os dados fizeram o trabalho e qualquer arquitetura suficientemente flexível teria vencido. A conclusão de Kaplan de que profundidade e largura importam pouco numa faixa ampla sustenta parte dessa visão. Mas ela não diz que todas as arquiteturas são intercambiáveis, só que variações dentro de uma família são menores. Uma família que não usa bem o hardware nunca chega à parte da curva em que gastar mais compensa. Dizer que a escala fez o trabalho e dizer que a arquitetura tornou a escala possível é a mesma observação vista de dois lados.

A próxima mudança arquitetural provavelmente será julgada do mesmo modo, pelo que torna barato. Um projeto que corte o custo de uma janela de um milhão de tokens por um fator de quatro vai redesenhar quais produtos são viáveis, sejam quais forem suas notas em benchmarks. A terceira frase do resumo de 2017 é o modelo para lê-la: olhe além do número de destaque, na direção da linha sobre o custo de treino.

Fontes

Vaswani, A., Shazeer, N., Parmar, N., et al. (2017). Attention Is All You Need. Advances in Neural Information Processing Systems 30. arXiv:1706.03762.
Bahdanau, D., Cho, K., Bengio, Y. (2015). Neural Machine Translation by Jointly Learning to Align and Translate. ICLR 2015. arXiv:1409.0473.
Kaplan, J., McCandlish, S., Henighan, T., et al. (2020). Scaling Laws for Neural Language Models. arXiv:2001.08361.
IBM (2 de outubro de 2025). IBM Granite 4.0: hyper-efficient, high performance hybrid models for enterprise. ibm.com/new/announcements.
NVIDIA (2025). Nemotron-H: A Family of Accurate and Efficient Hybrid Mamba-Transformer Models. arXiv:2504.03624.
Kimi Team (2025). Kimi Linear: An Expressive, Efficient Attention Architecture. arXiv:2510.26692.
Meta (2024). The Llama 3 Herd of Models. arXiv:2407.21783.
Equipe Qwen, Alibaba (setembro de 2025). Qwen3-Next, anúncio do modelo (híbrido de atenção linear com portas e camadas de atenção com portas).
Raffel, C., Shazeer, N., Roberts, A., et al. (2020). Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. Journal of Machine Learning Research 21. arXiv:1910.10683.
Brown, T., Mann, B., Ryder, N., et al. (2020). Language Models are Few-Shot Learners. NeurIPS 2020. arXiv:2005.14165.
Meta (2024). Ficha do modelo Llama 3.1, tempo de treino em horas de GPU. github.com/meta-llama/llama-models.