Voltar

Leis de escala preveem a perda, e a previsão mudou duas vezes

·13 min de leitura

Em março de 2022, um grupo da DeepMind liderado por Jordan Hoffmann lançou um modelo chamado Chinchilla. Tinha 70 bilhões de parâmetros e foi treinado com o mesmo orçamento de computação do Gopher, o modelo de 280 bilhões de parâmetros da própria DeepMind, de três meses antes. O Chinchilla superou o Gopher em muitas tarefas distintas e também o GPT-3 (175 bilhões), o Jurassic-1 (178 bilhões) e o Megatron-Turing NLG (530 bilhões). Atingiu 67,5% no benchmark MMLU, mais de sete pontos acima do Gopher. O modo como conseguiu foi pouco glamoroso. Era um modelo menor, treinado com cerca de quatro vezes mais texto.

A conclusão do artigo foi direta. Os grandes modelos de linguagem da época estavam significativamente subtreinados, porque o campo aumentava parâmetros mantendo a quantidade de dados de treino mais ou menos constante. Não era uma esquisitice de um laboratório. Seguia a melhor orientação disponível, o estudo de leis de escala que Jared Kaplan e colegas da OpenAI haviam publicado dois anos antes, o qual sugerira que, com um orçamento crescente, a maior parte da computação extra devia ir para modelos maiores. Uma receita que guiou os experimentos mais caros do campo se revelou uma má alocação por um fator grande, e foram necessários dois anos e um contraexemplo caro para descobrir.

Começo por aí porque a expressão "leis de escala" carrega mais autoridade do que a evidência permite. São ajustes empíricos de curvas. São úteis, e foram revistas ao menos duas vezes: uma sobre como dividir um orçamento e outra, agora em andamento, sobre a existência dos dados para seguir a curva. Quem faz planos que dependem do que os modelos serão capazes de fazer daqui a dois anos deveria saber o que as curvas de fato preveem e de onde vêm as revisões.

O que uma lei de escala prevê

O estudo de Kaplan constatou que a perda de um modelo de linguagem, que é seu erro médio ao prever o próximo token em texto reservado, cai como uma lei de potência do número de parâmetros, do tamanho do conjunto de dados e da quantidade de computação de treino, numa faixa de mais de sete ordens de grandeza. Constatou também que largura e profundidade tinham efeitos mínimos dentro de uma faixa ampla. Uma lei de potência é uma reta num gráfico log-log, o que significa que a relação pode ser ajustada a partir de muitas execuções pequenas e baratas e estendida para uma grande e cara.

Esse é o uso prático. Um laboratório roda dezenas de modelos pequenos, ajusta a curva e prevê a perda de uma execução que custará dezenas de milhões de dólares antes de gastar o dinheiro. A previsão é quantitativa e tem um bom histórico para aquilo que mede.

O que ela mede é a perda, e perda não é utilidade. A nota de um modelo numa tarefa posterior depende da perda de um modo que pode parecer abrupto: uma capacidade parece surgir de repente numa certa escala. Rylan Schaeffer, Brando Miranda e Sanmi Koyejo argumentaram no NeurIPS 2023 que muitos desses saltos aparentes vêm da escolha da métrica. Uma nota de tudo ou nada, como a acurácia de correspondência exata num problema de vários passos, fica perto de zero enquanto a habilidade subjacente por token melhora suavemente, e depois sobe de repente quando todos os passos passam a ser prováveis de acertar. Troque por uma métrica que dê crédito parcial e o salto vira uma ladeira. A implicação para o planejamento é que as leis de escala preveem bem a quantidade suave e só indiretamente aquilo de que o negócio precisa, que é saber se o modelo faz a tarefa X com confiabilidade.

Os expoentes mostram como a curva é exigente. No ajuste de Kaplan, a perda cai com o número de parâmetros sem embeddings N como N elevado a menos 0,076. Dobrar os parâmetros, portanto, multiplica a perda por 2 elevado a −0,076, cerca de 0,949, uma melhora de 5%. Um aumento de dez vezes dá 10 elevado a −0,076, cerca de 0,839, uma melhora de 16%. Como um aumento de dez vezes nos parâmetros com dados fixos custa aproximadamente dez vezes a computação, cada 16% adicionais pedem outro fator de dez em gasto. A curva não tem precipício nem linha de chegada, apenas um preço que sobe sem parar, e por baixo dela há um piso definido pela imprevisibilidade da própria linguagem. É um quadro bem diferente daquele em que "escalar" significa que mais de tudo produz proporcionalmente mais inteligência. Também explica por que a intensidade de capital do treino de fronteira subiu tanto: uma curva suave e favorável, cujo custo cresce geometricamente, recompensa quem consegue financiar o passo seguinte.

A aritmética do treino ótimo em computação

A computação de treino de um transformer denso é de aproximadamente seis operações de ponto flutuante por parâmetro por token de treino, de modo que C ≈ 6·N·D, em que N é o número de parâmetros e D o de tokens. Para um C fixo, um N maior significa um D menor. A equipe de Hoffmann perguntou que divisão minimiza a perda, e a resposta foi proporções iguais: para cada dobra do tamanho do modelo, dobrar o número de tokens de treino.

O próprio Chinchilla mostra o efeito. Usou 70 bilhões de parâmetros e cerca de 1,4 trilhão de tokens, então 6 × 70 × 10⁹ × 1,4 × 10¹² dá cerca de 5,9 × 10²³ operações. O Gopher usou 280 bilhões de parâmetros e 300 bilhões de tokens, 6 × 280 × 10⁹ × 300 × 10⁹, cerca de 5,0 × 10²³. Os orçamentos eram da mesma ordem, e os dois modelos diferiam por um fator de quatro em tamanho e de quase cinco em dados. A razão a que o Chinchilla chegou, cerca de 20 tokens por parâmetro, virou a regra prática do campo para o que "ótimo em computação" quer dizer.

Ótimo para treinar não é ótimo para servir

A regra tem uma pegadinha que importa a quem paga pela inferência. O ótimo em computação minimiza o custo da execução de treino para uma dada perda. Um modelo é treinado uma vez e servido por anos, e o custo de servir cresce com o número de parâmetros. Um laboratório que espera uso intenso deve, portanto, treinar um modelo menor com muito mais tokens do que a razão do Chinchilla, aceitando uma execução de treino menos eficiente em troca de um produto mais barato. Nikhil Sardana e colegas da MosaicML e da Databricks deram números a isso num artigo do ICML de 2024, acrescentando um termo de inferência ao arcabouço do Chinchilla. Para um laboratório que espera uma demanda da ordem de um bilhão de requisições, concluíram que o modelo deve ser treinado menor e por mais tempo do que o ótimo do Chinchilla, e quanto maior a demanda esperada, mais o ótimo se afasta da regra original.

Os modelos Llama 3, da Meta, são o exemplo mais claro. O modelo de 8 bilhões de parâmetros foi treinado com mais de 15 trilhões de tokens, cerca de 1.900 tokens por parâmetro, perto de cem vezes a razão do Chinchilla. Sua computação de treino, 6 × 8 × 10⁹ × 15 × 10¹², chega a cerca de 7,2 × 10²³ operações, parecida com a do Chinchilla. O mesmo orçamento comprou um modelo com cerca de um nono do tamanho para servir. Se ele alcança a qualidade de um modelo de 70 bilhões depende da tarefa e da receita de treino, e a comparação não é entre sistemas iguais, mas a direção da troca é clara. O dinheiro gasto em tokens de treino é pago uma vez. O dinheiro poupado em parâmetros é poupado a cada requisição.

Isso explica algo sobre o formato dos catálogos de produtos que os fornecedores oferecem. Modelos pequenos e médios das famílias atuais costumam ser muito melhores do que seu número de parâmetros sugeriria em 2022, porque foram treinados muito além do ponto que a regra antiga recomendava. Para um comprador, é um motivo para testar a faixa mais barata antes de presumir que o maior modelo é necessário. É também um motivo para desconfiar de qualquer comparação que use o número de parâmetros como indicador de qualidade: dois modelos do mesmo tamanho podem diferir por um fator de dez ou mais nos tokens que viram, e o número de tokens raramente aparece na tabela de preços.

O muro de dados

Treinar por muito tempo um modelo pequeno exige grandes quantidades de texto, e o estoque de texto escrito por humanos é finito. Pablo Villalobos e colegas da Epoch AI estimaram em 2022, com atualização em 2024, quanto texto público utilizável existe. A estimativa de 2024 para o estoque efetivo, contando apenas texto bom o bastante para treino e admitindo passagens repetidas, é de aproximadamente 300 trilhões de tokens, com intervalo de 90% de 100 trilhões a 1.000 trilhões. Pelas tendências da época, projetaram que os modelos seriam treinados em conjuntos de dados aproximadamente iguais a esse estoque entre 2026 e 2032, e antes se forem muito supertreinados. Estamos em outubro de 2026, então o começo dessa janela chegou.

O contexto ajuda. Os 15 trilhões de tokens do Llama 3 equivalem a cerca de um vigésimo da estimativa de 300 trilhões. A computação de treino de fronteira, pela contagem da Epoch, cresce cerca de quatro a cinco vezes por ano, e se a necessidade de dados acompanhar a computação em algo parecido com esse ritmo, um vigésimo não dura muito: a 4,5 vezes por ano, um aumento de vinte vezes leva dois anos. A computação pode continuar crescendo enquanto dinheiro e energia aguentarem. O texto humano público, não.

Cada um dos caminhos para contornar o muro vem com uma pegadinha.

A repetição é o mais barato. Niklas Muennighoff e colegas constataram que treinar com até quatro passagens pelos mesmos dados produzia mudanças desprezíveis na perda em relação a dados novos, e que além disso o valor da computação extra decai a zero. Isso estica o estoque por um múltiplo pequeno, e o número efetivo da Epoch já o leva em conta.

Os dados sintéticos, textos gerados por modelos, podem em princípio fornecer qualquer quantidade. Mas Ilia Shumailov e colegas mostraram, num estudo depois publicado na Nature, que treinar repetidamente com conteúdo gerado por modelos faz as caudas da distribuição original desaparecerem, o que chamaram de colapso do modelo. O resultado vale para treino recursivo na própria saída do modelo sem dados humanos novos, e a situação prática é diferente, já que os laboratórios filtram e misturam. Ainda assim, marca um limite: o texto gerado só consegue repetir e recombinar o que o gerador já contém. Funciona melhor onde a correção pode ser verificada automaticamente, como em matemática e código, em que um solucionador ou uma suíte de testes pode descartar as amostras erradas.

Dados privados e licenciados são uma terceira fonte e mudam quem tem poder de barganha. Texto atrás de paywalls, dentro de empresas ou em formatos que exigem muito processamento fica fora do estoque público que a Epoch contou, o que é um dos motivos pelos quais acordos de acesso e parcerias de dados importam para os planos de um laboratório.

A quarta é deixar de pôr a maior parte da computação extra no pré-treinamento. O aprendizado por reforço em tarefas verificáveis e a computação extra na inferência transformam computação em capacidade sem exigir mais texto humano. Os modelos de raciocínio de 2024 e 2025 são a instância grande mais clara dessa mudança, e ela é parte do motivo de a fronteira ter mudado de formato.

Como ler uma afirmação sobre escala

Algumas perguntas facilitam a avaliação de afirmações de fornecedores e previsões de analistas.

  1. O que está no eixo vertical? Perda em texto reservado, uma nota de benchmark ou algo que se pareça com a sua tarefa? Uma curva suave de perda diz pouco sobre quando uma capacidade específica se torna confiável.
  2. Até onde, além da faixa medida, a linha se estende? Ajustar a curva ao longo de sete ordens de grandeza é uma afirmação diferente de desenhá-la mais uma ordem além de tudo o que foi observado.
  3. O que foi mantido fixo? Curvas que escalam parâmetros com dados fixos, ou computação com dados fixos, perdem o efeito Chinchilla.
  4. Que custo está sendo minimizado, o de treinar ou o de servir? Um modelo ótimo por um critério pode ser ruim pelo outro.
  5. A extrapolação é coerente com a oferta de dados? Uma previsão que supõe que os tokens continuam crescendo no ritmo de hoje deveria dizer de onde eles vêm.

Nada disso diz que o progresso vai parar. Diz que as fontes do progresso mudam, e a combinação que os laboratórios fazem de pré-treinamento, pós-treinamento e computação de inferência parece ter mudado para refleti-lo.

Construa a sua própria curva

A previsão mais confiável que uma empresa pode ter é a que ela mesma faz. Cada lançamento de modelo de cada fornecedor que você usa pode ser passado pela mesma suíte de avaliação, com a nota registrada ao lado da data do lançamento e do preço. Depois de um ano, esses pontos formam uma curva para a sua tarefa, com o desempenho que você obteve por dólar e por segundo, e a tendência é uma base de planejamento que não depende do gráfico de nenhum laboratório.

Isso também muda as perguntas que você faz aos fornecedores. Em vez de perguntar se a escala vai continuar, pergunte qual alavanca deve entregar o próximo ganho e se essa alavanca eleva os seus custos (mais computação de inferência por resposta) ou os reduz (um modelo mais barato com a mesma qualidade). A resposta determina se a capacidade do ano que vem chega com uma conta menor ou maior.

Fontes

  1. Hoffmann, J., Borgeaud, S., Mensch, A., et al. (2022). Training Compute-Optimal Large Language Models. arXiv:2203.15556.
  2. Kaplan, J., McCandlish, S., Henighan, T., et al. (2020). Scaling Laws for Neural Language Models. arXiv:2001.08361.
  3. Schaeffer, R., Miranda, B., Koyejo, S. (2023). Are Emergent Abilities of Large Language Models a Mirage? NeurIPS 2023. arXiv:2304.15004.
  4. Meta (abril de 2024). Introducing Meta Llama 3: the most capable openly available LLM to date. ai.meta.com/blog/meta-llama-3.
  5. Villalobos, P., Ho, A., Sevilla, J., Besiroglu, T., Heim, L., Hobbhahn, M. (2022, revisado em 2024). Will we run out of data? Limits of LLM scaling based on human-generated data. arXiv:2211.04325.
  6. Epoch AI (2024). Training compute of frontier AI models grows by 4-5x per year. epoch.ai/blog.
  7. Muennighoff, N., Rush, A. M., Barak, B., et al. (2023). Scaling Data-Constrained Language Models. arXiv:2305.16264.
  8. Shumailov, I., Shumaylov, Z., Zhao, Y., Gal, Y., Papernot, N., Anderson, R. (2023). The Curse of Recursion: Training on Generated Data Makes Models Forget. arXiv:2305.17493; e AI models collapse when trained on recursively generated data, Nature 631 (2024).
  9. Sardana, N., Portes, J., Doubov, S., Frankle, J. (2024). Beyond Chinchilla-Optimal: Accounting for Inference in Language Model Scaling Laws. ICML 2024. arXiv:2401.00448.