Fossos de dados são mais fracos do que parecem, e mais fortes onde ninguém espera

Em 2019, Martin Casado e Peter Lauten, da Andreessen Horowitz, publicaram um ensaio com um título nada amistoso, "The Empty Promise of Data Moats" (a promessa vazia dos fossos de dados). O argumento era que os efeitos de escala dos dados se comportam ao contrário das economias de escala que fazem os fossos físicos funcionar. O custo de acrescentar dados exclusivos a um corpus pode subir, enquanto o valor de cada incremento desce. O exemplo dos autores era um chatbot de atendimento ao cliente. As perguntas comuns, como onde está um pacote, são cobertas cedo. A maior parte das demais consultas é bagunçada e feita uma só vez, de modo que cada novo lote de dados duplica em boa parte o que a empresa já tem ou cai na cauda longa dos casos especiais. Passado certo ponto, mais dados compram pouco e custam mais para limpar.

Sete anos depois, o argumento parece mais sólido do que quando era uma provocação, e precisa de atualização. Modelos de linguagem treinados com grande parte do texto público mudaram o valor dos dados privados nos dois sentidos. Para tarefas gerais, o tornaram menor, já que um modelo que leu a internet parte muito à frente de um que só leu os seus chamados. Para alguns tipos específicos de dados, o tornaram maior, porque o resto da pilha está agora disponível para todos pelo preço de uma chamada de API, o que deixa os dados como um dos poucos insumos que os outros não podem comprar. A afirmação de que uma empresa tem um fosso de dados deve, portanto, ser testada e não presumida.

A curva de aprendizado é uma lei de potência, e o valor para o cliente é um limiar

O resultado empírico mais conhecido sobre como o desempenho cresce com os dados é o estudo de 2017 de Joel Hestness e colegas, da Baidu. Em tradução automática, modelagem de linguagem, processamento de imagens e reconhecimento de voz, eles constataram que o erro de generalização cai como uma lei de potência do tamanho do conjunto de treino. Constataram também que melhorias no modelo deslocavam a curva para baixo sem mudar seu expoente, e que o tamanho do modelo precisava crescer apenas de forma sublinear com os dados.

Uma lei de potência tem uma consequência simples. Cada dobra dos dados multiplica o erro pelo mesmo fator constante. Suponha que o expoente seja 0,3, uma premissa para ilustração, e que o erro seja de 20% com um milhão de exemplos. Cada dobra multiplica o erro por 2 elevado a menos 0,3, cerca de 0,81. O erro é então de 16,2% com 2 milhões de exemplos, 13,2% com 4 milhões, 10,7% com 8 milhões e 8,7% com 16 milhões. Uma rival com 2 milhões de exemplos tem uma taxa de erro cerca de 1,9 vez a de uma empresa com 16 milhões, e isso parece uma vantagem real.

Só é, se os clientes valorizarem a diferença. O valor raramente cresce de forma suave com a acurácia. Suponha que os clientes passem a usar um produto, ou a pagar por ele, quando o erro cai abaixo de 15%. Então a rival com 4 milhões de exemplos já passa da barra, e os doze milhões de exemplos extras que a líder coletou compram uma taxa de erro menor pela qual nenhum cliente paga. O fosso existe apenas no intervalo entre o que um concorrente consegue alcançar e o ponto em que a função de valor se achata. Cada dobra custa o mesmo que a anterior, ou mais, já que os dados fáceis foram coletados primeiro, e cada uma rende uma melhora percentual constante numa taxa de erro que os clientes deixaram de notar.

Esse é o conteúdo quantitativo do argumento de Casado e Lauten. Também mostra o que medir. A inclinação da curva de aprendizado no seu próprio produto, e a posição do limiar do cliente nela, dizem mais sobre o fosso do que o tamanho do corpus.

O que os modelos de fundação mudaram

As curvas de 2017 foram traçadas para modelos treinados do zero para uma tarefa. Desde então, boa parte do conhecimento migrou para o pré-treinamento. O estudo LIMA, de Chunting Zhou e colegas, ajustou um modelo de 65 bilhões de parâmetros com apenas 1.000 exemplos curados, sem aprendizado por reforço, e constatou que suas respostas eram equivalentes ou preferidas às do GPT-4 em 43% dos casos numa avaliação humana, e em 58% dos casos contra o Bard e 65% contra o DaVinci003. A conclusão dos autores é que quase todo o conhecimento de um modelo de linguagem é aprendido durante o pré-treinamento, e que só uma pequena quantidade de ajuste é necessária para ensiná-lo a responder.

Para uma empresa, a implicação é direta. Uma tarefa que antes exigia um milhão de exemplos rotulados pode agora ser iniciada com algumas centenas, e um concorrente com um bom prompt e cem exemplos pode chegar perto do que o incumbente construiu em anos. A vantagem de ter mais texto rotulado do tipo comum foi comprimida. O que não foi comprimido são os dados que o modelo pré-treinado nunca viu e não consegue inferir: os proprietários e os baseados em desfechos.

Um segundo resultado aponta na mesma direção pelo lado oposto. Suriya Gunasekar e colegas da Microsoft treinaram o phi-1, um modelo de código de 1,3 bilhão de parâmetros, com cerca de 7 bilhões de tokens, dos quais 6 bilhões eram dados da web filtrados com "qualidade de livro didático" e 1 bilhão eram livros e exercícios gerados com o GPT-3.5. O treino levou quatro dias em oito GPUs A100, e o modelo chegou a 50,6% no HumanEval e a 55,5% no MBPP. A lição é que dados cuidadosamente selecionados e gerados podem substituir o volume. Um rival não precisa do seu corpus. Precisa de um bom currículo, que é mais barato de produzir do que uma década de logs acumulados.

A mesma lógica vale para as saídas do seu próprio sistema. Respostas de um modelo em produção podem ser coletadas em escala e usadas para ajustar o modelo de um concorrente. Os provedores proíbem isso nos termos de serviço, e a proibição é difícil de fazer cumprir, de modo que um produto cujo valor está nas saídas e não na posição num fluxo de trabalho tem uma defesa mais fraca do que parece.

Quatro testes

Uma alegação de fosso de dados pode ser examinada com quatro perguntas.

A primeira é a exclusividade. Um concorrente poderia comprar, licenciar, raspar ou sintetizar os dados? Dados públicos, dados disponíveis em corretores e dados que um modelo forte consegue gerar ou aproximar não dão proteção alguma. Os dados devem vir de uma posição que outros não podem ocupar.

A segunda é o ganho. Quanto os dados melhoram o produto, medido na sua própria tarefa? A resposta vem de um experimento: treine ou ajuste com 10%, 25%, 50% e 100% dos dados e desenhe o erro. Se a curva é plana na última dobra, os dados marginais não estão ajudando, e o fosso de volume é fino seja qual for o tamanho do corpus. Se é íngreme, os dados valem muito.

A terceira é a saturação diante do limiar do cliente, como acima. Onde está a rival, e onde o valor se achata?

A quarta é o ciclo virtuoso e a titularidade. Usar o produto gera mais desses dados, e a empresa os mantém? Um ciclo real tem a atividade de cada cliente produzindo desfechos rotulados ou correções que melhoram o produto para todos os clientes. Andrei Hagiu e Julian Wright argumentaram na Harvard Business Review em 2020 que o ciclo de mais clientes, mais dados e um produto melhor não afasta rivais de forma confiável, e que saber se ele protege um negócio depende de condições que precisam ser verificadas caso a caso. Onde o aprendizado é específico de cada cliente, um cliente novo parte do zero, e o ciclo não gira para ele.

A titularidade merece uma linha própria, porque pode ser alterada por lei e por contrato. Os clientes podem ter o direito de levar seus dados para outro lugar. No Brasil, a LGPD dá aos titulares o direito à portabilidade, e o sistema de Open Finance regulado pelo Banco Central permite que clientes autorizem seus bancos a compartilhar dados com outras instituições, com a implantação começando em 2021. Seu propósito, como o banco central o descreve, é promover a concorrência, a inovação e a inclusão. Um incumbente cuja vantagem se apoiava em conhecer o quadro financeiro completo de um cliente viu parte desse conhecimento ficar disponível para seus rivais a pedido do cliente. Qualquer vantagem de dados que dependa de os clientes não poderem levar seus dados está exposta a esse tipo de regra.

Onde estão as vantagens duradouras

Se o volume de dados comuns é um fosso fraco, três tipos de vantagem de dados são mais fortes.

O primeiro são os dados de desfechos, rótulos que vêm de consequências reais e levam tempo para chegar: sinistros efetivamente pagos, empréstimos efetivamente quitados, consertos que efetivamente se sustentaram, pacientes cujo tratamento efetivamente funcionou. Isso não pode ser raspado nem gerado, porque vem de estar no negócio tempo suficiente para ver os resultados. A proteção aqui se mede em tempo, que nenhum orçamento compra. Tome um credor cujo modelo precisa de desfechos de inadimplência em doze meses. Um incumbente que concede empréstimos há cinco anos tem sessenta coortes mensais com desfecho maduro. Um entrante com um algoritmo igualmente bom e o mesmo capital não tem nenhuma nos primeiros doze meses, e depois ganha mais uma coorte por mês. Pode emprestar dados públicos nesse meio-tempo, e ainda assim não consegue observar como seus próprios empréstimos se comportam até que tenham tido tempo de se comportar. A dianteira é o calendário. Um modelo treinado com esses dados sabe como o mundo responde, e um modelo treinado com texto público só sabe como as pessoas escrevem a respeito.

O segundo é a posição no fluxo de trabalho. Ser o sistema de registro, ou a ferramenta em que o trabalho é feito, significa ver o contexto em torno de cada decisão: o que o usuário fez antes e depois, o que corrigiu, o que ignorou. Esse contexto é a matéria-prima para aprender como é o bom nesse domínio particular, e só está disponível para o produto que fica no fluxo de trabalho.

O terceiro é um ciclo de feedback que a empresa controla do início ao fim. Quando a correção que um usuário faz na saída de um modelo é capturada, rotulada e usada para melhorar a versão seguinte, o produto melhora exatamente nas tarefas que seus clientes executam. O ciclo precisa ser construído de propósito, com a interface, o processo de rotulagem e o conjunto de avaliação desenhados para captar sinal, e não deixado para se acumular em logs.

Os três têm uma característica em comum: são produzidos pelo negócio e não coletados de fora. É por isso que são difíceis de copiar, e é também um argumento para investir no produto e na distribuição, que geram os dados, em vez de investir em aquisição de dados por si só.

Confira se você tem permissão para usá-los

Uma vantagem de dados que não pode ser usada não é vantagem. Antes de tratar os dados de clientes como um ativo para melhorar modelos, confira o amparo legal. A LGPD exige que os dados pessoais sejam tratados para finalidades específicas (art. 6º, I) e com base em uma das hipóteses legais do art. 7º. Termos de serviço escritos para um produto que armazena registros podem não cobrir treinar ou ajustar um modelo com eles. Contratos com clientes corporativos costumam proibir isso, a menos que seja declarado e precificado. O arranjo mais limpo dá aos clientes uma escolha clara e um motivo para aderir, como um produto melhor ajustado nos casos deles, e registra essa escolha de um modo que um auditor consiga encontrar. Isso atrasa o primeiro ano e evita que o segundo seja gasto desfazendo um conjunto de dados que nunca foi liberado para esse uso.

O que fazer com a auditoria

Rode a auditoria em cada vantagem alegada. Anote, para os dados em questão, se são exclusivos, quão íngreme é a curva de aprendizado deles, quanto acima do limiar do cliente a empresa já está e se o ciclo gira e se a empresa é dona do que ele produz. Onde uma resposta é fraca, os dados não são um fosso e não devem carregar o peso na estratégia nem na apresentação aos investidores. A estratégia deve então pôr seu peso no que de fato protege a posição: distribuição, integração ao fluxo de trabalho do cliente, marca, velocidade de iteração e uma dianteira em dados de desfechos que cresce com o tempo de mercado.

Os dados também decaem. As relações que eles capturam mudam à medida que clientes e mercados derivam, de modo que um estoque de dados antigos perde valor se um fluxo contínuo não o renovar. Um fosso construído sobre um instantâneo se erode, e um construído sobre um fluxo, não.

O primeiro passo mais barato é o experimento da curva de aprendizado. Leva alguns dias, usa dados e ferramentas que a equipe já tem, e seu resultado é um gráfico que mostra numa só imagem se a vantagem de dados da empresa é real, onde ela termina e quanto valem os próximos milhões de exemplos.

Fontes

Casado, M., Lauten, P. (9 de maio de 2019). The Empty Promise of Data Moats. Andreessen Horowitz. a16z.com/2019/05/09/data-network-effects-moats.
Hestness, J., Narang, S., Ardalani, N., et al. (2017). Deep Learning Scaling is Predictable, Empirically. arXiv:1712.00409.
Zhou, C., Liu, P., Xu, P., et al. (2023). LIMA: Less Is More for Alignment. NeurIPS 2023. arXiv:2305.11206.
Hagiu, A., Wright, J. (janeiro-fevereiro de 2020). When Data Creates Competitive Advantage. Harvard Business Review.
Banco Central do Brasil. Open Finance Brasil, marco regulatório e fases de implantação (a partir de 2021). bcb.gov.br.
Brasil. Lei nº 13.709/2018 (Lei Geral de Proteção de Dados Pessoais), art. 18, V (portabilidade).
Curva de aprendizado ilustrativa: erro de 20% com um milhão de exemplos e expoente de lei de potência de 0,3, premissas declaradas no texto.
Gunasekar, S., Zhang, Y., Aneja, J., et al. (2023). Textbooks Are All You Need. arXiv:2306.11644.