A maioria dos pilotos de IA dá certo como demonstração e falha como fluxo de trabalho

Em julho de 2025, um grupo da iniciativa NANDA do MIT fez circular um relatório intitulado "The GenAI Divide: State of AI in Business 2025", e um número dele viajou muito mais depressa do que o resto do documento: 95% das organizações, dizia, não obtinham retorno mensurável de seus esforços com IA generativa. A cifra foi repetida em manchetes em poucas semanas. Lido nos termos do próprio relatório, ele se apoia numa revisão sistemática de mais de 300 iniciativas de IA divulgadas publicamente, entrevistas estruturadas com 52 organizações e respostas de uma pesquisa com 153 líderes seniores, coletadas entre janeiro e junho de 2025, e os autores rotulam o trabalho como resultados preliminares. Os dados das empresas são anonimizados, o que torna a amostra difícil de verificar, e, como observa um crítico, a iniciativa que produziu o relatório promove infraestrutura de agentes, que é a direção para a qual apontam as conclusões. Nada disso torna a constatação falsa. Significa que 95% é uma manchete e não uma medição, e que quem planeja em torno dela deve buscar corroboração.

A corroboração existe, com definições e números diferentes. A pesquisa "The state of AI in 2025", da McKinsey, constatou que quase dois terços dos respondentes ainda não haviam começado a escalar a IA em toda a empresa, e apenas 39% relataram algum efeito sobre o resultado no nível da empresa. A S&P Global Market Intelligence consultou 1.006 profissionais de TI e de negócios na América do Norte e na Europa e, segundo a cobertura secundária, constatou que 42% das empresas haviam abandonado a maior parte de suas iniciativas de IA em 2025, contra 17% um ano antes, com a organização média descartando 46% de suas provas de conceito antes de chegarem à produção. A Gartner havia previsto em 2024 que pelo menos 30% dos projetos de IA generativa seriam abandonados depois da etapa de prova de conceito até o fim de 2025, citando dados de má qualidade, controles de risco inadequados, custos crescentes ou valor de negócio pouco claro.

As estatísticas diferem em qualidade, e eu não confiaria em nenhuma isolada. O que elas compartilham é um formato. Experimentar IA é quase universal, e transformar testes em valor mensurável em escala não é. Este ensaio pergunta por quê, e argumenta que a causa está sobretudo em como os pilotos são desenhados e quem é dono deles, sendo a tecnologia uma parte menor da história do que o vocabulário do debate sugere.

Um contraexemplo que mostra como é funcionar

Antes do diagnóstico, um caso em que o valor foi real e medido. Erik Brynjolfsson, Danielle Li e Lindsey Raymond estudaram a implantação de um assistente de IA generativa para 5.179 atendentes de suporte ao cliente, introduzido para atendentes diferentes em momentos diferentes. O escalonamento no tempo é o que torna o resultado crível, já que os atendentes que ainda não haviam recebido a ferramenta serviam de grupo de comparação. O acesso ao assistente elevou a produtividade, medida em chamados resolvidos por hora, em cerca de 14% em média. Para trabalhadores novatos e de baixa qualificação o ganho foi de 34%, e para trabalhadores experientes e altamente qualificados foi mínimo. Os autores encontraram também melhora no sentimento dos clientes e maior retenção de funcionários.

Repare no que a implantação tinha. O assistente ficava dentro da tela de trabalho dos atendentes, na tarefa que eles já executavam. O desfecho era um número que a empresa já acompanhava. A implantação foi desenhada de modo que seu efeito pudesse ser separado de tudo o mais que acontecia. Poucos pilotos têm as três propriedades, e acho que a ausência delas explica mais projetos travados do que qualquer limitação dos modelos.

Cinco jeitos de um piloto ter o formato errado

O primeiro é que o piloto responde à pergunta errada. Um piloto típico pergunta se o modelo consegue fazer a tarefa, e a resposta é quase sempre sim, já que demonstrações são fáceis. A pergunta que decide se o projeto sobrevive é se o fluxo de trabalho vai mudar: quem fará o que de modo diferente na segunda-feira, usando qual tela, com que autoridade, e quem perde uma tarefa ou ganha uma. A análise da McKinsey constatou que redesenhar intencionalmente os fluxos de trabalho foi um dos fatores que mais contribuíram para o impacto nos negócios entre todos os que testou, e que os cerca de 6% de respondentes que classificou como de alto desempenho, atribuindo à IA pelo menos 5% do resultado, tinham quase três vezes mais probabilidade que os demais de ter redesenhado fluxos. Um piloto que prende uma janela de chat a um processo inalterado comprova a tecnologia e deixa o processo em paz.

O segundo é que não há linha de base nem contrafactual. Sem um registro de como o trabalho era feito antes, e sem um grupo de comparação durante o piloto, a afirmação de melhora é uma impressão. Usuários entusiasmados relatarão que a ferramenta ajuda, o que é diferente de uma mudança medida em tempo, erro ou receita. O mesmo problema surge sempre que um tratamento é avaliado: não se sabe o que ele fez sem algo com que compará-lo. Quando o diretor financeiro pergunta pelo retorno, a resposta então consiste em anedotas, e um projeto que não consegue declarar seu retorno é o primeiro a ser cortado numa revisão de orçamento.

O terceiro é a titularidade. Os pilotos costumam pertencer à área de tecnologia, porque é onde estão as habilidades, enquanto o benefício cai em operações, vendas ou atendimento. A pessoa que teria de aceitar a mudança no fluxo de trabalho, e cujos resultados melhorariam ou não, não tem interesse no piloto nem obrigação de adotar seu resultado. Um projeto pertencente a alguém cujas metas trimestrais não dependem dele só sobrevive enquanto durar a atenção do patrocinador.

O quarto, que o relatório do MIT enfatiza, é que as ferramentas não se encaixam no modo como o trabalho realmente é feito. Os autores do relatório descrevem uma lacuna de aprendizado: ferramentas genéricas são flexíveis, mas não retêm feedback nem se adaptam ao contexto local, o que as torna boas para uso individual e fracas para fluxos com vocabulário, exceções e aprovações próprios. Eu trataria isso como hipótese testável e não como constatação, já que a evidência é baseada em entrevistas. Combina, porém, com uma experiência comum. Um modelo excelente num benchmark de documentos públicos e alheio aos códigos de produto, às regras de desconto e aos caminhos de escalonamento da empresa produzirá respostas plausíveis e levemente erradas, e levemente errado em escala é caro de revisar.

O quinto é que os pilotos são delimitados para evitar as partes difíceis. Para obter aprovação rápida, um piloto roda num ambiente isolado com uma extração limpa de dados, um pequeno grupo de usuários dispostos e nenhuma conexão com sistemas de produção. Isso evita revisão de segurança, modelos de permissão, integração com o sistema de registro, problemas de qualidade dos dados e o custo de operar em volume, que são justamente as coisas que decidem se o projeto pode rodar em produção. Quando o piloto termina e o trabalho real começa, a equipe descobre que a maior parte do esforço e do risco está pela frente e que o orçamento foi dimensionado para a parte já concluída.

Para onde o esforço deve ir

A pesquisa de outubro de 2024 do Boston Consulting Group com 1.000 executivos seniores de 59 países oferece um modo de pensar a alocação. Ela constatou que 74% das empresas ainda não haviam demonstrado valor tangível com IA. Apenas 4% haviam construído capacidades avançadas em várias funções e geravam valor significativo de forma consistente, e outros 22% começavam a ver ganhos substanciais. Um resumo secundário do relatório descreve os líderes como dedicando cerca de 70% do esforço a pessoas e processos, 20% a tecnologia e dados e 10% aos algoritmos em si, e como concentrados em poucos projetos prioritários em vez de se espalharem por dezenas. Eu conferiria a divisão no relatório completo antes de citá-la, mas a direção combina com o argumento aqui. A maior parte do trabalho numa implantação de IA fica fora do modelo, e uma empresa que orça como se o modelo fosse a maior parte ficará sem dinheiro e sem paciência no ponto em que o piloto termina.

O ponto da concentração tem um corolário prático. Uma carteira de trinta pilotos pequenos divide o recurso escasso, que é a atenção dos donos de negócio capazes de mudar um fluxo de trabalho. Cinco projetos com responsáveis, linhas de base e data de decisão ensinarão mais do que trinta sem eles.

Meça a adoção e o valor separadamente

Um relatório de piloto que abre com estatísticas de uso descreve curiosidade. Logins, prompts e mensagens enviadas mostram que as pessoas experimentaram a ferramenta e nada dizem sobre se o trabalho melhorou. Acompanhe as duas famílias em separado. As medidas de adoção mostram se a ferramenta faz parte da rotina: a fração das tarefas elegíveis tratadas com ela, o uso repetido depois da primeira semana, a taxa em que os usuários substituem ou descartam sua saída. As medidas de valor mostram o que mudou: tempo por unidade de trabalho, taxa de erro ou retrabalho, satisfação do cliente, receita por interação, com o custo por unidade ao lado.

A relação entre as duas é informativa. Alta adoção sem mudança de valor significa que a ferramenta é agradável e não muda nada, ou que os usuários estão gastando o tempo poupado em retrabalho. Baixa adoção com alto valor entre quem a usa aponta para um problema de treinamento ou de fluxo que vale a pena resolver. Nenhum dos dois padrões aparece se só uma família é medida.

O abandono pode ser racional

Uma advertência cabe aqui. Um abandono alto não é necessariamente ruim. Se experimentar uma ideia é barato e informativo, uma empresa que testa muitas e mata a maioria faz o que uma carteira experimental deve fazer. O número da S&P de que as organizações descartam 46% das provas de conceito antes da produção pode descrever um filtro saudável ou um processo disfuncional, e o número não diz qual dos dois.

O teste é como a decisão de parar é tomada. Uma interrupção saudável acontece numa data declarada, contra critérios declarados, com uma lição escrita. Uma disfuncional acontece por deriva: o patrocinador passa a outra coisa, o orçamento expira, a equipe é remanejada, e ninguém sabe dizer o que foi aprendido nem se a ideia falhou ou apenas foi negligenciada. A primeira produz conhecimento. A segunda produz um cemitério e uma memória azeda que dificulta a próxima proposta.

Desenhe o piloto como a primeira fatia da produção

O remédio prático é mudar o que um piloto é. Trate-o como a primeira fatia do sistema real, construída com os usuários reais, os dados reais, as permissões reais e um plano de medição de verdade, só que menor em escopo. Uma carta de projeto de uma página força a conversa.

Campo	O que deve dizer
Dono do negócio	Uma pessoa nomeada que conduz o processo e cujas metas dependem dele
Mudança no fluxo de trabalho	O que as pessoas farão de modo diferente, passo a passo
Métrica de valor	Uma medida em termos operacionais ou financeiros, já acompanhada
Linha de base e comparação	Como o desempenho atual foi medido e qual grupo é o controle
Critérios de sucesso e de interrupção	Os números que significam escalar e os que significam parar
Data de decisão	Quando o dono decide, independentemente do humor
Custo de operação	O custo esperado por unidade em volume pleno, incluindo trabalho de revisão
Risco e conformidade	Quem aprovou o uso de dados, as permissões e o tratamento de falhas

O plano de medição merece um pouco de aritmética, porque os pilotos costumam ser pequenos demais para provar qualquer coisa. Suponha que o objetivo seja reduzir o tempo médio de atendimento em 10%, e que os tempos de atendimento variem com desvio padrão de cerca de 40% da média, o que é típico de trabalho de serviço. Detectar uma redução de 10% com 80% de poder a 5% de significância exige cerca de 250 chamados em cada grupo. Um piloto que observa 40 chamados produzirá um número, e o número será em boa parte ruído. Faça o cálculo antes do piloto e ajuste a duração dele, com o lançamento escalonado ou randomizado que deu credibilidade ao estudo dos atendentes de suporte.

O custo de operação pede a mesma disciplina. Um piloto com cinquenta usuários e um modelo de faixa média pode custar pouco, e o mesmo fluxo com cinquenta mil usuários, com um humano revisando uma fração das saídas, pode não se pagar. Ponha o custo por unidade em volume pleno na carta de projeto, ao lado do valor por unidade, para que a economia fique visível antes da arquitetura.

O que fazer com os que travaram

Uma empresa com uma prateleira de pilotos travados pode fazer a triagem com três perguntas. Existe um dono de negócio que ainda quer o resultado? Há uma linha de base medida contra a qual o piloto possa ser julgado? A mudança no fluxo de trabalho está especificada? Pilotos com três sins merecem uma segunda chance com uma carta de projeto adequada. Pilotos sem nenhum devem ser encerrados, com as lições escritas e os dados e prompts arquivados para que o trabalho não se perca. Os do meio costumam precisar mais de um dono do que de mais engenharia.

O ponto a tirar das estatísticas, em qual delas se acredite, é que a tecnologia já passou da linha de ser boa o bastante para muitas tarefas, e as empresas que se beneficiam são as que tratam a implantação como um problema de desenho organizacional. Um piloto é o lugar mais barato para aprender isso, e as lições valem mais quando o piloto foi construído para ensiná-las.

Fontes

1. Challapally, A., Pease, C., Raskar, R., Chari, P. (julho de 2025). The GenAI Divide: State of AI in Business 2025. MIT NANDA, resultados preliminares.
2. McKinsey & Company (2025). The state of AI in 2025: Agents, innovation, and transformation. mckinsey.com.
3. S&P Global Market Intelligence (2025). Pesquisa com 1.006 profissionais de TI e de negócios sobre iniciativas de IA, conforme relatada pela CIO Dive (2025).
4. Gartner (2024). Gartner predicts 30% of generative AI projects will be abandoned after proof of concept by end of 2025. Comunicado de imprensa.
5. Brynjolfsson, E., Li, D., Raymond, L. R. (2023, revisado). Generative AI at Work. NBER Working Paper 31161; publicado no Quarterly Journal of Economics (2025).
6. Boston Consulting Group (24 de outubro de 2024). Where's the Value in AI? Pesquisa com 1.000 executivos seniores, comunicado de imprensa e resumo do relatório.