Nem ferramenta nem funcionário júnior: trate a saída da IA como um lote com taxa de defeitos

·22 min de leitura

No experimento da Harvard com o Boston Consulting Group, divulgado como working paper em 2023, 758 consultores foram divididos entre dois experimentos e, dentro de cada um, sorteados para trabalhar sem IA, com o GPT-4 ou com o GPT-4 mais uma breve apresentação sobre engenharia de prompt. No experimento com um caso de negócio montado de modo que o uso descuidado do modelo levasse à conclusão errada, do qual participaram 373 deles, o grupo de controle chegou à recomendação correta em cerca de 84,5% das vezes. Os dois grupos com GPT-4 acertaram em cerca de 70% (só o GPT-4) e 60% (GPT-4 mais a apresentação). O mesmo artigo relata que avaliadores deram notas de qualidade mais altas às recomendações feitas com IA do que às do controle, e isso valeu tanto entre as respostas erradas quanto entre as certas.

Uma leitura possível é que a IA pode piorar especialistas. Como gestor, tiro uma lição mais estreita. A aparência de uma saída e a sua correção são duas medidas distintas, e só uma delas pode ser tomada por uma leitura rápida. O trabalho que chega fluente, formatado e confiante passa pela maioria das revisões informais, de modo que uma organização sem nenhuma medição de correção está, na prática, medindo acabamento.

Um gestor diante desse tipo de trabalho tem dois modelos mentais à mão. No primeiro, o modelo é uma ferramenta, como uma fórmula de planilha, e uma resposta errada é um bug que se reporta e se corrige. No segundo, ele é um funcionário júnior, e a resposta certa é a supervisão que se daria a um recém-contratado: ler o trabalho, corrigir e deixar que um histórico de bons resultados construa a confiança. Meu argumento é que os dois modelos falham no mesmo ponto. Um melhor vem da manufatura. Trate cada lote de saída de IA como um lote de produção com uma taxa de defeitos que pode ser estimada, defina a profundidade da revisão pelo custo de um erro que escapa e meça os revisores com o mesmo cuidado que o modelo, porque as pessoas que conferem o trabalho são a parte do processo que se degrada sem que ninguém perceba.

O modelo da ferramenta falha porque a taxa de defeitos existe e muda com a tarefa

Uma fórmula devolve a mesma resposta toda vez e, quando está errada, há uma causa que alguém pode encontrar e remover. A saída de um modelo tem outro caráter. Uma resposta errada é um sorteio de uma distribuição, e a pergunta que importa é com que frequência os sorteios saem errados para este tipo de trabalho.

O caso mais bem documentado é a pesquisa jurídica. Magesh e colegas, em Stanford, conduziram uma avaliação pré-registrada de ferramentas comerciais de pesquisa jurídica cujos fornecedores vendiam a recuperação de documentos como forma de evitar alucinações. Constataram que o Lexis+ AI e dois produtos da Thomson Reuters geraram, cada um, conteúdo alucinado entre 17% e 33% das vezes, menos do que o GPT-4 sozinho, mas longe de zero, e consideraram exageradas as promessas dos fornecedores. Uma taxa desse tamanho não é um defeito que um chamado encerra. É uma propriedade do processo, como o índice de refugo de uma máquina, e recebe o tratamento que o refugo recebe: alguém o mede e decide o que acontece com as peças que saem erradas.

A taxa também se move com a tarefa, e a superfície do trabalho não mostra o movimento. No estudo da BCG, em 18 tarefas escolhidas por estarem ao alcance do modelo, os consultores com IA concluíram em média 12,2% mais tarefas, 25,1% mais rápido, com qualidade avaliada mais de 40% acima. Na tarefa fora da fronteira, os consultores com a ferramenta tiveram em média 19 pontos percentuais a menos de chance de acertar do que os que não a usaram. Uma metade diferente da amostra fez cada tipo de tarefa, de modo que a comparação é entre grupos e não entre as mesmas pessoas em duas tarefas. Os autores chamam o padrão de fronteira irregular: tarefas que parecem de dificuldade parecida podem ficar em lados opostos dela. A evidência tem limites. Usou o GPT-4 em 2023, e o resultado fora da fronteira vem de um único caso que os autores desenharam para que o modelo tropeçasse sem orientação extensa, então eu não levaria os 19 pontos para um plano. O que se transfere é a estrutura: uma taxa de defeitos que varia por tarefa e que o usuário não enxerga na saída.

A autoavaliação não preenche essa lacuna. O ensaio randomizado da METR em 2025, com 16 desenvolvedores experientes de código aberto, constatou que as tarefas levaram 19% mais tempo quando a IA era permitida, enquanto os desenvolvedores acreditavam que ela os tornara cerca de 20% mais rápidos. A METR disse depois que o resultado está desatualizado para as ferramentas atuais. O que sobrevive é a distância entre o que os desenvolvedores sentiram e o que o relógio mostrou, e é por isso que uma taxa de defeitos precisa vir de uma contagem.

O modelo do júnior falha porque os erros do modelo se parecem com os acertos

O segundo modelo é mais lisonjeiro, e atrai porque traz pronta uma rotina de gestão. O trabalho de um recém-contratado é lido, corrigido e devolvido, e ao longo de meses o gestor aprende em quais tarefas confiar. Três características dessa rotina não se transferem.

O rascunho de um júnior carrega sinais. É irregular, vem com perguntas, o esforço aparece. O gestor usa essas pistas para decidir onde olhar. A saída de um modelo tem uma superfície uniforme. Os avaliadores do estudo da BCG, dois conjuntos deles (consultores que não participaram e estudantes de administração), pontuaram as recomendações numa rubrica de 1 a 10, e o grupo com IA pontuou mais que o de controle até no subconjunto de respostas erradas. Se a superfície não traz informação sobre a correção, uma leitura cuidadosa sem amostra para calibrar produz, na maior parte, tranquilidade.

Uma correção dada a um júnior muda o trabalho da semana seguinte. Uma correção dada a um modelo não muda nada, a menos que alguém altere o prompt, o índice de recuperação, o conjunto de avaliação ou o próprio modelo. O retorno precisa ser encaminhado para dentro do processo. Isso é possível, mas quem o faz é o dono do processo, e a caneta vermelha do revisor corrige apenas um item.

O volume é a terceira diferença. Um júnior produz alguns itens por dia, e um modelo pode produzir mil rascunhos numa semana. Supervisionar cada item como se faria com um recém-contratado equivale a uma política de revisar tudo, e a aritmética adiante mostra que ela pode custar mais do que economiza em trabalho de baixo risco e, ao mesmo tempo, deixar o trabalho de alto risco pouco conferido. O modelo do júnior também constrói confiança a partir de uma sequência de bons resultados, e uma longa sequência de bons resultados é justamente o ambiente em que os revisores descritos adiante começam a relaxar.

Um lote semanal pode ser amostrado, e a amostra precisa ser lida junto com sua curva de operação

A manufatura enfrentou esse problema há quase um século. Dodge e Romig, nos Bell Telephone Laboratories, publicaram em 1929 um método de inspeção por amostragem para decidir se um lote de produto deve ser aceito com base na evidência de uma amostra. As normas de amostragem por atributos que vieram depois, como a ISO 2859-1 e sua antecessora militar MIL-STD-105, descendem dessa tradição (essa linhagem vem de relatos secundários). O manual de engenharia do NIST descreve a ferramenta central: uma curva característica de operação, que traça a probabilidade de aceitar um lote contra a sua verdadeira porcentagem de defeitos, junto com dois riscos. O risco do produtor é que um lote bom seja rejeitado, e o risco do consumidor é que um lote ruim seja aceito.

Um exemplo inventado torna o cálculo concreto. Suponha que uma equipe receba 1.000 rascunhos de IA de baixo risco por semana e que um revisor custe US$ 3 por item. Ela quer aceitar lotes com 2% de defeitos pelo menos 90% das vezes e aceitar lotes com 8% de defeitos no máximo 10% das vezes. Uma busca binomial dá um plano de 82 itens escolhidos ao acaso, com aceitação se forem encontrados três defeitos ou menos, a um custo semanal de amostragem de US$ 246. A tabela abaixo mostra a curva e também o que acontece quando o revisor é imperfeito: a terceira coluna supõe, como ilustração, que o revisor pega 70% dos defeitos presentes.

Taxa real de defeitos no loteChance de o lote ser aceito, revisor perfeitoChance de o lote ser aceito, revisor pega 70%
2%92%97%
4%58%80%
6%27%55%
8%10%32%
10%3%17%

Um lote com 8% de defeitos reais, que o plano foi desenhado para rejeitar nove vezes em dez, passa quase uma vez em três quando o revisor deixa escapar 30% dos defeitos. O plano de amostragem vale tanto quanto o instrumento que conta os defeitos, e o instrumento é uma pessoa. O valor de 70% é uma suposição. Beck e colegas, cujo experimento discuto adiante, viram participantes corrigirem 82% de um tipo de erro plantado e 31% de outro, de modo que não existe uma taxa única de detecção para todos os defeitos.

A amostra também limita o que se pode afirmar. Se 299 itens sorteados não mostram nenhum defeito, os dados sustentam uma taxa de defeitos abaixo de 1% com 95% de confiança, desde que o revisor seja perfeito. Com um revisor que pega 70%, a mesma afirmação exige 427 itens limpos. Uma equipe que relata "conferimos vinte e não achamos nada" mostrou apenas que a taxa está abaixo de cerca de 14% com 95% de confiança, e isso, de novo, supõe um revisor perfeito.

A profundidade da revisão deve seguir o custo de um erro que escapa, e uma regra de ponto de equilíbrio dá o preço

A amostragem estima a taxa. Uma segunda decisão trata do que fazer com cada item, e uma regra simples a cobre. Se uma revisão custa c, a taxa de defeitos é p, o revisor pega uma fração d dos defeitos e um defeito que escapa custa L, então revisar um item compensa quando p vezes d vezes L supera c. Com os números ilustrativos de 4% de defeitos, d de 0,7 e US$ 3 por revisão, o custo de erro no ponto de equilíbrio é US$ 107. Itens cujos erros custariam menos que isso não valem a leitura um a um com essa taxa de defeitos.

Considere três fluxos numa semana, todos inventados. Os rascunhos internos somam 1.000 e um erro que escapa custa US$ 20 de retrabalho. As mensagens para clientes somam 250 e um erro custa US$ 400. Os itens contratuais ou regulatórios somam 50 e um erro custa US$ 10.000. Aplicando a regra, o valor por revisão é de US$ 0,56 no primeiro fluxo, US$ 11,20 no segundo e US$ 280 no terceiro.

FluxoItens por semanaCusto de um erro que escapaPolíticaCusto semanal esperado
Rascunhos internos1.000US$ 20Amostrar 82, sem revisão item a itemUS$ 1.046
Voltado ao cliente250US$ 400Revisar cada item uma vezUS$ 1.950
Contratual50US$ 10.000Dois revisores independentesUS$ 2.100

A política em camadas custa US$ 5.096 por semana entre gasto com revisão e perdas esperadas. Não revisar nada custa US$ 24.800 em perdas esperadas, e ler cada item uma vez custa US$ 11.340. Chegam cerca de 52 itens defeituosos na semana, e a política em camadas deixa passar 43 deles, 40 no fluxo de US$ 20. Isso é o desenho funcionando como pretendido, e é difícil de defender numa reunião, porque a política de revisar tudo parece mais segura, embora gaste US$ 3.000 lendo itens cujos erros custam US$ 800 no total.

Duas suposições merecem escrutínio. Os dois revisores do terceiro fluxo são tratados como independentes, o que dá uma taxa combinada de detecção de 91%. Wolfe usou a mesma aritmética para mostrar como a dupla triagem poderia reduzir uma taxa de omissão de 30% para 9%, e declarou a condição: independência. Duas pessoas lendo a mesma saída fluente têm boa chance de serem enganadas juntas. A segunda suposição é a própria taxa de detecção. Se d cai de 0,7 para 0,5, a mesma política custa US$ 9.096, e mais da metade disso vem do terceiro fluxo. A estimativa de L é o outro dado frágil, já que precisa incluir retrabalho, dano ao cliente e exposição jurídica, e merece um dono na área financeira.

Revisores se degradam de formas previsíveis, então a etapa de revisão precisa da própria medição

O artigo de Lisanne Bainbridge de 1983, "Ironies of Automation", sustentava que automatizar um processo deixa para as pessoas as tarefas que os projetistas não conseguiram automatizar, e que quem sobra para monitorar está mal posicionado para isso. Ela citava pesquisas sobre vigilância para dizer que a atenção eficaz a uma fonte onde quase nada acontece não se sustenta muito além de meia hora. Notava também que as habilidades se deterioram sem uso e que, se um computador toma decisões mais rápido e em mais dimensões do que uma pessoa poderia, a pessoa só consegue julgar se as decisões parecem aceitáveis. O cenário dela eram plantas de processo, e um revisor que lê um documento pronto depois do fato não é um operador observando um mostrador. O mecanismo de um erro raro entre muitos itens corretos, porém, continua valendo.

Parasuraman e Manzey revisaram o trabalho empírico em 2010. A complacência, concluíram, aparece quando a pessoa tem várias tarefas e a automatizada disputa sua atenção. O viés de automação produz erros de omissão e de comissão quando os auxílios à decisão são imperfeitos, e ambos afetam novatos e especialistas, sem desaparecer com prática simples ou instruções. Nada na revisão isenta as pessoas que conferem saídas de IA.

O efeito da raridade tem tamanho medido em outro campo. Wolfe e colegas relataram na Nature, em 2005, que pessoas procurando um alvo deixavam passar cerca de 7% deles quando os alvos apareciam metade das vezes e cerca de 30% quando apareciam em 1% das vezes. Wolfe repetiu os números na NPR em junho daquele ano e acrescentou que ninguém sabia se o efeito se mantinha na triagem de aeroportos ou na medicina. Se o efeito se transfere para a revisão de IA, um modelo melhor torna os defeitos mais raros, e os defeitos mais raros são os que um revisor tem mais chance de perder.

Existem testes diretos com conselhos do tipo IA. Num estudo de 2023 na Radiology, de Dratsch e colegas, 27 radiologistas leram 50 mamografias com sugestões BI-RADS apresentadas como saída de IA, e a sugestão estava errada em 12 dos 40 casos do conjunto principal. Leitores inexperientes acertaram menos de 20% das vezes nesses casos, contra quase 80% quando a sugestão estava correta, e leitores com mais de 15 anos de experiência caíram de 82% para 45,5%. A amostra é pequena, e o comunicado da RSNA descreve as sugestões como supostamente vindas de IA, de modo que o estudo testa como as pessoas reagem a um conselho mais do que como reagem a um produto específico. Num experimento publicado como preprint no arXiv em 2025 e na Harvard Data Science Review em 2026, Beck, Eckman, Kern e Kreuter pediram a 2.784 participantes que conferissem sugestões "de IA" roteirizadas para valores em tabelas de emissões corporativas, com quatro das sete sugestões posteriores erradas. Erros do tipo ortográfico foram corrigidos cerca de 82% das vezes, e erros que exigiam entender as regras de anotação, cerca de 31%. Exigir uma correção sempre que o participante sinalizava um erro reduziu as correções, e um bônus para os 10% melhores desempenhos não teve efeito consistente. Os céticos em relação à IA pegaram mais erros do que os entusiastas.

A habilidade também pode se corroer. Um estudo na Lancet Gastroenterology and Hepatology, em quatro centros poloneses, comparou colonoscopias feitas sem IA nos três meses antes e depois da chegada de ferramentas de detecção com IA, e a taxa de detecção de adenomas caiu de 28,4% para 22,4%. O desenho é observacional, sem controle concomitante, de modo que a leitura dos autores, de que a dependência excessiva reduziu a atenção, é uma hipótese. O estudo da Anthropic de janeiro de 2026, com 52 programadores em sua maioria juniores aprendendo uma biblioteca desconhecida, encontrou nota média de 50% num teste entre os que tinham um assistente de IA contra 67% entre os que programaram à mão, com a maior diferença nas perguntas de depuração, a habilidade de que os revisores precisam.

As contramedidas decorrem da mesma literatura. Meça a taxa de detecção inserindo defeitos conhecidos na fila de revisão, que é o que a máquina de triagem de aeroporto descrita por Wolfe faz ao projetar ameaças fictícias nas bagagens. Torne barato sinalizar um erro. Faça rodízio de revisores e mantenha algum trabalho prático na semana deles, o que ecoa a sugestão de Bainbridge de manter o controle manual em parte de cada turno. Bainbridge também advertiu contra elevar a taxa real de falhas de um sistema para manter os operadores alertas, porque então eles passariam a desconfiar dele, e eu trato um item de teste plantado como outra coisa: ele audita o revisor sem alterar o que o cliente recebe. Essa distinção é um julgamento meu, e Wolfe apontou um custo, o de que triadores treinados com ameaças conhecidas podem procurar essas e deixar passar uma nova.

A objeção mais forte é que a taxa de defeitos não fica parada

A teoria da amostragem pressupõe um lote de itens parecidos tirados de um processo estável. O trabalho com LLMs não é nenhuma das duas coisas. Os modelos são atualizados, os prompts são editados, os índices de recuperação mudam e a mistura de entradas se desloca. A fronteira irregular significa que o p de resumos de contratos não tem relação com o p de cálculos de reembolso. Uma taxa de defeitos estimada em março pode não descrever nada em abril, e uma política construída sobre ela seria um falso conforto. O terceiro ponto de Deming em Out of the Crisis manda os gestores deixarem de depender da inspeção para obter qualidade, e amostragem é inspeção.

Acho que a objeção acerta sobre o perigo e erra na conclusão. O gráfico de controle de Shewhart existe para a pergunta de saber se um processo é estável. Ele propôs limites a três desvios-padrão da média, escolhidos, segundo o relato de Wheeler, para equilibrar o custo de reagir a ruído com o custo de deixar passar uma mudança real. Aplicado aqui, o gráfico traça a fração de defeitos amostrada a cada semana. No exemplo, com uma taxa observada de 2,8% (4% reais vistos por um revisor de 70%) e 82 itens por semana, o limite superior é de cerca de 8,3%, de modo que sete ou mais defeitos numa amostra são um sinal. O gráfico também é um instrumento fraco. Se a taxa real dobrasse para 8% (5,6% como o mesmo revisor a observaria), a amostra de uma única semana ultrapassaria o limite só em cerca de 18% das vezes. Os remédios são ler sequências de semanas em conjunto, ampliar a amostra onde o risco é alto, estratificar por tipo de tarefa para que um fluxo não esconda outro e reiniciar a linha de base sempre que o modelo, o prompt ou a recuperação mudarem.

O ponto de Deming também se aplica de um jeito que afia a prática. Os dados de inspeção são um subproduto que deveria alimentar mudanças a montante: prompts melhores, recuperação mais precisa, um conjunto de avaliação mais forte. Se a contagem semanal de defeitos nunca cai e ninguém mudou nada a montante, a equipe construiu uma maneira cara de ficar olhando. O objetivo é que a inspeção encolha à medida que o processo melhora, e o registro de defeitos é o que mostra o que consertar primeiro.

Um protocolo pequeno o bastante para um responsável começar na semana que vem

As peças se encaixam numa rotina que uma única pessoa pode iniciar com um fluxo de saída.

  1. Liste os fluxos de saída de IA e combine com a área financeira um valor para o custo de um erro que escapa em cada um.
  2. Tire toda semana uma amostra aleatória de cada fluxo, estratificada por tipo de tarefa, revisada sem que o revisor veja a confiança do modelo, e registre os defeitos por tipo.
  3. Plante uma pequena parcela de defeitos conhecidos, sintéticos ou de incidentes passados, nas filas dos revisores e registre a taxa de detecção de cada um.
  4. Trace a fração semanal de defeitos num gráfico de controle, com a linha de base reiniciada depois de qualquer mudança no modelo, no prompt ou na recuperação.
  5. Todo mês, recalcule o custo de erro no ponto de equilíbrio a partir da taxa de defeitos e da taxa de detecção medidas, e mude fluxos entre as camadas de revisão.

Nada disso resolve o que acontece quando o modelo ficar muito bom. Com uma taxa de defeitos de um em mil, uma extrapolação a partir da condição de 1% de Wolfe diz que um revisor humano perderia uma parte grande do que resta, e o argumento de Bainbridge diz que a habilidade necessária para pegá-lo teria se corroído. Não encontrei uma medição de campo do desempenho de revisores a essa prevalência para saídas de IA, e o resultado da colonoscopia é observacional, de quatro centros e seis meses de dados. A medição com defeitos plantados do passo 3, mantida por um ano numa empresa comum, daria os primeiros números.

Fontes

  1. Dell'Acqua, F., McFowland, E., Mollick, E., Lifshitz-Assaf, H., Kellogg, K., Rajendran, S., Krayer, L., Candelon, F., Lakhani, K. R. (2023). Navigating the Jagged Technological Frontier: Field Experimental Evidence of the Effects of AI on Knowledge Worker Productivity and Quality. SSRN 4573321 (working paper de 22 de setembro de 2023); publicado depois na Organization Science (2025), doi:10.1287/orsc.2025.21838. Os números sobre 758 consultores (385 e 373 nos dois experimentos), os resultados de 12,2%, 25,1% e 40%, as taxas de correção de 84,5%, 60% e 70%, a diferença média de 19 pontos e as notas de qualidade das recomendações vêm de uma cópia do working paper que li por inteiro; não abri a versão do periódico.
  2. Magesh, V., Surani, F., Dahl, M., Suzgun, M., Manning, C. D., Ho, D. E. (2024; publicado em 2025). Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools. arXiv:2405.20362; Journal of Empirical Legal Studies 22(2), 216-242 (2025), doi:10.1111/jels.12413 (dados da citação tirados de listagens secundárias; a faixa de 17% a 33% vem do resumo no arXiv).
  3. Bainbridge, L. (1983). Ironies of Automation. Automatica 19(6), 775-779. doi:10.1016/0005-1098(83)90046-8. Trechos conferidos numa reprodução em complexcognition.co.uk e num resumo em ferd.ca; não vi o PDF do periódico.
  4. Parasuraman, R., Manzey, D. H. (2010). Complacency and Bias in Human Use of Automation: An Attentional Integration. Human Factors 52(3), 381-410. doi:10.1177/0018720810376055 (li o resumo; o texto completo não estava disponível para mim).
  5. Wolfe, J. M., Horowitz, T. S., Kenner, N. M. (2005). Rare items often missed in visual searches. Nature 435, 439-440. As taxas de omissão de 7% e 30% estão no artigo (manuscrito do autor no PubMed Central, PMC4224304). A aritmética da dupla triagem, os comentários sobre triagem, as ameaças fictícias e a ressalva sobre treinamento vêm da entrevista de Wolfe a Ira Flatow, "Finding a Needle...", NPR Talk of the Nation/Science Friday, 3 de junho de 2005 (npr.org/transcripts/4679042).
  6. Dratsch, T., et al. (2023). Automation Bias in Mammography: The Impact of Artificial Intelligence BI-RADS Suggestions on Reader Performance. Radiology, 2 de maio de 2023; números do comunicado da RSNA (rsna.org/news/2023/may/ai-bias-may-impair-accuracy), que li; o artigo em si não abri.
  7. Beck, J., Eckman, S., Kern, C., Kreuter, F. (2025; 2026). Bias in the Loop: How Humans Evaluate AI-Generated Suggestions. arXiv:2509.08514 (v1, números sobre tipos de erro); Harvard Data Science Review 8(2), 2026 (listagem vista numa página secundária; não abri a versão do periódico, e os números vêm do texto completo da v1 no arXiv).
  8. Budzyń, K., et al. (2025). Endoscopist deskilling risk after exposure to artificial intelligence in colonoscopy: a multicentre, observational study. The Lancet Gastroenterology and Hepatology 10(10), 896-903. doi:10.1016/S2468-1253(25)00133-5.
  9. Anthropic (29 de janeiro de 2026). How AI assistance impacts the formation of coding skills. anthropic.com/research/AI-assistance-coding-skills.
  10. METR (10 de julho de 2025). Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity. metr.org/blog/2025-07-10-early-2025-ai-experienced-os-dev-study/ (a página registra um acompanhamento de fevereiro de 2026 e informa que os resultados de 2025 estão desatualizados).
  11. Dodge, H. F., Romig, H. G. (1929). A Method of Sampling Inspection. Bell System Technical Journal 8(4), outubro de 1929. ISO 2859-1: Sampling procedures for inspection by attributes, Part 1: Sampling schemes indexed by acceptance quality limit (AQL) for lot-by-lot inspection.
  12. NIST/SEMATECH e-Handbook of Statistical Methods, seção sobre amostragem de aceitação de lotes e curvas características de operação. itl.nist.gov/div898/handbook/pmc/section2/pmc22.htm.
  13. Shewhart, W. A. (1931). Economic Control of Quality of Manufactured Product. Van Nostrand. Justificativa dos limites de três sigmas conforme descrita em Wheeler, D. J., Why Three-Sigma Limits? Quality Digest (qualitydigest.com/aug/wheeler.html); não li o livro de Shewhart.
  14. Deming, W. E. (1982). Out of the Crisis. MIT Center for Advanced Engineering Study; ponto 3 conforme listas secundárias dos catorze pontos (por exemplo deming.org, que cita as páginas 23-24), sem leitura do livro.
  15. Aritmética ilustrativa de controle de qualidade: lote semanal de 1.000 rascunhos, US$ 3 por revisão, plano de amostragem de 82 itens aceitando até 3 defeitos, taxas de detecção do revisor de 70% e 50%, taxa de defeitos de 4%, três fluxos de 1.000, 250 e 50 itens com custos de erro que escapa de US$ 20, US$ 400 e US$ 10.000, dois revisores independentes, limites do gráfico de controle para uma taxa observada de 2,8%. Todos os valores são inventados para o exemplo e foram calculados com Python.