Voltar

A decisão deve acompanhar o conhecimento, e produtos de IA precisam disso por escrito

·20 min de leitura

Na noite de 27 de janeiro de 1986, engenheiros da Morton Thiokol, em Utah, disseram a funcionários da NASA numa teleconferência que o Challenger não deveria ser lançado abaixo de 53 graus Fahrenheit, a menor temperatura dos anéis de vedação em qualquer voo anterior. A previsão para a manhã seguinte era de uma mínima próxima de 22 graus e de cerca de 26 no horário de lançamento então marcado, às 9h38. Por volta das 22h30 no horário da costa leste americana, os gestores da Thiokol interromperam sua participação na chamada por aproximadamente meia hora. Quando voltaram, a empresa recomendou o lançamento, e um vice-presidente assinou a justificativa e a enviou por fax ao Kennedy Space Center. O Challenger decolou às 11h38 da manhã seguinte e começou a se desintegrar 73 segundos depois. Os sete tripulantes morreram.

A Comissão Rogers, que investigou o acidente a pedido do presidente, concluiu em 1986 que a decisão de lançamento havia sido falha. Os responsáveis no topo da cadeia de prontidão para voo da NASA desconheciam o histórico de danos aos anéis de vedação em voos anteriores. Também desconheciam a recomendação inicial da Thiokol, feita por escrito, de não lançar no frio. A Comissão considerou altamente improvável que tivessem autorizado o lançamento se soubessem desses fatos.

As pessoas dessa história eram competentes, e os engenheiros estavam certos. O que falhou foi a distribuição dos direitos de decisão: quem podia dispensar um limite de segurança, quem precisava ser informado, quem podia dizer não e quem tinha de provar o quê. Na minha leitura, organizações lentas e organizações imprudentes frequentemente compartilham essa causa, pois em ambas ninguém consegue apontar uma resposta escrita para quem decide. Um time de produto de IA enfrenta versões dessas perguntas toda semana. Quem pode colocar um modelo em produção? Quem pode mudar um limiar, contrariar uma previsão, aceitar um risco residual ou interromper um lançamento? Muitos times nunca registraram as respostas. Acho que uma tabela curta, por escrito, compensa seu custo para essas decisões. O registro do Challenger sustenta duas regras para desenhá-la: deve ser fácil exercer o direito de parar, e o direito de colocar em produção deve depender de evidências que o responsável pelo lançamento não controle.

No Challenger, quem estabelecia a restrição de segurança também a dispensava

Para quem desenha direitos de decisão, o trecho mais útil do relatório é a descrição da prontidão para voo. Em julho de 1985, depois que uma junta do bocal na missão 51-B apresentou erosão de um anel secundário, indicando falha da vedação primária, uma restrição de lançamento foi imposta à missão 51-F e às seguintes. Segundo a Comissão, Lawrence Mulloy, gerente do projeto dos propulsores de combustível sólido no Marshall Space Flight Center, impôs a restrição e a dispensou regularmente, seis vezes consecutivas antes da 51-L. A estrutura de revisão da NASA tinha quatro níveis. O nível II, do diretor do programa do ônibus espacial, era onde problemas críticos deveriam chegar. A Comissão relatou que nem a restrição, nem sua razão, nem as dispensas eram conhecidas dos responsáveis dos níveis I e II acima de Mulloy. Concluiu que nenhum sistema obrigava todos os níveis de gestão a considerar restrições e dispensas. Na reunião L-1 de 25 de janeiro de 1986, todas as ações da revisão de prontidão foram dadas como encerradas. Uma diretriz de nível I, emitida dois dias antes, dizia que nenhum problema nos propulsores havia sido identificado.

O sistema, portanto, tinha um controle de segurança, e a mesma pessoa que o impunha podia suspendê-lo conforme o cronograma exigisse. Mulloy disse à Comissão que a objeção da Thiokol era uma questão de nível III já resolvida. O caminho normal de encaminhamento, segundo ele, passava dele para Reinartz, depois para Aldrich e finalmente para Moore. Os responsáveis nos níveis I e II não sabiam que a restrição existia. A única conferência oferecida pela estrutura dependia, assim, da própria pessoa que deveria ser conferida. Houve ou não uma etapa de comunicação omitida, a organização colocou o autor da restrição e seu julgador na mesma cadeira.

Outros elos mostram o mesmo padrão: direitos existentes no papel que não se conectavam. Reinartz, gestor do Shuttle Projects Office de Marshall, confirmou à Comissão que decidiu não levar a objeção da Thiokol ao nível II. Lucas, diretor de Marshall, perguntou a Reinartz e Mulloy, no centro de controle por volta das 5h do dia do lançamento, como a preocupação da noite anterior havia sido resolvida. Ouviu que estava resolvida e não informou Aldrich nem Moore. Explicou que aquele não era seu canal de comunicação, porque Reinartz se reportava diretamente a Aldrich. Cada um agiu dentro de um caminho que fazia sentido isoladamente. A Recomendação II da Comissão acrescenta uma leitura estrutural: os gestores dos projetos de componentes se sentiam mais responsáveis perante seus centros de origem do que perante o programa, e o financiamento e a definição do trabalho contornavam o gerente nacional. Na linguagem dos direitos de decisão, a linha de responsabilidade e a linha de recursos não se encontravam.

A resposta da Comissão é, ela mesma, uma descrição de direitos de decisão. Pediu à NASA uma política escrita para impor e retirar restrições de lançamento, na Recomendação V, o registro das revisões de prontidão e um escritório de segurança, confiabilidade e garantia da qualidade com autoridade sobre toda a agência. Esse escritório, previsto na Recomendação IV, deveria se reportar ao administrador da NASA e ser independente das responsabilidades dos programas. Nenhum desses remédios acrescenta talento de engenharia. Cada um muda a localização da autoridade, e o novo escritório recebe uma linha de reporte que não atravessa o programa que deve fiscalizar.

O conhecimento estava com os engenheiros e a decisão ficou com os gestores

Michael Jensen e William Meckling escreveram um artigo publicado em Contract Economics em 1992 e republicado em 1995 que oferece o princípio relevante. Definem conhecimento específico como aquele que custa caro transferir entre pessoas, e conhecimento geral como aquele que custa pouco transmitir. Como o conhecimento específico é caro de mover, argumentam, usá-lo nas decisões exige aproximar os direitos de decisão de quem o possui. Desconsiderados os problemas de agência, dar o direito à pessoa com o conhecimento relevante aumenta a eficiência. No mesmo resumo, fazem a ressalva necessária: o interesse próprio exige um sistema de controle que incentive o titular a usar bem esse direito.

Na noite de 27 de janeiro, o conhecimento sobre o efeito do frio numa vedação de borracha era específico exatamente nesse sentido. Estava nas cabeças e nos gráficos de Boisjoly, Arnold Thompson e seus colegas. Era uma inferência a partir de poucos dados, pois nenhum voo havia ocorrido com tanto frio. A recomendação inicial da Thiokol dizia isso. Então o direito de decidir mudou de mãos. Segundo o depoimento recontado pela Comissão, Mason, vice-presidente sênior da Thiokol, pediu a Bob Lund, vice-presidente de engenharia, que tirasse o chapéu de engenheiro e colocasse o de gestor. Somente os quatro gestores participaram da revisão final. Boisjoly testemunhou depois que nunca lhe pediram uma posição nem o consultaram numa votação. Lund disse que os papéis haviam se invertido e que a Thiokol sentiu que precisava provar à NASA que não estava pronta.

A Comissão tratou essa inversão como uma constatação própria: a NASA parecia exigir que a contratada provasse que o lançamento seria inseguro. Hardy, um alto responsável de engenharia em Marshall, disse na chamada que estava um tanto chocado com a posição inicial da Thiokol e que não recomendaria o lançamento contra a objeção da empresa. Sob a regra implícita de lançar a menos que alguém provasse o contrário, uma incerteza de engenharia se transformou numa autorização.

O apêndice de Richard Feynman ao relatório mostra quanto a distância entre conhecimento e decisão havia crescido. A introdução descreve estimativas de perda do veículo entre aproximadamente 1 em 100 e 1 em 100.000, com as probabilidades maiores vindo dos engenheiros e as menores, da gestão. Na discussão separada da confiabilidade dos motores principais, registra 1 em 10.000 dos engenheiros da Rocketdyne, 1 em 300 dos engenheiros de Marshall, 1 em 100.000 da gestão da NASA e 1 ou 2 em 100 de um engenheiro consultor independente. Esses números se referem a estimativas diferentes e não devem ser reunidos numa taxa medida de falha do ônibus espacial. Seu valor aqui é a discordância entre pessoas dentro do mesmo programa, que Feynman examinou como problema de comunicação e julgamento.

A ressalva de Jensen e Meckling vale também contra os engenheiros. Eles têm interesses próprios. Podem preferir cautela porque recebem a culpa por uma falha e nenhum crédito pelo lançamento. Um regime que permita a qualquer engenheiro parar qualquer coisa pode paralisar um programa por boas e más razões. O trabalho de desenho organizacional é decidir quais escolhas cada parte está mais apta a fazer e associar um controle a cada uma, para que seu titular tenha motivo para exercer bem o direito.

Oito decisões que um time de produto de IA deveria registrar

As oito decisões abaixo são as primeiras que eu colocaria por escrito. Os nomes dos cargos variam entre empresas, mas a estrutura deve permanecer: uma pessoa nomeada para decidir, vetos limitados a quem possui outro tipo de conhecimento específico e uma regra para quando ninguém age. Tomo o vocabulário do método RAPID, descrito por Paul Rogers e Marcia Blenko, da Bain & Company, na Harvard Business Review de janeiro de 2006. Os papéis são recomendar, concordar, executar, contribuir com informação e decidir. O último pertence a uma única pessoa.

  1. Colocar em produção uma mudança de modelo, prompt ou recuperação que passe pelo critério de avaliação acordado. Decide: o líder de engenharia da funcionalidade. Nenhuma reunião é necessária, o responsável pela avaliação é informado automaticamente e o critério, incluindo métricas, recortes e amostras mínimas, foi fixado antes da construção da mudança.
  2. Colocar em produção uma mudança que falhe no critério ou esteja fora de seu alcance, como um novo idioma, segmento de clientes ou fonte de dados. Decide: o responsável pelo produto. O responsável pela avaliação tem um veto que só pode ser retirado pela decisão 5, de modo que o produto não possa simplesmente ignorá-lo.
  3. Mudar um limiar de decisão, como o corte de aprovação automática ou a confiança exigida para encaminhar um caso. Decide: o responsável de negócio que arca com os dois tipos de erro. O cientista de dados recomenda, apresenta as taxas esperadas com um intervalo e o responsável registra a escolha e a data.
  4. Contrariar uma previsão individual. Decide: a pessoa que atende o caso, sem etapa de aprovação. A intervenção e sua razão ficam registradas, e uma pessoa nomeada examina o conjunto dessas intervenções mensalmente.
  5. Aceitar um risco residual conhecido, como uma falha que não será corrigida antes do lançamento. Decide: um executivo nomeado que responde pelo resultado e não se reporta ao time que construiu o sistema. A aceitação é escrita, identifica o risco específico e vence numa data declarada.
  6. Pausar ou reverter um modelo em produção. Decide: qualquer pessoa de uma lista pública de plantão, sem necessidade de provar dano. O reinício exige concordância entre os responsáveis pelo produto e pela avaliação após uma revisão.
  7. Interromper um lançamento programado por um motivo que a avaliação não antecipou. Decide: qualquer revisor nomeado pode impor a suspensão. Retirá-la cabe ao executivo da decisão 5, que precisa registrar a justificativa por escrito, tornando a exceção visível.
  8. Alterar esta tabela. Decide: o patrocinador executivo, numa revisão trimestral fixa, usando o registro de incidentes como insumo.

Três características respondem ao registro do Challenger. As decisões 5 e 7 separam quem se beneficia do cronograma de quem aceita o risco, para que ninguém imponha uma restrição e a retire silenciosamente, como ocorreu com a restrição da 51-B. A decisão 6 inverte o ônus da prova: uma pausa exige um reinício posterior, e a liberação continua condicionada a evidências. O veto da decisão 2 existe para tornar um conflito visível e não pode encerrá-lo sozinho. O RAPID segue a mesma lógica: o papel de concordar dá anuência à recomendação, enquanto o compromisso de agir permanece com uma única pessoa no papel de decidir.

Como fica uma decisão de limiar quando os números aparecem

A decisão 3 é a que mais gera discussão, então um exemplo completo ajuda. Os números seguintes são inventados para ilustração. Suponha que uma instituição use um modelo para aprovar automaticamente pequenos empréstimos quando a pontuação supera 0,90. O time propõe baixar o corte para 0,85, enviando mais 600 solicitações mensais à aprovação automática. Um empréstimo pago rende 150 de margem, e um inadimplente gera perda de 1.200.

Se a inadimplência entre esses 600 casos marginais for de 8%, cada aprovação adicional tem valor esperado de 0,92 vezes 150 menos 0,08 vezes 1.200: 138 menos 96, ou +42. A mudança vale 25.200 por mês. Se a taxa verdadeira for de 12%, a conta dá 132 menos 144, ou -12 por aprovação, e a mudança perde 7.200 mensais. O equilíbrio fica em 150 dividido por 1.350, aproximadamente 11,1%. Um erro de um ponto percentual muda o valor esperado mensal em 8.100 e pode inverter a decisão quando a estimativa está perto desse limite. Passar de 8% para 9% ainda deixaria a operação lucrativa sob essas premissas.

Dois tipos de conhecimento específico se encontram nessa conta. O cientista de dados sabe quanta incerteza há na estimativa de 8%, o que depende do treinamento e de como esses solicitantes marginais diferem dos casos na avaliação. O responsável de negócio sabe o que uma margem perdida de 150 e uma perda de 1.200 significam para a empresa e quanto de variação ela consegue suportar. Nenhum dos dois decide bem sozinho. Uma tabela que atribui a decisão a quem responde pelo custo e exige de quem recomenda um intervalo, em vez de uma estimativa pontual, coloca cada fato onde será usado. Se só o construtor decide, eu esperaria limiares ajustados à métrica de avaliação. Se só o responsável de negócio decide, esperaria limiares ajustados à meta trimestral. É uma previsão a partir dos incentivos; não tenho dados sobre ela.

Reguladores e organismos de normalização já pedem essas respostas por escrito

Os supervisores bancários pediram essas respostas muito antes da IA generativa, e organismos de normalização e legisladores repetiram o pedido desde então. Em abril de 2011, o Federal Reserve e o Office of the Comptroller of the Currency publicaram a SR 11-7, orientação sobre risco de modelos que regeu bancos americanos por quinze anos. O documento dizia que o questionamento efetivo de um modelo depende de incentivos, competência e influência. Esta vem da combinação de autoridade explícita, posição na organização e apoio da alta gestão. Atribuía aos donos dos modelos a responsabilidade final por uso e desempenho, dava ao controle autoridade para restringir o uso e permitia exceções aos procedimentos de validação apenas temporariamente, com prazos e limites de utilização. Dizia também que uma taxa alta de intervenções humanas, ou intervenções que melhorassem sistematicamente o desempenho, frequentemente indicava necessidade de revisar o modelo. As decisões 4 e 5 seguem essa lógica.

O Federal Reserve substituiu a SR 11-7 pela SR 26-2 em 17 de abril de 2026. O novo texto mantém o questionamento efetivo: análise por pessoas com conhecimento, independência suficiente e posição e influência organizacionais para produzir mudanças. Uma nota exclui de seu alcance modelos de IA generativa e agêntica. Para esses times em bancos, a exclusão não dispensa governança: a mesma nota diz que as práticas de gestão de risco da instituição devem determinar os controles apropriados. Modelos estatísticos tradicionais e modelos de IA que não sejam generativos nem agênticos continuam no alcance da orientação.

O National Institute of Standards and Technology americano chega a um ponto parecido na função GOVERN do playbook de seu AI Risk Management Framework. Pede papéis documentados para gestão de risco, separação entre desenvolvimento e testes para permitir correções independentes e uma liderança executiva que declare tolerâncias e delegue autoridade para agir. Uma pergunta sugerida para a documentação é quem recebe a preocupação de que um sistema deixou de atender aos padrões da organização e se essa pessoa pode modificar, limitar ou interromper seu uso. É a decisão 6 em linguagem direta.

A legislação começou a exigir partes disso. O artigo 26(2) do AI Act europeu diz que quem implanta sistemas de alto risco deve atribuir supervisão humana a pessoas com competência, treinamento e autoridade necessários. O artigo 14(4) enumera o que elas devem poder fazer: compreender limites, ficar atentas ao viés de automação, desconsiderar ou reverter uma saída e intervir ou interromper o sistema mediante um controle de parada. A Comissão Europeia informa que o AI Omnibus entrou em vigor em 27 de julho de 2026 e que as regras para sistemas de alto risco do Anexo III se aplicam a partir de 2 de dezembro de 2027. Essas datas dizem respeito àquela categoria, e não a todo sistema de IA. O texto coloca autoridade e controle de parada como requisitos separados, ao lado da competência. Qualquer um pode faltar enquanto os demais existem. Um revisor que entende o sistema mas não pode pará-lo volta à posição dos engenheiros do Challenger.

A objeção da burocracia está certa para decisões reversíveis

A objeção mais forte a tudo isso é que direitos explícitos criam aprovações, e aprovações criam lentidão. Jeff Bezos fez essa observação na carta aos acionistas referente a 2015. Separou decisões do Tipo 1, relevantes e quase irreversíveis, como portas de mão única, das do Tipo 2, modificáveis, como portas de mão dupla. Alertou que, ao crescer, organizações aplicam o processo pesado do Tipo 1 à maioria das decisões, produzindo lentidão, aversão ao risco, pouca experimentação e menos invenção. A carta de 2016 defendeu decidir com cerca de 70% da informação desejada e a prática de discordar e se comprometer. O documento público de cultura da Netflix descreve uma pessoa responsável por cada decisão importante, o informed captain, e diz que evita decisões por comitê porque atrasam a empresa e diluem a responsabilidade.

Aceito a objeção para toda decisão que possa ser revertida com pouco custo, e a tabela foi construída para respeitá-la. A decisão 1 não contém aprovação: uma mudança que passa pelo critério estabelecido antes segue com a palavra do líder, e o critério faz o trabalho que caberia a um comitê. A tabela cobre oito decisões. Cada uma ou custa caro para reverter, como aceitar risco residual ou liberar fora do critério, ou envolve um conflito de interesses que o time não resolve sozinho, como parar um lançamento. Minha regra para uma nona linha seria perguntar se a decisão é uma porta de mão única ou se alguém responsável pelo cronograma teria incentivo para dispensar silenciosamente uma restrição. Se nenhuma resposta for positiva, a decisão fica no time e não entra na tabela.

Uma segunda resposta é que direitos não escritos também cobram custo burocrático, de forma menos visível. A reunião em que ninguém sabe se decide o gerente de produto ou o líder de dados, e o encaminhamento que vagueia por uma semana, consomem tempo justamente nas decisões mais importantes. A Bain relata em sua página do artigo de Rogers e Blenko que uma pesquisa com mais de 350 organizações encontrou cerca de 15% decidindo com eficácia. É uma consultoria descrevendo um problema para o qual vende remédio, e eu não sustentaria um argumento nesse número. Menciono-o como pista na mesma direção do registro do Challenger, e não como medição suficiente.

A objeção também expõe limites. Escrever um direito não faz as pessoas exercê-lo. O estudo de Diane Vaughan, de 1996, que conheço por um resumo secundário, concluiu que os gestores agiram de acordo com as regras da NASA. O problema estava na aceitação normalizada de falhas conhecidas, na pressão do cronograma e na informação que se perdia ao subir a hierarquia. Uma tabela poderia ter sido seguida à risca em Marshall. Por isso a proposta inclui regras padrão, vencimentos e um responsável independente pelo risco, indo além de atribuir um nome. A base de evidências também é pequena. A Comissão Rogers examina um caso com retrospectiva, a SR 11-7 descreve expectativas e não resultados medidos, e desconheço estudo controlado mostrando que uma tabela dessas reduza incidentes de IA. A recomendação se apoia em mecanismo e precedente. Quem a adota deve manter o registro de incidentes que permitiria mostrar que estava errada.

A primeira linha surge ao reconstruir o último lançamento

O começo mais barato é reconstruir as decisões da última mudança de modelo ou prompt que chegou à produção. Descubra quem aprovou, quem poderia ter bloqueado, quem conhecia os resultados da avaliação e quem seria avisado se alguém tivesse discordado. Procure então as três falhas que o registro do Challenger torna reconhecíveis: alguém que estabelecia e também retirava um limite, alguém com conhecimento específico que não foi consultado na hora da decisão e uma regra implícita que colocava o ônus da prova sobre quem pedia cautela.

O primeiro achado vira a primeira linha da tabela. Um time que implanta um sistema de alto risco abrangido pelo AI Act pode fazer a mesma reconstrução com o artigo 26(2), sobre competência e autoridade dos supervisores humanos, junto do artigo 14(4)(e), sobre poder intervir ou interromper o sistema. As fontes não me permitem resolver quão pequeno um time pode ser antes que a tabela vire custo excessivo. Meu palpite é que, com cinco pessoas, todos veem tudo e a distância entre autoridade informal e escrita permanece invisível até o primeiro lançamento que alguém queira parar. É um palpite.

Fontes

  1. Presidential Commission on the Space Shuttle Challenger Accident (Comissão Rogers) (1986). Report to the President, volume I, capítulos III, V e VI, e Recomendações II, IV e V. NASA History Office. https://www.nasa.gov/history/rogersrep/v1ch5.htm e https://www.nasa.gov/history/rogersrep/v1ch9.htm.
  2. Feynman, R. P. (1986). Appendix F, Personal Observations on the Reliability of the Shuttle. Relatório da Comissão Rogers, volume II. https://www.nasa.gov/history/rogersrep/v2appf.htm.
  3. Jensen, M. C., Meckling, W. H. (1992). Specific and General Knowledge, and Organizational Structure. Em Werin, L., Wijkander, H. (orgs.), Contract Economics, Blackwell, pp. 251-274; também Journal of Applied Corporate Finance (1995). https://papers.ssrn.com/abstract=6658. Texto consultado na cópia recuperada da pesquisa.
  4. Rogers, P., Blenko, M. (2006). Who Has the D? How Clear Decision Roles Enhance Organizational Performance. Harvard Business Review, janeiro de 2006. Papéis RAPID e pesquisa com mais de 350 organizações conforme a Bain: https://www.bain.com/insights/who-has-the-d/.
  5. Bezos, J. (2016). Carta aos acionistas referente a 2015, sobre decisões Tipo 1 e Tipo 2. Bezos, J. (2017). Carta referente a 2016, sobre 70% da informação e discordar e se comprometer. https://ir.aboutamazon.com/files/doc_financials/annual/2015-Letter-to-Shareholders.PDF e https://www.aboutamazon.com/news/company-news/2016-letter-to-shareholders.
  6. Netflix. Netflix Culture Memo, sobre informed captain, busca de discordância e contexto. https://jobs.netflix.com/culture, consultado em outubro de 2026. A descrição mais longa está em Hastings, R., Meyer, E. (2020), No Rules Rules, livro não consultado.
  7. Federal Reserve e Office of the Comptroller of the Currency (2011). SR 11-7, Supervisory Guidance on Model Risk Management, 4 de abril de 2011, texto arquivado. Federal Reserve (2026). SR 26-2, Revised Guidance on Model Risk Management, 17 de abril de 2026. https://www.federalreserve.gov/supervisionreg/srletters/sr2602.htm e anexo SR2602a1.pdf.
  8. National Institute of Standards and Technology. AI RMF Playbook, função GOVERN, subcategorias 1.7, 2.1 e 2.3. https://airc.nist.gov/airmf-resources/playbook/govern/.
  9. União Europeia (2024). Regulamento (UE) 2024/1689, artigos 14(4) e 26(2). https://eur-lex.europa.eu/eli/reg/2024/1689/oj/eng. Comissão Europeia (27 de julho de 2026). AI Omnibus enters into force. https://digital-strategy.ec.europa.eu/en/news/ai-omnibus-enters-force.
  10. Vaughan, D. (1996). The Challenger Launch Decision: Risky Technology, Culture, and Deviance at NASA. University of Chicago Press. Consultado apenas por meio do resumo secundário Challenger launch decision, 30 years on, em aerossurance.com.
  11. Aritmética ilustrativa dos limiares: 600 aprovações mensais adicionais, margem de 150 por empréstimo pago, perda de 1.200 por inadimplência, taxas de 8% e 12%, equilíbrio de aproximadamente 11,1% e variação mensal de 8.100 por ponto percentual. Todos os valores são inventados para este ensaio.