Quando um modelo resolve o teste, refaça a amostra de trabalho em vez de policiar o candidato

Em 21 de janeiro de 2026, Tristan Hume, um dos líderes da equipe de otimização de desempenho da Anthropic, publicou o relato de um teste de seleção que vinha perdendo para os modelos da própria empresa. Ele o desenhara em novembro de 2023, quando a Anthropic não tinha engenheiros de desempenho suficientes para sua nova escala e o processo padrão não dava conta de avaliar todos os candidatos que a prospecção trazia. Cerca de 1.000 pessoas o fizeram ao longo de um ano e meio, e ele ajudou a contratar a maior parte da equipe atual. A tarefa era otimizar código para um acelerador simulado, e as instruções permitiam expressamente o uso de IA. Em maio de 2025, escreve Hume, mais da metade dos candidatos teria se saído melhor entregando a tarefa inteira ao Claude Code, e uma versão pré-lançamento do Claude Opus 4 superou quase todos os humanos dentro do limite de quatro horas. Um Opus 4.5 pré-lançamento, rodando por duas horas, igualou o melhor resultado humano naquela janela, e esse humano havia usado bastante um modelo Claude anterior, com direcionamento constante.

As reações habituais a uma história dessas são caçar quem trapaceia, proibir as ferramentas ou levar todo mundo para o escritório. Acho que as três miram o alvo errado. Um teste para fazer em casa é uma amostra de trabalho, um pedaço do cargo entregue ao candidato, e sua única justificativa é que o desempenho no pedaço prevê o desempenho no cargo. Quando um modelo faz o pedaço, ele deixa de se parecer com o trabalho que sobra para a pessoa, e vigiar o candidato de perto não devolve a semelhança.

Defendo três afirmações. A literatura de seleção de pessoal sustenta amostras de trabalho e pontuação estruturada em princípio, com números menores do que os manuais antigos davam. O conserto prático é amostrar o trabalho que a pessoa ainda precisa fazer ao lado de um modelo, isto é, delimitar o problema, revisar e depurar código gerado e explicar as escolhas, e pontuar tudo com uma rubrica escrita. Já a terceira afirmação é um limite: essa literatura não diz nada sobre formatos da era da IA, de modo que toda reformulação, inclusive a que descrevo adiante, é uma hipótese que o empregador deve conferir com as próprias contratações.

A validade das amostras de trabalho é real e mais antiga que o problema

O ponto de referência da maioria dos conselhos sobre contratação é a revisão de Schmidt e Hunter, de 1998, na Psychological Bulletin, que estimou a validade média dos testes de amostra de trabalho em 0,54 e a das entrevistas estruturadas em 0,51, com a capacidade cognitiva geral em 0,51 e as entrevistas não estruturadas em 0,38. Validade, aqui, é a correlação entre a nota do processo seletivo e o desempenho posterior no cargo.

Sackett, Zhang, Berry e Lievens revisitaram essas estimativas no Journal of Applied Psychology em 2022. O argumento é técnico: as correções usuais para restrição de amplitude, aplicadas por meio de distribuições presumidas, corrigiram em excesso, e a maior parte das validades tinha sido superestimada. Na revisão deles, a entrevista estruturada cai de 0,51 para 0,42 e continua sendo o procedimento mais bem colocado. Testes de conhecimento do cargo ficam em 0,40, biodata com chave empírica em 0,38, amostras de trabalho em 0,33, capacidade cognitiva em 0,31 e entrevistas não estruturadas em 0,19. O resumo do artigo situa a redução típica entre 0,10 e 0,20 ponto. As amostras de trabalho perdem 0,21, e os autores atribuem isso a uma troca na evidência de base. O número de 1998 vinha de uma revisão narrativa mais antiga, e o substituto é uma metanálise de 2005 de Roth, Bobko e McFarland, que cobriu 54 estudos, 53 deles concorrentes, com validade média observada de 0,26, que sobe para 0,33 depois de corrigida pela baixa confiabilidade das avaliações de desempenho.

Duas leituras desse resultado pesam sobre a questão do teste para fazer em casa. A primeira: os autores observam que os preditores mais fortes na revisão (entrevistas estruturadas, testes de conhecimento do cargo, biodata com chave e amostras de trabalho) são todos específicos do cargo, e ligam isso a uma distinção antiga entre medidas que são sinais de um traço e medidas que são amostras do comportamento. Uma amostra funciona porque se parece com aquilo que prevê. A segunda: amostras de trabalho e testes de conhecimento pressupõem candidatos que já têm formação ou experiência, situação comum numa contratação de engenharia e um motivo para o formato servir bem a ela.

A validade de 0,42 da entrevista estruturada vem com um desvio-padrão residual de 0,19, o que significa que, em alguns contextos, a validade fica perto de 0,18. Ordenadas pelo limite inferior do intervalo de credibilidade de 80% na Tabela 3 do artigo, as amostras de trabalho aparecem em quarto lugar (0,21) e as entrevistas estruturadas em quinto (0,18). Uma amostra de trabalho exige pontuação cuidadosa e uma checagem local de se ela prevê algo entre as suas próprias contratações.

A Anthropic trocou realismo por novidade, e Hume reconhece o custo

O texto da Anthropic é o relato público mais detalhado que encontrei de uma amostra de trabalho se deteriorando diante de seu dono. A primeira versão dava quatro horas aos candidatos. Quando o Claude 3.7 Sonnet e o Opus 4 passaram a igualar ou superar a maioria deles, Hume usou o Opus 4 para descobrir onde o modelo tinha dificuldade e construiu uma segunda versão em torno desse ponto. Tirou a parte multinúcleo, que o modelo já resolvia e que atrasava o ciclo de desenvolvimento, aprofundou a máquina e cortou o tempo para duas horas, em parte porque o custo de agendamento vinha causando atrasos de semanas no processo. O Opus 4.5 então atingiu o limiar de aprovação em menos de uma hora, travou no que julgou ser um limite de largura de banda de memória, achou um truque quando Hume lhe deu a contagem de ciclos desejada e terminou as duas horas empatado com o melhor humano.

Hume considerou duas correções óbvias e rejeitou as duas. Preocupou-se com a dificuldade de fazer valer uma proibição, e queria que os candidatos se distinguissem num ambiente com IA, como fariam no trabalho. Subir a régua para algo como superar o Claude Code transforma o candidato em espectador, porque o modelo trabalha mais depressa do que uma pessoa consegue acompanhar. Ele tentou um segundo problema de otimização, uma tarefa de transposição de dados, e, numa versão corrigida, o Opus 4.5 avançou sem achar a solução mais eficiente e depois a resolveu rodando com raciocínio estendido. A conclusão de Hume foi que o problema estava coberto demais pelos dados de treinamento. Uma tentativa seguinte usou quebra-cabeças no estilo dos jogos da Zachtronics, com um conjunto de instruções minúsculo e incomum, sem ferramentas de visualização e com pontuação por número de instruções, de modo que montar as próprias ferramentas passa a fazer parte da avaliação. O Opus 4.5 falhou em um quebra-cabeça de dificuldade média a alta. As primeiras notas se correlacionaram com o trabalho anterior dos candidatos, o que é uma observação e não uma validação.

Ele também declara o custo. O original funcionava porque se parecia com trabalho real, escreve, e o substituto funciona porque simula trabalho novo, e ele diz que o realismo talvez seja um luxo que não dá mais para bancar. Um teste baseado em novidade só fica à frente de um modelo até o modelo seguinte, e afasta a amostra do cargo, que é o contrário do que a literatura de validade recompensa. A maioria dos empregadores não contrata para um trabalho tão exótico, e para eles a direção melhor é a oposta: manter a tarefa realista e mudar o que se está amostrando.

A amostra precisa migrar para o trabalho que sobra

Se um modelo escreve o primeiro rascunho do código, a pessoa no cargo ainda decide o que construir, julga se o rascunho está certo, descobre por que ele falha e explica a escolha a colegas que terão de conviver com ela. Uma amostra reformulada deveria extrair justamente essas habilidades. Há alguma evidência direta de que também são as que sofrem quando as pessoas delegam. Num ensaio randomizado de Judy Hanwen Shen e Alex Tamkin, da Anthropic, publicado como preprint em janeiro de 2026, 52 engenheiros, na maioria juniores, aprenderam uma biblioteca Python desconhecida, a Trio, com ou sem assistente de IA, e depois fizeram uma prova. O grupo com assistente teve média de cerca de 50% e o grupo que programou à mão, de cerca de 67%, uma diferença com tamanho de efeito de 0,74. As questões de depuração mostraram a maior diferença. Quem usou o assistente terminou cerca de dois minutos mais rápido, o que não foi estatisticamente significativo. Os participantes que fizeram perguntas conceituais ou pediram explicações junto com o código mantiveram as notas, enquanto os três padrões de menor pontuação, que se apoiavam no assistente para gerar código ou depurar, ficaram em média abaixo de 40%.

O resumo da Anthropic lista limitações: uma amostra relativamente pequena, uma prova feita logo depois da tarefa, nenhuma ferramenta agêntica no estudo e uma associação entre estilo de interação e nota que não estabelece causalidade. O estudo cobre ainda uma única biblioteca. Ele não mostra que a compreensão de um candidato prevê seu desempenho no cargo. Mostra que a compreensão varia muito entre pessoas que usam a mesma ferramenta, e uma habilidade que varia tanto merece ao menos a tentativa de medição.

Grandes empregadores começaram a mover seus formatos nessa direção, embora o que eu consiga citar sejam anúncios, e não resultados. A Meta começou a implantar uma rodada de programação com IA em outubro de 2025, segundo um site de preparação para entrevistas que cita uma mensagem interna da empresa. Ela substitui uma das duas rodadas de programação, dura 60 minutos num ambiente com assistente embutido, e a avaliação cobre as mesmas quatro competências de uma rodada tradicional: resolução de problemas, qualidade do código, verificação do trabalho e comunicação. Uma reportagem republicada em 14 de maio de 2026, baseada na leitura do Business Insider de um documento interno do Google, descreveu um piloto previsto para o segundo semestre de 2026, voltado a engenheiros juniores e plenos em algumas áreas dos Estados Unidos: uma rodada de compreensão de código em que o candidato lê, depura e otimiza uma base de código existente usando o Gemini, avaliado em prompting, validação das saídas e depuração. Um porta-voz do Google confirmou o detalhe do Gemini. Não encontrei dados publicados de validade ou de resultado para nenhum dos dois formatos até outubro de 2026, e o relato sobre o Google se apoia num único documento interno, noticiado por um único veículo.

Um exercício refeito: conciliação bancária com revisão e mudança ao vivo

Vai um caso concreto, com números inventados para ilustrar. Um teste comum para vagas de backend ou de dados pede ao candidato que concilie um extrato bancário com uma tabela interna de pagamentos: casar registros, sinalizar os não casados e tratar pagamentos parciais, referências duplicadas e a fronteira de fuso horário na virada do mês. O formato antigo dava três a quatro horas e avaliava o código. Eu esperaria que um modelo atual produzisse uma solução plausível em minutos, o que deixa o artefato com pouco sinal sobre a pessoa.

A versão refeita usa o mesmo domínio e tem quatro partes, que somam cerca de três horas de tempo do candidato, perto do original.

1. Escopo, 20 minutos, sem código: o candidato recebe o enunciado e uma amostra de dez linhas, e escreve as perguntas que faria ao responsável financeiro, as premissas que adotaria se não viesse resposta e o que deixaria de fora da primeira versão.
2. Construção, 90 minutos, qualquer ferramenta liberada, inclusive um modelo: o candidato entrega o código com seus testes, mais o registro exportado da sessão ou o histórico de commits.
3. Revisão, 45 minutos: o candidato recebe um pull request que um modelo atual produziu antes e que nós editamos para conter um conjunto conhecido de defeitos, e escreve uma revisão que lista os defeitos encontrados, os ordena, indica um teste que pegaria cada um e corrige um deles.
4. Conversa ao vivo, 40 minutos por vídeo, com o mesmo roteiro para todos: percorrer duas decisões da própria entrega, defender uma contra uma alternativa e reagir a um requisito que mudamos durante a chamada, como pagamentos que se liquidam ao longo de dois dias.

Os defeitos da parte três devem vir de evidência. Rode o exercício no modelo mais forte disponível e guarde os tipos de defeito que o próprio modelo introduz, ou que deixa passar quando se pede uma revisão sem pistas, por exemplo somas em ponto flutuante sobre valores monetários, hora local usada onde se precisava de UTC e um teste que afirma o comportamento errado. Isso toma emprestado o método de Hume de partir de onde o modelo tem dificuldade, aplicado à revisão e não à construção. Não rodei esse exercício com candidatos, e a ideia de que esses defeitos específicos derrubam os modelos atuais é uma proposta a testar.

Um modelo atual consegue fazer as partes um a três em grande parte sozinho, de modo que seu valor está no que mostram sobre como o candidato dirigiu a ferramenta, o que aceitou e o que percebeu. A parte quatro é o elo entre os artefatos e a pessoa, porque suas perguntas tratam do código do próprio candidato e de um requisito que ninguém tinha visto.

A validade da reformulação nasce na pontuação

Uma amostra melhor, pontuada por impressão, desperdiçaria o resultado mais bem sustentado da literatura, o de que a pontuação estruturada supera o julgamento livre. A orientação publicada pelo Google sobre entrevistas estruturadas descreve os componentes: as mesmas perguntas validadas para todos os candidatos, anotações detalhadas das respostas, rubricas padronizadas que mostram como são respostas boas e ruins, e treinamento e calibração dos entrevistadores. A rubrica avalia as respostas em quatro níveis (excelente, sólido, limítrofe, fraco), com exemplos documentados em cada nível para cada atributo que uma pergunta testa. O Google relata achados próprios de que entrevistas estruturadas preveem desempenho melhor que as não estruturadas, além de uma economia de cerca de 40 minutos por entrevista com materiais prontos e uma satisfação 35% maior entre candidatos rejeitados, mas o guia não traz os dados por trás disso, então trato tudo como afirmação.

Aplicada ao exercício, a rubrica abaixo pontua cinco dimensões em quatro níveis, de 4 (excelente) a 1 (fraco). Os pesos são escolhas minhas, ilustrativas, e a equipe de contratação deveria defini-los antes de ver o primeiro candidato.

Dimensão	Evidência	Peso	Como é o nível 4	Como é o nível 1
Escopo	Parte 1	20%	Perguntas que mudariam o desenho, com uma linha de corte defensável	Repete o enunciado, não pergunta nada
Verificação	Partes 2 e 3	30%	Testes que falham diante de comportamento errado, maioria dos defeitos plantados achada e ordenada	Testes que espelham o código, defeitos perdidos
Diagnóstico	Parte 4, requisito alterado	20%	Localiza onde o desenho quebra e raciocina até a correção	Não sabe dizer o que a mudança afeta
Trade-offs	Parte 4, decisões próprias	20%	Nomeia a alternativa e o que ela custaria, citando o próprio código	Não defende uma escolha sem reler
Direção da ferramenta	Registro da sessão	10%	Restrições declaradas, saída errada rejeitada com motivo	Primeira resposta aceita, sem checagem

Dois avaliadores pontuam cada candidato de forma independente, a partir de evidência escrita, antes de conversar, e uma diferença de mais de um nível em qualquer dimensão se resolve olhando a evidência, e não tirando a média. A equipe calibra com duas entregas anonimizadas de treino, e o limiar de aprovação é fixado de antemão. Todos usam o mesmo assistente nas partes dois e três, como fazem os formatos da Meta e do Google com suas ferramentas fornecidas.

Um exemplo calculado, com candidatos inventados, mostra por que os pesos importam. O candidato A tira 3, 3, 3, 4 e 3 nas cinco linhas, na ordem, e o total ponderado é 0,6 + 0,9 + 0,6 + 0,8 + 0,3 = 3,2. O candidato B escreve o memorando de escopo mais forte e o melhor código e revisão, com 4 e 4 nas duas primeiras linhas, mas tropeça na conversa e no registro da sessão, com 1, 1 e 2 nas demais, o que dá 0,8 + 1,2 + 0,2 + 0,2 + 0,2 = 2,6. Com um limiar de 2,75 definido antes, A avança e B não. Eu esperaria que B ficasse na frente no formato antigo, em que só o código era avaliado. Pela minha estimativa, cada candidato custa cerca de duas horas por avaliador, entre leitura e chamada, de modo que uma equipe com muitos inscritos deve pôr um filtro mais barato antes dessa etapa.

O melhor argumento por entrevistas só presenciais, e por que ele fica aquém

A melhor versão da posição contrária é esta. Todo formato remoto tem um terceiro inobservável. O Interview Coder, ferramenta criada para soprar respostas de IA a candidatos durante entrevistas sem que o entrevistador perceba, custava US$ 60 por mês segundo uma reportagem da CNBC de março de 2025, e seu fundador, Chungin Lee, argumentava que uma entrevista baseada na ausência de IA fazia pouco sentido. Se não dá para descartar um assistente escondido, nenhuma nota remota pode ser interpretada, e o único ambiente controlado é uma sala sem dispositivos. A liderança do Google teria considerado a ideia. Numa reunião interna de fevereiro de 2025, noticiada pela CNBC, Sundar Pichai disse que valia pensar em uma fração das entrevistas presenciais (o motivo citado era a cultura, e a CNBC enquadrou a fala como resposta à trapaça), e o vice-presidente de recrutamento, Brian Ong, disse que as entrevistas virtuais eram cerca de duas semanas mais rápidas, mas que faltava trabalho para encaixar a IA no processo.

Aceito a premissa sobre garantia e rejeito a conclusão, por três razões. A primeira é que uma sala estabelece quem está respondendo e não diz nada sobre se a tarefa se parece com o cargo. Um exercício de livro fechado amostra engenharia de livro fechado, que, a meu ver, descreve poucos empregos de engenharia hoje. O mesmo Google, segundo a reportagem de maio de 2026, pilota uma rodada em que o candidato usa um assistente aprovado e é avaliado pela validação das saídas dele. A mensagem interna da Meta, como citada pelo site de preparação, descreveu sua rodada com IA como mais representativa do ambiente de desenvolvimento e menos sujeita a trapaça por modelos de linguagem. Não se sabe se esses formatos preveem alguma coisa, mas seus autores parecem duvidar de que a sala, sozinha, seja a resposta.

A segunda é o custo, que recai sobre os candidatos. Viagem, tempo longe do emprego atual e restrições de visto são barreiras que crescem com a distância do escritório, de modo que uma rodada presencial obrigatória estreita o grupo em direção a quem mora perto ou pode pagar a viagem. Não tenho fonte que quantifique isso, e é um juízo meu. A única pesquisa de seleção sobre o modo da entrevista que encontrei aponta para o outro lado. Uma metanálise de 2016 de Blacksmith, Willford e Behrend reuniu 12 estudos (13 amostras, 1.557 pessoas) e achou que entrevistas mediadas por tecnologia recebiam notas menores que as presenciais, com tamanho de efeito d = -0,41. Um comunicado de imprensa de uma universidade sobre o trabalho diz que os artigos eram de 2000 a 2007 e que as entrevistas por vídeo se saíram pior, o que não consegui confirmar no próprio artigo, e a qualidade do vídeo mudou desde então. Os autores alertaram que usar modos diferentes para candidatos diferentes convida a problemas de equidade. É um argumento justo a favor do presencial, e defende um único modo aplicado a todos numa mesma etapa.

A terceira razão é que as duas abordagens se combinam. Um exercício reformulado termina numa parte ao vivo que poderia muito bem acontecer numa sala, com o mesmo roteiro e a mesma rubrica. Para finalistas, quando o que está em jogo justifica o custo para o candidato, fazer a parte quatro presencialmente é um uso razoável do formato. O que eu evitaria é tratar a sala como a avaliação inteira e tratar a chamada de vídeo como totalmente segura. Perguntas ancoradas na entrega do próprio candidato e um requisito alterado na hora reduzem o valor de um assistente escondido. Não o eliminam, e uma equipe que não aceita esse risco residual deve levar a chamada para uma sala e embutir no preço o custo do candidato.

Não encontrei dados de validade para amostras de trabalho com IA liberada

A evidência por baixo de tudo isso é fina. A estimativa para amostras de trabalho se apoia em 54 estudos, 53 deles concorrentes, em que se testaram funcionários atuais e não candidatos acompanhados depois. Todos os números da revisão de Sackett são anteriores a modelos capazes de passar num teste para casa, e são médias entre cargos e contextos. Não encontrei validade de critério publicada para uma amostra de trabalho com IA liberada, nem nada sobre os formatos da Meta ou do Google além de anúncios. A correlação inicial que Hume descreve para seus novos quebra-cabeças é uma observação feita com um punhado de pessoas.

Um empregador dificilmente preenche essa lacuna sozinho. Considere uma equipe que faça 20 contratações com determinado formato. Uma correlação verdadeira de 0,30 entre as notas e o desempenho posterior costumaria não se distinguir de zero nessa amostra, já que a menor correlação que passa pela significância convencional com n = 20 é cerca de 0,44, e um teste bilateral a 5% detectaria uma correlação verdadeira de 0,30 apenas uma vez em quatro. O critério também limita o que se enxerga: Sackett e colegas assumem confiabilidade de 0,60 para as avaliações de desempenho feitas por supervisores em suas estimativas principais, e reportam um valor menor, 0,52 (número de trabalhos anteriores sobre concordância entre avaliadores), como análise de sensibilidade. Com o valor menor, mesmo um preditor perfeito mostraria uma correlação observada perto de 0,72 contra uma avaliação típica, e perto de 0,77 com o valor maior. Equipes pequenas devem, portanto, esperar evidência local ruidosa e se apoiar na estrutura que os grandes estudos sustentam: conteúdo ligado ao cargo, o mesmo roteiro para todos e pontuação ancorada.

Sackett e colegas observam que amostras de trabalho, testes de conhecimento do cargo e testes de capacidade cognitiva mostram diferenças médias substanciais entre candidatos negros e brancos, enquanto as entrevistas estruturadas mostram diferenças menores, e recomendam combinar preditores. Uma parte ao vivo pontuada por rubrica é em parte uma entrevista estruturada, então a reformulação pode ajudar, mas isso deve ser verificado nas distribuições reais de notas, e não presumido. E a paridade de ferramentas importa, porque um formato que premia quem paga pelo assistente melhor mede em parte a renda.

Um próximo passo barato: antes de mudar qualquer coisa, rode o exercício atual no modelo mais forte disponível e pontue a saída com a rubrica que já existe. Se ela passar da nota de corte, o exercício já deixou de medir o que você esperava. Seja qual for o formato que o substitua, guarde as notas por componente de cada candidato ao lado das avaliações de desempenho aos seis e aos doze meses, para que alguém tenha, mais adiante, os dados para estimar o que o formato prevê.

Fontes

1. Hume, T. (21 de janeiro de 2026). Designing AI-resistant technical evaluations. Anthropic Engineering. https://www.anthropic.com/engineering/AI-resistant-technical-evaluations
2. Sackett, P. R., Zhang, C., Berry, C. M., Lievens, F. (2022). Revisiting meta-analytic estimates of validity in personnel selection: Addressing systematic overcorrection for restriction of range. Journal of Applied Psychology, 107(11), 2040-2068. https://doi.org/10.1037/apl0000994
3. Schmidt, F. L., Hunter, J. E. (1998). The validity and utility of selection methods in personnel psychology: Practical and theoretical implications of 85 years of research findings. Psychological Bulletin, 124(2), 262-274. Números conforme reportados no item 2.
4. Roth, P. L., Bobko, P., McFarland, L. A. (2005). A meta-analysis of work sample test validity: Updating and integrating some classic literature. Personnel Psychology, 58(4), 1009-1037. Números conforme reportados no item 2.
5. Google re:Work. A guide to structured interviewing for better hiring practices. https://rework.withgoogle.com/intl/en/guides/a-guide-to-structured-interviewing-for-better-hiring-practices
6. Shen, J. H., Tamkin, A. (2026). How AI impacts skill formation. arXiv:2601.20245 (enviado em 28 de janeiro de 2026); e Anthropic (29 de janeiro de 2026), How AI assistance impacts the formation of coding skills. https://www.anthropic.com/research/AI-assistance-coding-skills
7. Elias, J., CNBC (9 de março de 2025). Meet the 21-year-old helping coders use AI to cheat in Google and other tech job interviews; reportagem sobre a reunião interna do Google acerca de entrevistas presenciais e sobre o Interview Coder, conforme republicada pela NBC New York. https://www.nbcnewyork.com/news/business/money-report/meet-the-21-year-old-helping-coders-use-ai-to-cheat-in-google-and-other-tech-job-interviews/6178911/
8. Artigo da Moneywise por Chase Kell, republicado no Yahoo Finance (14 de maio de 2026), resumindo a reportagem do Business Insider sobre o piloto de entrevista de programação assistida por IA do Google (fonte de segunda mão: baseada em documento interno do Google). https://finance.yahoo.com/sectors/technology/articles/asking-kid-math-test-without-151500986.html
9. Hello Interview. Meta's AI-enabled coding round (fonte de segunda mão: relatos de candidatos e uma mensagem interna da Meta conforme citada pelo site). https://www.hellointerview.com/blog/meta-ai-enabled-coding
10. Blacksmith, N., Willford, J. C., Behrend, T. S. (2016). Technology in the employment interview: A meta-analysis and future research agenda. Personnel Assessment and Decisions, 2(1). https://scholarworks.bgsu.edu/pad/vol2/iss1/2 (resumo lido; o intervalo de 2000 a 2007 e a classificação do vídeo vêm de um comunicado de imprensa da George Washington University, ScienceDaily, 25 de julho de 2016, https://www.sciencedaily.com/releases/2016/07/160725111425.htm)
11. Exercício e aritmética ilustrativos: a tarefa de conciliação, os tempos das quatro partes, os pesos da rubrica, as notas dos candidatos (3, 3, 3, 4, 3 e 4, 4, 1, 1, 2), o limiar de 2,75, a estimativa de duas horas por avaliador e o exemplo de 20 contratações foram inventados pelo autor para este ensaio. A correlação crítica de cerca de 0,44 com n = 20, o poder de cerca de 25% para uma correlação verdadeira de 0,30 (aproximação de Fisher z) e os tetos de 0,72 e 0,77 (raízes quadradas de 0,52 e 0,60) são cálculos estatísticos padrão.