A Copa do Mundo de 2026 virou, sem querer, um ótimo laboratório para uma pergunta que empresas ainda respondem mal: como saber se uma IA realmente funciona? Não basta observar se a resposta parece boa, se o modelo fala com confiança ou se venceu um ranking. O que importa depende da decisão que aquela IA precisa melhorar — e uma métrica mal escolhida pode coroar o sistema errado.

Dois estudos publicados em 4 de agosto transformaram os 104 jogos do Mundial em benchmarks de modelos de linguagem. Em um deles, dez assistentes receberam o mesmo retrato do torneio antes de a bola rolar e fizeram uma previsão completa, incluindo resultados, classificação dos grupos, mata-mata, campeão e níveis de confiança. No outro, seis modelos foram consultados antes de cada partida, ao longo de 39 dias, produzindo 4.494 previsões avaliadas depois dos jogos.

O futebol é apenas o cenário. A parte interessante para quem implanta automação, agentes ou IA em processos empresariais está no desenho da avaliação. Como as respostas foram registradas antes dos resultados, não havia como o modelo “lembrar” a resposta correta da internet. Isso aproxima o teste do que realmente interessa numa operação: colocar o sistema diante de situações que ele ainda não viu e medir o que acontece depois.

A Copa virou um benchmark melhor do que muita prova de conceito

Uma prova de conceito empresarial costuma acontecer em condições confortáveis. A equipe escolhe exemplos conhecidos, ajusta prompts durante a demonstração, remove exceções e, quando a saída parece convincente, conclui que a tecnologia está pronta. O problema é que parte do sucesso pode vir do próprio desenho do teste.

No estudo WorldCup Arena, os pesquisadores fizeram o contrário: cada previsão precisava ser registrada antes do apito inicial. O resultado ainda não existia. Esse detalhe elimina uma fonte importante de contaminação e obriga os modelos a lidar com incerteza real.

Para uma empresa, o equivalente não é pedir à IA que resolva cinquenta chamados antigos cuja resposta já está na base. É congelar a versão do sistema e acompanhá-la em novos chamados. Não é mostrar dez documentos que o time usou para calibrar o extrator; é medir os próximos quinhentos documentos que entrarem. Não é perguntar se o agente sabe explicar um fluxo conhecido; é observar se ele resolve, escala ou erra quando novas exceções aparecem.

Isso não significa abandonar homologação. O artigo sobre teste e homologação SaaS com IA continua válido para construir cenários e limites. A diferença é reconhecer que um conjunto de testes pré-produção comprova uma parte da qualidade; a operação futura comprova outra.

O melhor modelo depende da régua

O estudo AI World Cup 2026 oferece um resultado especialmente útil. GPT-5.5 Thinking terminou em primeiro no placar geral, com 744 pontos, e foi o único modelo a escolher a Espanha — campeã sobre a Argentina — antes do torneio. Mas a classificação foi fortemente determinada pelo desempenho no mata-mata.

Quando os pesquisadores olharam apenas para acerto de resultados na fase de grupos, a ordem mudou. Claude Sonnet 4.6 teve a melhor taxa de acerto, 63,89%, mas terminou apenas em sexto no ranking total. Em outras palavras: não existe contradição. Existiam duas perguntas diferentes sendo respondidas por duas métricas diferentes.

Isso acontece o tempo todo em automação. Imagine um agente de onboarding que recebe pendências de clientes. Se a métrica for “percentual de mensagens respondidas sem humano”, o sistema pode parecer excelente por responder quase tudo. Se a métrica for “percentual de pendências resolvidas corretamente sem reabertura”, a história pode mudar. Se o objetivo for reduzir tempo até o go-live, talvez nenhuma das duas seja suficiente.

Antes de escolher um modelo, é preciso escolher a pergunta operacional. Queremos reduzir esforço humano? Diminuir tempo de ciclo? Aumentar qualidade? Evitar erro crítico? Melhorar conversão? Reduzir retrabalho? Uma IA pode ser ótima numa dessas dimensões e mediana em outra.

Confiança alta não é evidência de acerto

No mesmo benchmark, a confiança declarada pelos modelos praticamente não teve relação com a precisão das previsões nem com o placar final. Isso é uma boa vacina contra um comportamento muito humano: acreditar mais numa saída porque ela parece segura, detalhada e bem escrita.

Modelos de linguagem são especialmente convincentes porque transformam incerteza em texto fluido. Em processos empresariais, essa fluidez pode mascarar a diferença entre “há evidência suficiente” e “há uma resposta plausível”. Quando a decisão tem consequência, o sistema precisa de sinais externos à própria eloquência.

Um extrator fiscal pode informar um campo com confiança alta e ainda estar errado. Um copiloto pode resumir uma reunião com aparente precisão e omitir uma condição de aceite. Um agente pode concluir que uma pendência foi resolvida quando apenas enviou uma mensagem. A métrica correta precisa chegar ao resultado verificável: dado conferido, decisão confirmada, tarefa concluída, exceção corretamente escalada.

Esse ponto complementa a discussão sobre agentes de IA em produção. Permissões, guardrails e escalonamento tornam a operação segura; uma boa avaliação mostra se essa operação está gerando valor de verdade.

Concordância entre IAs também não prova muita coisa

O WorldCup Arena encontrou outro resultado curioso: os modelos concordavam entre si com frequência maior do que acertavam. Votar entre vários sistemas não trouxe ganho relevante porque eles tendiam a escolher as mesmas respostas — muitas vezes seguindo o favorito das casas de apostas.

Essa observação importa quando empresas tentam aumentar confiança fazendo “um modelo revisar o outro”. A estratégia pode ser útil quando os sistemas têm erros suficientemente independentes. Mas três respostas parecidas não equivalem automaticamente a três evidências diferentes. Se todos usam dados semelhantes, padrões semelhantes e a mesma hipótese dominante, o consenso pode apenas repetir o mesmo viés.

Em automações de maior consequência, vale perguntar de onde vem a segunda evidência. Às vezes ela precisa ser uma regra determinística, uma consulta ao ERP, uma validação matemática, um documento oficial ou a aprovação de uma pessoa — e não mais uma resposta generativa sobre a primeira.

O baseline é parte da avaliação, não um detalhe

Os modelos do WorldCup Arena acertaram, em média, 63,9% dos resultados das partidas. O número parece bom até aparecer a comparação: ficou no mesmo nível de simplesmente apoiar o favorito das casas de apostas. Um sistema sofisticado pode produzir uma taxa interessante e, ainda assim, não melhorar a alternativa que já existia.

Essa é uma das perguntas mais esquecidas em projetos de IA. “A automação acertou 90%” diz pouco sem saber como o processo funciona hoje. Se uma regra simples já resolve 94%, o novo modelo piorou a operação. Se humanos acertam 75%, mas gastam vinte minutos por caso, 90% com revisão seletiva pode ser transformador. Se o erro restante está concentrado justamente nos casos de maior risco, a média também esconde o problema.

O baseline pode ser o processo manual, uma regra existente, uma automação tradicional ou até a decisão de não agir. O importante é comparar soluções sob a mesma definição de sucesso. É a mesma lógica dos indicadores de implantação: medir atividade sem um resultado de referência produz status, não evidência de valor.

Casos difíceis precisam aparecer separados da média

Os pesquisadores observaram que a precisão dos modelos caía nas partidas mais equilibradas. Isso parece óbvio depois que sabemos, mas tem uma implicação operacional importante: média global pode esconder exatamente a região em que mais precisamos de inteligência.

Em onboarding, por exemplo, 80% das contas podem seguir o fluxo padrão. Uma automação capaz de resolver quase todas talvez apresente uma taxa ótima, enquanto falha nas contas enterprise com integrações, exceções fiscais ou múltiplos aprovadores. Se essas contas concentram receita, risco e horas do time, “acerto médio” deixa de representar valor.

Por isso, métricas precisam ser segmentadas por consequência e dificuldade. Caminho padrão versus exceção. Leitura versus escrita. Cliente simples versus complexo. Recomendação versus execução. Baixo risco versus decisão irreversível. O objetivo não é criar dezenas de dashboards, mas impedir que um volume grande de casos fáceis esconda poucos casos caros.

Como eu avaliaria uma automação de onboarding

Suponha que uma IA leia e-mails, reuniões, CRM e tarefas para identificar pendências de um projeto e sugerir o próximo passo. Em vez de perguntar apenas “o resumo ficou bom?”, eu acompanharia algumas medidas ligadas ao trabalho real:

  • Detecção: quantas pendências reais foram identificadas e quantas foram inventadas?
  • Resolução: quantas chegaram ao resultado esperado sem reabertura ou correção relevante?
  • Escalonamento: o sistema reconheceu corretamente quando precisava de uma pessoa?
  • Tempo: quanto o ciclo entre sinal, decisão e ação foi reduzido?
  • Esforço humano: quanto trabalho de revisão foi realmente removido, e não apenas deslocado?
  • Risco: onde estão concentrados os erros restantes e qual consequência eles têm?
  • Valor: a mudança melhorou um resultado que importa para cliente ou operação?

Não é necessário transformar isso num framework com nome próprio. Em cada processo, duas ou três dessas perguntas provavelmente serão decisivas e as outras funcionarão como guardrails. O desenho deve nascer do problema, não da vontade de preencher um scorecard.

Onde a comparação com futebol termina

Prever uma partida é diferente de automatizar um processo empresarial. Futebol possui alta incerteza, adversários que mudam comportamento e um resultado final que não pode ser controlado pelo modelo. Em muitos fluxos corporativos, a IA trabalha com tarefas mais determinísticas, regras explícitas e possibilidade de pedir informação adicional antes de agir.

Por isso, os percentuais da Copa não devem ser usados como expectativa de desempenho para uma automação. A lição não é que “IA acerta só 64%”. A lição é metodológica: teste em casos futuros, defina a régua antes de olhar o resultado, compare com uma alternativa real, segmente os casos difíceis e não use confiança ou consenso como substitutos de evidência.

O Mundial terminou com uma campeã. Já a disputa empresarial entre modelos não termina quando um leaderboard declara um vencedor. O melhor sistema é aquele que melhora a decisão ou o processo que você realmente precisava melhorar — sob uma métrica capaz de perceber a diferença.

Fontes consultadas