Terceira rodada do placar público: a IA reaprendeu a duvidar — e vacilou justamente na coisa em que era melhor

No artigo anterior eu terminei numa preocupação, não numa vitória. O sistema quase tinha dobrado a frequência com que cravava o vencedor certo de um jogo — e, no mesmo fôlego, tinha ficado cego aos próprios erros. A confiança dele tinha achatado: tão seguro nos jogos que errava quanto nos que acertava. Eu disse que o número mais útil daquela rodada não era a acurácia, era aquela lacuna se fechando para zero — o sistema me dizendo baixinho que tinha aprendido a vencer sem aprender a duvidar. E disse que você poderia ver a terceira rodada chegar na página pública antes de acreditar numa palavra disso na fé.

A terceira rodada chegou. A fase de grupos acabou. A dúvida voltou — mais larga do que em qualquer rodada da fase de grupos. E, na mesma rodada, a metade quieta do sistema que de fato está me ganhando a liga me entregou um problema mais estranho: fui avaliá-la e descobri que não conseguia confiar no meu próprio placar.

Duas coisas aconteceram ao mesmo tempo, puxando para lados opostos, e a versão honesta desta rodada são as duas.

Uma coisa que quero deixar clara, porque é o ponto inteiro de fazer isto em público: eu não estou treinando uma IA para prever futebol, e não tem nenhum modelo secreto sendo construído aqui. Eu pego modelos existentes — os mesmos que qualquer empresa pode tirar da prateleira — e dou a eles as ferramentas, o contexto e as instruções para fazer um trabalho específico, e depois refino como eles fazem isso de rodada em rodada. É mais parecido com entregar seus dados e um checklist a um analista novo e afiado do que com construir um cérebro novo do zero. Você coloca um bom cérebro para trabalhar no seu problema e mantém um registro legível de onde ele ajuda e onde ele atrapalha.

A manchete, as duas metades dela

A boa notícia, e é o número que eu mais queria ver: o sistema recuperou o próprio julgamento. Uma previsão aqui vem com um número de confiança — “estou 70% certo disso”. Depois da segunda rodada esse número tinha parado de significar qualquer coisa, porque era o mesmo estivesse o palpite certo ou errado. Na terceira rodada ele voltou a significar algo — mais do que já significou.

A má notícia, no mesmo fôlego: a metade que eu venho chamando de a verdadeira vantagem dele — descobrir quem de fato vai entrar em campo — parecia ter tido a rodada mais fraca da fase de grupos. Digo parecia porque, quando fui avaliá-la, peguei o meu próprio placar errando os fatos — e isso acabou sendo uma história mais útil do que a nota em si.

Então é a rodada mais interessante até agora: uma metade do sistema ficou mensuravelmente melhor, e na outra descobri que não conseguia confiar na minha própria medição.

O resumo, caso você seja novo por aqui

Como o ponto central desta série é que você consiga me conferir, aqui vai o setup num fôlego só.

Estou tocando um time num fantasy da Copa do Mundo, e um time de agentes de IA faz a lição de casa diária. A cada rodada eles preveem duas coisas diferentes: quem de fato vai começar cada jogo, e como cada jogo vai terminar. Então a realidade avalia as duas, em voz alta, e eu escrevo as notas — os erros mais alto que os acertos. A fase de grupos teve três rodadas. Esta é a terceira e última, então pela primeira vez dá para ver o arco inteiro.

Na pergunta da manchete — ele cravou o vencedor certo? — esse arco lê assim: 11 de 24 jogos certos (46%), depois 18 de 24 (75%), depois 17 de 24 (71%). O grande salto da segunda rodada se manteve. Ele não derreteu de volta para onde começou. (Uma ressalva justa que atravessa este texto inteiro: cada rodada tem vinte e quatro jogos, então a variação de uma única rodada é uma amostra pequena — eu estou lendo a tendência ao longo de três delas, não apostando a casa em nenhuma isolada.)

Mas escolher vencedores nunca foi a parte difícil desta história. A parte difícil eram as duas coisas por baixo dela: o sistema sabe quando está prestes a errar, e ele consegue dizer quem vai jogar? Uma dessas ficou dramaticamente melhor nesta rodada. A outra piorou.

A dúvida voltou — e este é o número da rodada

Comece pela que eu estava esperando. Em palavras simples primeiro, antes dos números: o sistema ficou cerca de duas vezes melhor em saber em quais dos próprios palpites confiar.

Aqui está a lacuna entre quão seguro o sistema estava nos acertos e nos erros, rodada por rodada — um número que eu mesmo tiro dos logs brutos de previsão-e-resultado, porque a página de resumo mistura as três rodadas numa única cifra e esconde a história:

• Primeira rodada: cerca de 65% de confiança nos jogos que acertou, 57% nos que errou — uma lacuna de mais ou menos oito pontos.
• Segunda rodada: 64% e 64%. A lacuna desabou para essencialmente zero. Esse foi o alarme.
• Terceira rodada: cerca de 67% de confiança quando certo, 54% quando errado — uma lacuna de treze pontos. A mais larga de toda a fase de grupos.

Leia isso contra a segunda rodada e é uma virada de verdade. O sistema ficou mais confiante nos palpites que acertou e puxou a confiança para baixo nos que errou. Mais um sinal de que não é sorte: todo palpite que ele fez com 70% de confiança ou mais nesta rodada saiu certo — nove deles, todos corretos. Nove é uma amostra pequena, então não vou vender demais, mas nenhum dos palpites barulhentos errou.

E o porquê é entediantemente mecânico, que é o que faz dele confiável. A correção é visível nas próprias previsões. Na segunda rodada o sistema palpitou três jogos por dois gols ou mais que terminaram empatados — Equador “vencendo” Curaçao por 3–0, com 86% de confiança; terminou 0–0. Confiante, e errado, num favorito que não conseguia furar uma defesa fechada — a pior falha que um previsor tem, porque não parece um palpite, parece conhecimento. Na terceira rodada ele palpitou nenhum. Ele começou a precificar o empate e a limitar a margem do favorito, e essa disciplina única — ficar quieto quando o jogo é cara ou coroa — é o que arrastou a confiança de volta a significar algo.

O sistema desde então escreveu essa lição como uma meta explícita para os mata-matas: manter a lacuna de confiança acima de dez. A terceira rodada já passou disso — treze contra uma barra de dez. Eu consigo apontar isso nos números em vez de te pedir para confiar na vibe.

A margem também melhorou — mas não pela razão que parece

Tem um segundo número que melhorou, e vale ser honesto sobre ele, porque a versão honesta é mais interessante do que a lisonjeira.

Rodada após rodada eu tinha sinalizado que o sistema era ruim no tamanho de uma vitória — ele palpitava um educado 2–0 em jogos que terminavam 5–0. O erro médio dele na diferença de gols tinha ficado travado em torno de um gol e um terço (a diferença de gols sendo só quantos gols separavam o placar final). Na terceira rodada ele caiu para menos de um. No papel, o ponto fraco se corrigiu sozinho.

Só que não, não exatamente. Eu fui checar de onde essa melhora veio, e não é a coisa que você suporia. O sistema não ficou mais corajoso em cravar goleadas — quando um jogo virou mesmo uma surra, ele ainda subestimou por quase dois gols, o mesmo padrão das rodadas anteriores (ele palpitou Senegal 2–0 sobre o Iraque; terminou 5–0). O que de fato aconteceu é mais chato: a terceira rodada simplesmente teve menos goleadas do que a segunda, e o ganho real foi aquela disciplina de empate de novo — ao parar os palpites confiantes-mas-errados de dois gols em jogos apertados, ele apagou uma categoria inteira de erros grandes. A nota da margem melhorou porque o sistema parou de errar de um jeito específico, não porque acertou de um jeito novo.

Estou deixando isso explícito porque é o tipo de coisa que um painel deixa você interpretar mal com prazer. Uma métrica se moveu na direção certa; a história tentadora é “consertamos as margens”. A história verdadeira é “consertamos os empates, e o calendário foi mais gentil”. Se eu deixasse a primeira história passar, estaria confiando no meu próprio placar sem lê-lo — que é exatamente a falha de que esta série inteira trata.

A outra metade — onde o placar quebrou antes de o modelo poder quebrar

Agora a outra direção, e ela virou uma história mais estranha do que eu sentei para escrever.

O sistema tem dois trabalhos. Cravar o resultado é o chamativo — o placar público. Mas cravar quem de fato começa é o quieto, e eu tenho sido franco de que é o quieto que está me ganhando a liga. Em toda rodada anterior era a metade forte: certo sobre quem estaria nos onze cerca de cinco vezes em seis.

Pelo próprio placar dele, essa metade teve a rodada mais fraca da fase de grupos — e escorregou de um jeito que devia doer, porque eu tinha ficado de pé nesta exata página uma rodada antes e previsto que ia escorregar. Mas devia é a palavra-chave, porque quando fui avaliá-la direito, a nota se desmanchou nas minhas mãos.

Aqui está o que eu tinha cravado, em voz alta, no fim do artigo anterior. Vários times já tinham vencido os dois jogos de abertura e entravam na última rodada sem nada a perseguir — e um técnico nessa situação poupa as melhores pernas para os jogos que contam. Minha previsão: a terceira rodada ia punir quem confiasse no nome de uma estrela em vez da escalação real do dia, e eu disse que o sistema agora tratava um líder disparado como uma bandeira de rotação.

O placar do sistema devidamente reportou a metade de quem-começa escorregando para a pior rodada — previsão limpa, aparentemente cravada. Então fui buscar os comprovantes: os exemplos concretos de “olha, ele deu esse cara como certo e ele ficou no banco” que tornam uma afirmação real. A história se desmanchou conforme eu conferia.

O primeiro exemplo que eu peguei foi um jogador que o sistema tinha registrado como ausente — um que eu tinha visto jogar o jogo inteiro. O próprio registro dele de quem entrou em campo estava simplesmente errado. O seguinte era uma ausência de verdade, mas uma lesão, não o descanso de jogo decidido que eu tinha previsto; o técnico dele não o tirou, a coxa dele tirou. Dois dos meus melhores exemplos, e nenhum dos dois de fato sustentava a história que eu estava prestes a te contar.

Então aqui está o veredito honesto, e é menos lisonjeiro do que um arrumadinho “eu tinha previsto”: eu não consigo avaliar a previsão de rotação desta rodada, porque não consigo confiar no placar com que eu a avaliaria. O número de quem-começa caiu, sim — mas parte dessa queda é o sistema marcando os próprios acertos como erros, registrando como reservas jogadores que de fato começaram, e parte são lesões comuns que eu teria confundido com rotação tática se não tivesse conferido cada uma na mão. A previsão pode muito bem estar certa. Eu genuinamente não sei, porque o registro por baixo da nota não está limpo o bastante para dizer.

E é isso — não a queda — o achado que vale o seu tempo. Entrei nesta rodada pronto para te dizer que o modelo de quem-começa tinha piorado. O que aprendi em vez disso é que o meu próprio placar não podia ser confiado para me dizer se tinha piorado. Essa é a exata pergunta que esta série inteira fica rondando — posso confiar nas minhas próprias métricas? — e nesta rodada, para esta metade, a resposta foi não. A única razão de eu saber que é não é que eu li a história por trás de cada número em vez de aceitar o resumo pela palavra dele; o resumo parecia limpo. Então a correção aqui não é um modelo mais esperto. É o trabalho mais chato que existe: acertar o registro de quem de fato jogou, antes de deixá-lo avaliar qualquer coisa. Até lá, a previsão de rotação fica em aberto — não avaliada, de propósito.

Avaliando a outra aposta: o mercado reprecificou da noite para o dia

O artigo anterior fez uma segunda previsão, sobre dinheiro em vez de futebol, e essa o sistema acertou — de forma afiada.

O setup: quando a fase de grupos termina, um terço dos times vai para casa, e os mata-matas começam — onde os jogadores sobreviventes valem muito mais, porque um ponto marcado nas fases que contam dobra rumo ao fim. Eu previ um estouro de manada de dois lados no mercado de transferências no instante em que a fase de grupos fechasse. De um lado, uma liquidação de jogadores de nações eliminadas — peso morto que ninguém quer segurar. Do outro, uma corrida de lances pelos titulares confiáveis dos verdadeiros candidatos. E a coisa toda deveria se mexer mais rápido no instante em que o chaveamento ficasse real.

Aconteceu quase no dia certo. A atividade de transferências vinha esfriando por toda a fase de grupos — caiu para o mais lento, cerca de dez movimentos por dia. No instante em que a fase de grupos terminou, ela dobrou, de volta perto do frenesi de antes do torneio. O dia depois dos jogos finais da fase de grupos foi o dia mais movimentado desde a abertura da temporada, e foi uma liquidação: dezesseis jogadores de nações eliminadas despejados no mercado, quase nenhum comprado. Ao longo de toda a janela de mata-mata desde então, todas as dezessete transferências envolvendo um jogador de nação eliminada foram vendas — os perdedores estão sendo descartados, não comprados.

E o outro lado apareceu logo atrás. Uma vez que os managers tinham dinheiro da liquidação, eles gastaram em candidatos, e o excesso de lances piorou. Ao longo da fase de grupos, o lance vencedor típico ficava cerca de um décimo acima do valor de mercado de um jogador. No instante em que os mata-matas começaram, isso saltou para trinta por cento acima — e cada uma das cerca de cinquenta compras de mata-mata até agora foi um jogador de um time ainda vivo. As pessoas pagaram caro, forte, por sobreviventes.

Vou pagar o imposto da honestidade neste, porém, porque errei um detalhe. Eu tinha chutado que o excesso de lances seria pior no topo — os nomes de marquise. Não foi. Medido como porcentagem acima do valor de mercado, o excesso de lances mais selvagem foi nos jogadores baratos e de preço médio, não nos caros. As estrelas custaram mais em dinheiro absoluto, então parece que é ali que está a loucura; mas os maiores prêmios percentuais foram managers se atrapalhando para pegar titulares acessíveis. Cravei o estouro de manada, errei em qual ponta do campo ele era pior.

A classificação, e a razão para continuar nervoso

Então onde tudo isso deixa o time de verdade? Na frente — mais na frente do que antes.

Estou em primeiro, com 196 pontos, onze à frente do segundo, e o time mais valioso da liga por cerca de cinco milhões, contando jogadores e dinheiro juntos. A liderança cresceu nesta rodada.

Mas aqui está a razão de eu não estar relaxado, e é a tensão inteira desta rodada numa frase: a vantagem que construiu essa liderança é o modelo de quem-começa — exatamente a metade cujo placar eu acabei de te dizer que não conseguia confiar nesta rodada. A liderança não vem das previsões chamativas de resultado; vem da pesquisa quieta que me deixa comprar titulares garantidos barato e dar lances afiados em vez de pagar demais. Se o medidor desse motor ficou não confiável, eu não tenho o direito de me sentir relaxado com isso — não com o que está em jogo subindo e o mercado ficando implacável. Um sistema pode estar vencendo enquanto você meio que perdeu de vista se ele ainda está funcionando, e fingir o contrário é como lideranças confortáveis evaporam.

Entrando nos mata-matas estou carregando um elenco magro de nove — Messi, Bellingham, Tchouaméni, um núcleo que eu prefiro manter do que trocar. Magro por causa de um erro que é meu, não do modelo: no fim da fase de grupos eu vendi jogadores, limpando os de nações contra as quais eu tinha discretamente apostado, certo de que estavam a caminho de casa. Alguns desses palpites azedaram em dias. Vendi um jogador do Equador esperando uma saída limpa; o Equador virou e venceu a Alemanha. Então entro nas rodadas de tudo-ou-nada com um titular a menos, tendo acabado de reaprender a lição mais velha desta série inteira — que os palpites confiantes, os meus tanto quanto os da máquina, são exatamente os que merecem uma segunda olhada. Essa é a postura agora: segurar o núcleo, cobrir a lacuna, e deixar o meu próprio placar honesto antes de confiar nele para avaliar qualquer coisa de novo.

Tire o futebol

Leia esta rodada de novo e apague a palavra “futebol”. O que sobra é um conjunto de coisas que acontecem em todo sistema em que você confiaria uma decisão de verdade.

Um modelo ficou mensuravelmente melhor no trabalho da manchete e quietamente pior na coisa que de fato estava dando retorno — e um único número de painel teria escondido a troca por inteiro. A métrica com que eu mais me importava não era acurácia de jeito nenhum; era se o sistema tinha recuperado a autodúvida — se a confiança dele acompanhava a realidade ou tinha achatado. Um modelo confiantemente errado num padrão que se repete é mais perigoso do que um honestamente em dúvida, e o único jeito de eu saber qual dos dois eu tinha era medindo a lacuna entre quão seguro ele está quando acerta e quando erra, separado de com que frequência ele acerta.

E a falha que mais importou nesta rodada não foi uma previsão errada — foi descobrir que eu não conseguia confiar no meu próprio placar. Entrei pronto para rebaixar a nota de uma metade do sistema; então descobri que o meu próprio registro do fato mais simples de todos — quem de fato entrou em campo — estava errado, marcando acertos como erros. O que impediu isso de discretamente envenenar toda conclusão foi o único hábito sobre o qual todo este setup é construído: eu li o detalhe por trás do número em vez de aceitar o resumo pela palavra dele. Um tique verde no painel teria me entregado uma história limpa; conferir cada linha na mão me entregou a verdadeira — que o medidor em si estava quebrado. Essa é a diferença entre uma IA que você pode colocar dentro de uma empresa e uma que você não pode. Não o modelo mais esperto — o que tem cada número que você pode abrir, auditar e pegar mentindo antes que ele te custe. Uma métrica confiante que você não consegue interrogar é um risco vestindo um crachá de confiança.

Previsão de demanda, risco de fornecedor, precificação sob prazo, um mercado que reprecifica no instante em que as regras mudam — a mesma maquinaria, as mesmas armadilhas. Duas perguntas que valem mais do que qualquer nota de acurácia: meu sistema sabe quando está prestes a errar, e o que ele está quietamente piorando enquanto o número da manchete sobe?

A fase de grupos está avaliada — três rodadas, o bom e o feio, tudo conferível contra a página. Os mata-matas começam a seguir, onde os erros custam o dobro — e entro neles fresco lembrado de que o primeiro número a conferir não é a resposta do modelo, é se o placar que o avalia está me dizendo a verdade. Vou avaliar isso em público também. Se você viu o seu próprio painel em algum ponto daqui em vez de um campo de futebol, esse é o lugar mais útil para estar olhando — e você sabe onde me encontrar.