Runde drei der öffentlichen Bilanz: Die KI hat wieder gelernt zu zweifeln — und patzte ausgerechnet bei dem, was sie am besten konnte

Im letzten Artikel endete ich mit einer Sorge, nicht mit einem Sieg. Das System hatte fast verdoppelt, wie oft es den richtigen Sieger eines Spiels nannte — und war im selben Atemzug blind für seine eigenen Fehler geworden. Seine Zuversicht war platt geworden: genauso sicher bei den Spielen, die es falsch hatte, wie bei denen, die es richtig hatte. Ich sagte, die nützlichste Zahl jener Runde sei nicht die Trefferquote gewesen, sondern diese Lücke, die auf null schrumpfte — das System, das mir leise mitteilte, es habe gelernt zu gewinnen, ohne gelernt zu haben zu zweifeln. Und ich sagte, du könntest zusehen, wie Runde drei auf der öffentlichen Seite landet, bevor du auch nur ein Wort davon aufs Wort glaubst.

Runde drei ist da. Die Gruppenphase ist vorbei. Der Zweifel kam zurück — breiter als in jeder Runde der Gruppenphase. Und in derselben Runde stellte mir die leise Hälfte des Systems, die mir eigentlich die Liga gewinnt, ein seltsameres Problem: Ich wollte sie benoten und merkte, dass ich meiner eigenen Anzeigetafel nicht trauen konnte.

Zwei Dinge geschahen gleichzeitig, zogen in entgegengesetzte Richtungen, und die ehrliche Fassung dieser Runde ist beides.

Eines möchte ich klar halten, denn es ist der ganze Sinn, das öffentlich zu tun: Ich trainiere keine KI darauf, Fußball vorherzusagen, und hier wird kein geheimes Modell gebaut. Ich nehme bestehende Modelle — dieselben, die jedes Unternehmen von der Stange bekommt — und gebe ihnen die Werkzeuge, den Kontext und die Anweisungen für eine bestimmte Aufgabe, und schärfe dann von Runde zu Runde, wie sie das tun. Das ist näher dran, einem scharfen neuen Analysten deine Daten und eine Checkliste in die Hand zu drücken, als von Grund auf ein neues Gehirn zu bauen. Du setzt ein gutes auf dein Problem an und führst eine lesbare Aufzeichnung darüber, wo es hilft und wo es schadet.

Die Schlagzeile, in ihren beiden Hälften

Die gute Nachricht, und es ist die Zahl, die ich am meisten sehen wollte: Das System hat sein Urteilsvermögen zurückbekommen. Eine Prognose kommt hier mit einer Zuversichtszahl — „Ich bin mir hier zu 70 % sicher.” Nach Runde zwei hatte diese Zahl aufgehört, irgendetwas zu bedeuten, weil sie gleich war, ob die Aussage richtig oder falsch war. In Runde drei fing sie wieder an, etwas zu bedeuten — mehr, als sie es je getan hat.

Die schlechte Nachricht, im selben Atemzug: Die Hälfte, die ich als ihren eigentlichen Vorteil bezeichnet habe — herauszufinden, wer tatsächlich auf den Platz läuft — sah aus, als hätte sie ihre schwächste Runde der Gruppenphase gehabt. Ich sage sah, weil ich, als ich sie benoten wollte, meine eigene Anzeigetafel dabei ertappte, wie sie die Fakten falsch hatte — und das entpuppte sich als nützlichere Geschichte als die Wertung selbst.

Es ist also die interessanteste Runde bisher: Die eine Hälfte des Systems wurde messbar besser, und bei der anderen merkte ich, dass ich meiner eigenen Messung nicht trauen konnte.

Der Rückblick, falls du neu hier bist

Weil der ganze Sinn dieser Serie ist, dass du mich überprüfen kannst, hier der Aufbau in einem Atemzug.

Ich führe ein Team in einer Fantasy-WM, und ein Trupp aus KI-Agenten macht die tägliche Hausaufgabe. An jedem Spieltag sagen sie zwei verschiedene Dinge voraus: wer in jedem Spiel tatsächlich beginnt und wie jedes Spiel ausgeht. Dann benotet die Realität beides, offen ausgesprochen, und ich schreibe die Noten auf — die Fehlschüsse lauter als die Treffer. Die Gruppenphase waren drei Runden. Das ist die dritte und letzte, also können wir zum ersten Mal den ganzen Bogen sehen.

Bei der Schlagzeilen-Frage — hat es den richtigen Sieger getippt — liest sich dieser Bogen so: 11 von 24 Spielen richtig (46 %), dann 18 von 24 (75 %), dann 17 von 24 (71 %). Der große Sprung in Runde zwei hielt. Er schmolz nicht dahin zurück, wo er begonnen hatte. (Ein fairer Vorbehalt, der sich durch diesen ganzen Text zieht: Jede Runde sind vierundzwanzig Spiele, der Ausschlag einer einzelnen Runde ist also eine kleine Stichprobe — ich lese den Trend über drei davon, ich verwette nicht das Haus auf eine einzige.)

Aber Sieger zu tippen war nie der schwere Teil dieser Geschichte. Der schwere Teil waren die zwei Dinge darunter: Weiß das System, wann es kurz davor ist danebenzuliegen, und kann es sagen, wer spielen wird? Eines davon wurde in dieser Runde dramatisch besser. Das andere wurde schlechter.

Der Zweifel kam zurück — und das ist die Zahl der Runde

Fang mit der an, auf die ich gewartet habe. Zuerst in klaren Worten, vor den Zahlen: Das System wurde ungefähr doppelt so gut darin zu wissen, welchen seiner eigenen Aussagen es trauen kann.

Hier ist die Lücke zwischen dem, wie sicher sich das System bei seinen richtigen und seinen falschen Aussagen war, Runde für Runde — eine Zahl, die ich mir selbst aus den rohen Prognose-und-Ergebnis-Protokollen ziehe, weil die zusammengefasste Seite alle drei Runden zu einer Zahl verrührt und die Geschichte versteckt:

• Runde eins: etwa 65 % zuversichtlich bei den Spielen, die es richtig hatte, 57 % bei denen, die es falsch hatte — eine Lücke von rund acht Punkten.
• Runde zwei: 64 % und 64 %. Die Lücke brach auf im Grunde null zusammen. Das war der Alarm.
• Runde drei: etwa 67 % zuversichtlich, wenn richtig, 54 %, wenn falsch — eine Lücke von dreizehn Punkten. Die breiteste der ganzen Gruppenphase.

Lies das gegen Runde zwei, und es ist eine echte Wende. Das System wurde zuversichtlicher bei den Aussagen, die es traf, und zog seine Zuversicht bei denen, die es verpatzte, nach unten. Noch ein Zeichen, dass es kein Zufall ist: Jede Aussage, die es diese Runde mit 70 % Zuversicht oder mehr machte, kam richtig herein — neun davon, alle korrekt. Neun ist eine kleine Stichprobe, ich verkaufe es also nicht über Wert, aber keine einzige der lauten Aussagen ging daneben.

Und das Warum ist langweilig mechanisch, und genau das macht es vertrauenswürdig. Die Korrektur ist in den Prognosen selbst sichtbar. In Runde zwei tippte das System drei Spiele mit zwei Toren oder mehr Abstand, die unentschieden endeten — Ecuador „gewinnt” 3–0 gegen Curaçao, mit 86 % Zuversicht; es endete 0–0. Zuversichtlich und falsch bei einem Favoriten, der eine dichtgestaffelte Abwehr nicht knacken konnte — der schlimmste Fehlschuss, den ein Prognostiker haben kann, weil er sich nicht wie ein Raten anfühlt, sondern wie Wissen. In Runde drei tippte es keines. Es fing an, das Unentschieden einzupreisen und den Abstand des Favoriten zu deckeln, und diese eine Disziplin — leise werden, wenn das Spiel ein Münzwurf ist — ist es, die die Zuversicht wieder in etwas Bedeutsames zurückgezogen hat.

Das System hat diese Lektion inzwischen in ein ausdrückliches Ziel für die K.-o.-Runden geschrieben: Halte die Zuversichtslücke über zehn. Runde drei hat sie schon geknackt — dreizehn gegen eine Latte von zehn. Ich kann darauf in den Zahlen zeigen, statt dich zu bitten, dem Gefühl zu vertrauen.

Auch der Abstand wurde besser — aber nicht aus dem Grund, nach dem es aussieht

Es gibt eine zweite Zahl, die sich verbesserte, und es lohnt sich, dabei ehrlich zu sein, denn die ehrliche Fassung ist interessanter als die schmeichelhafte.

Runde um Runde hatte ich angemerkt, dass das System schlecht im Ausmaß eines Sieges war — es tippte ein höfliches 2–0 in Spielen, die 5–0 endeten. Sein durchschnittlicher Fehler bei der Tordifferenz hatte bei rund eineinhalb Toren festgesteckt (die Tordifferenz ist einfach, wie viele Tore Abstand zwischen dem Endergebnis liegen). In Runde drei fiel er unter eins. Auf dem Papier hatte sich die Schwachstelle selbst behoben.

Nur eben nicht ganz. Ich bin hingegangen und habe geprüft, woher diese Verbesserung kam, und es ist nicht das, was man annehmen würde. Das System wurde nicht mutiger darin, Kantersiege anzusagen — wenn ein Spiel echt zur Abreibung wurde, tippte es sie immer noch um fast zwei Tore zu niedrig, dasselbe Muster wie in den früheren Runden (es tippte Senegal 2–0 gegen Irak; es endete 5–0). Was tatsächlich passierte, ist langweiliger: Runde drei hatte schlicht weniger Kantersiege als Runde zwei, und der echte Gewinn war wieder diese Unentschieden-Disziplin — indem es aufhörte, seine zuversichtlichen-aber-falschen Zwei-Tore-Ansagen bei knappen Spielen zu machen, löschte es eine ganze Kategorie großer Fehler aus. Die Abstands-Wertung wurde besser, weil das System aufhörte, auf eine bestimmte Weise falsch zu liegen, nicht weil es auf eine neue Weise richtig lag.

Ich buchstabiere das aus, weil es genau die Art Ding ist, die ein Dashboard dich bereitwillig falsch lesen lässt. Eine Kennzahl bewegte sich in die richtige Richtung; die verlockende Geschichte ist „wir haben die Abstände in den Griff bekommen”. Die wahre Geschichte ist „wir haben die Unentschieden in den Griff bekommen, und der Spielplan war gnädiger”. Ließe ich die erste Geschichte stehen, würde ich meiner eigenen Anzeigetafel vertrauen, ohne sie zu lesen — was genau das Versagen ist, um das es in dieser ganzen Serie geht.

Die andere Hälfte — wo die Anzeigetafel kaputtging, bevor das Modell es konnte

Jetzt die andere Richtung, und daraus wurde eine seltsamere Geschichte, als ich mich hinzuschreiben gesetzt hatte.

Das System hat zwei Aufgaben. Das Ergebnis zu nennen, ist die auffällige — die öffentliche Bilanz. Aber zu nennen, wer tatsächlich beginnt, ist die leise, und ich habe unverblümt gesagt, dass es die leise ist, die mir die Liga gewinnt. In jeder früheren Runde war sie die starke Hälfte: bei ungefähr fünf von sechs Fällen richtig, wer in der Elf steht.

Nach ihrer eigenen Bilanz hatte diese Hälfte ihre schwächste Runde der Gruppenphase — und sie rutschte auf eine Art ab, die hätte schmerzen sollen, weil ich eine Runde zuvor auf genau dieser Seite gestanden und vorhergesagt hatte, dass sie es würde. Aber hätte sollen ist das entscheidende Wort, denn als ich sie ordentlich benoten wollte, zerfiel die Note mir in den Händen.

Hier ist, was ich am Ende des letzten Artikels laut angesagt hatte. Mehrere Teams hatten bereits beide Auftaktspiele gewonnen und gingen mit nichts mehr zu holen ins letzte Gruppenspiel — und ein Trainer in dieser Lage schont seine besten Beine für die Spiele, die zählen. Meine Prognose: Runde drei würde jeden bestrafen, der dem Namen eines Stars mehr vertraut als dem tatsächlichen Mannschaftsbogen des Tages, und ich sagte, das System behandle einen enteilten Spitzenreiter jetzt als Rotations-Signal.

Die Bilanz des Systems meldete pflichtschuldig, dass die Wer-beginnt-Hälfte auf ihre schlechteste Runde abrutschte — saubere Prognose, anscheinend gelandet. Also ging ich, die Belege zu holen: die konkreten „schau, es stufte diesen Mann als gesetzt ein, und er saß”-Beispiele, die eine Behauptung real machen. Die Geschichte zerfiel, während ich sie prüfte.

Das erste Beispiel, nach dem ich griff, war ein Spieler, den das System als Nichtspieler verbucht hatte — einen, den ich das ganze Spiel hatte spielen sehen. Seine eigene Aufzeichnung, wer auf dem Feld stand, war schlicht falsch. Das nächste war eine echte Abwesenheit, aber eine Verletzung, nicht die Schonpause im bedeutungslosen Spiel, die ich vorhergesagt hatte; sein Trainer strich ihn nicht, seine Oberschenkelmuskulatur tat es. Zwei meiner besten Beispiele, und keines davon hielt die Geschichte, die ich dir gleich erzählen wollte, tatsächlich aufrecht.

Hier also das ehrliche Urteil, und es ist weniger schmeichelhaft als ein sauberes „Ich hab’s kommen sehen”: Ich kann die Rotations-Prognose diese Runde nicht benoten, weil ich der Anzeigetafel nicht trauen kann, mit der ich sie benoten würde. Die Wer-beginnt-Zahl sank, ja — aber ein Teil dieses Sinkens ist das System, das seine eigenen richtigen Aussagen als Fehlschüsse markiert, Spieler als gebankt verbucht, die tatsächlich begannen, und ein Teil sind ganz normale Verletzungen, die ich für taktische Rotation gehalten hätte, wenn ich nicht jede einzelne von Hand geprüft hätte. Die Prognose mag durchaus richtig sein. Ich weiß es ehrlich nicht, weil die Aufzeichnung unter der Note nicht sauber genug ist, um es zu sagen.

Und das — nicht das Absinken — ist der Fund, der deine Zeit wert ist. Ich kam in diese Runde bereit, dir zu sagen, dass das Wer-beginnt-Modell schlechter geworden sei. Was ich stattdessen gelernt habe, ist, dass meiner eigenen Anzeigetafel nicht zu trauen war, mir zu sagen, ob es das war. Das ist genau die Frage, um die diese ganze Serie kreist — kann ich meinen eigenen Kennzahlen trauen? — und diese Runde war die Antwort für diese Hälfte nein. Der einzige Grund, warum ich weiß, dass sie nein lautet, ist, dass ich die Geschichte hinter jeder Zahl gelesen habe, statt die Zusammenfassung beim Wort zu nehmen; die Zusammenfassung sah sauber aus. Die Korrektur hier ist also kein klügeres Modell. Es ist die langweiligste Arbeit, die es gibt: die Aufzeichnung, wer tatsächlich spielte, richtig hinbekommen, bevor ich sie irgendetwas benoten lasse. Bis dahin bleibt die Rotations-Prognose offen — unbenotet, mit Absicht.

Die andere Wette benoten: Der Markt bepreiste über Nacht neu

Der letzte Artikel machte eine zweite Ansage, über Geld statt über Fußball, und diese hatte das System richtig — messerscharf.

Der Aufbau: Sobald die Gruppenphase endet, fährt ein Drittel der Teams nach Hause, und die K.-o.-Runden beginnen — wo die überlebenden Spieler weit mehr wert sind, weil ein Punkt in den Runden, die zählen, doppelt aufs Ziel einzahlt. Ich sagte einen zweiseitigen Ansturm auf den Transfermarkt in dem Moment voraus, in dem die Gruppenphase schloss. Auf der einen Seite ein Ausverkauf von Spielern ausgeschiedener Nationen — tote Vermögenswerte, die niemand halten will. Auf der anderen ein Bieterrausch um die verlässlichen Startspieler der echten Anwärter. Und das Ganze sollte sich schneller bewegen, sobald der Turnierbaum echt wurde.

Es spielte sich fast auf den Tag genau so ab. Die Transferaktivität war über die ganze Gruppenphase abgekühlt — hinunter auf ihren langsamsten Stand, etwa zehn Wechsel pro Tag. In dem Moment, in dem die Gruppenphase endete, verdoppelte sie sich, zurück nahe an den Rausch vor dem Turnier. Der Tag nach den letzten Gruppenspielen war der geschäftigste seit dem Saisonstart, und es war eine Liquidation: sechzehn Spieler ausgeschiedener Nationen auf den Markt geworfen, fast keiner gekauft. Über das ganze K.-o.-Fenster seitdem waren alle siebzehn Transfers mit einem Spieler einer ausgeschiedenen Nation Verkäufe — die Verlierer werden abgestoßen, nicht aufgesammelt.

Und die andere Seite tauchte gleich dahinter auf. Sobald die Manager Bargeld aus dem Ausverkauf hatten, gaben sie es für Anwärter aus, und das Überzahlen wurde schlimmer. Über die Gruppenphase kam das typische Siegergebot etwa ein Zehntel über dem Marktwert eines Spielers herein. In dem Moment, in dem die K.-o.-Runden begannen, sprang das auf dreißig Prozent darüber — und jeder einzelne der rund fünfzig K.-o.-Käufe bisher war ein Spieler aus einem Team, das noch im Rennen ist. Die Leute zahlten kräftig drauf, hart, für die Überlebenden.

Diese eine muss ich mit der Ehrlichkeitssteuer belegen, denn ein Detail hatte ich falsch. Ich hatte vermutet, das Überzahlen wäre an der Spitze am schlimmsten — bei den großen Namen. War es nicht. Gemessen als Prozentsatz über dem Marktwert war das wildeste Überbieten bei den billigen und mittelpreisigen Spielern, nicht bei den teuren. Die Stars kosten in absolutem Geld am meisten, es fühlt sich also so an, als läge dort der Wahnsinn; aber die größten prozentualen Aufschläge waren Manager, die um bezahlbare Startspieler rangen. Den Ansturm angesagt, verpasst, an welchem Ende des Feldes er am schlimmsten war.

Die Tabelle, und der Grund, nervös zu bleiben

Wo lässt das alles nun das eigentliche Team? Vorn — weiter vorn als zuvor.

Ich bin Erster, mit 196 Punkten, elf vor dem Zweiten, und der wertvollste Kader der Liga um etwa fünf Millionen, Spieler und Bargeld zusammengezählt. Die Führung wuchs in dieser Runde.

Aber hier ist der Grund, warum ich nicht entspannt bin, und es ist die ganze Spannung dieser Runde in einem Satz: Der Vorteil, der diese Führung aufgebaut hat, ist das Wer-beginnt-Modell — genau die Hälfte, deren Anzeigetafel ich dir gerade gesagt habe, dass ich ihr diese Runde nicht trauen konnte. Die Führung kommt nicht von den auffälligen Ergebnis-Prognosen; sie kommt von der leisen Recherche, die mich sichere Startspieler billig kaufen und gezielt bieten lässt, statt zu überzahlen. Wenn die Anzeige an diesem Motor unzuverlässig geworden ist, darf ich mich nicht entspannt darüber fühlen — nicht mit steigendem Einsatz und einem Markt, der zum Halsabschneider wird. Ein System kann gewinnen, während du halb den Blick dafür verloren hast, ob es noch funktioniert, und so zu tun, als sei es anders, ist, wie bequeme Führungen verdampfen.

In die K.-o.-Runden gehe ich mit einem dünnen Kader von neun — Messi, Bellingham, Tchouaméni, ein Kern, den ich lieber behalte als tausche. Dünn wegen eines Fehlers, der meiner ist, nicht der des Modells: Am Ende der Gruppenphase habe ich abverkauft, Spieler aus Nationen abgestoßen, gegen die ich still gewettet hatte, sicher, dass sie auf dem Heimweg waren. Einige dieser Aussagen wurden innerhalb von Tagen sauer. Ich verkaufte einen Ecuador-Spieler in Erwartung eines sauberen Abgangs; Ecuador drehte sich um und schlug Deutschland. Also gehe ich einen Startspieler ärmer in die Alles-oder-nichts-Runden, gerade frisch an die älteste Lektion dieser ganzen Serie erinnert — dass die zuversichtlichen Aussagen, meine ebenso wie die der Maschine, genau die sind, die einen zweiten Blick verdienen. Das ist die Haltung jetzt: den Kern halten, die Lücke abdecken und meine eigene Anzeigetafel ehrlich machen, bevor ich ihr wieder vertraue, irgendetwas zu benoten.

Streich den Fußball heraus

Lies diese Runde noch einmal und streich das Wort „Fußball”. Was übrig bleibt, ist eine Reihe von Dingen, die jedem System passieren, dem du eine echte Entscheidung anvertrauen würdest.

Ein Modell wurde messbar besser bei seiner Schlagzeilen-Aufgabe und leise schlechter bei dem, was sich tatsächlich auszahlte — und eine einzelne Dashboard-Zahl hätte den Tausch komplett versteckt. Die Kennzahl, die mir am meisten bedeutete, war überhaupt nicht die Trefferquote; es war, ob das System seinen Selbstzweifel zurückhatte — ob seine Zuversicht der Realität folgte oder platt geworden war. Ein Modell, das bei einem sich wiederholenden Muster zuversichtlich falsch liegt, ist gefährlicher als eines, das ehrlich unsicher ist, und die einzige Art, wie ich wusste, welches ich hatte, war, die Lücke zu messen zwischen dem, wie sicher es ist, wenn es richtig liegt, und wenn es falsch liegt — getrennt davon, wie oft es richtig liegt.

Und der Fehlschlag, der diese Runde am meisten zählte, war keine falsche Prognose — es war die Erkenntnis, dass ich meiner eigenen Anzeigetafel nicht trauen konnte. Ich kam bereit, die eine Hälfte des Systems herabzustufen; dann fand ich, dass meine eigene Aufzeichnung des schlichtesten Fakts überhaupt — wer tatsächlich auf den Platz lief — falsch war, richtige Aussagen als Fehlschüsse markierte. Was verhinderte, dass das still jede Schlussfolgerung vergiftete, war die eine Gewohnheit, auf die dieser ganze Aufbau baut: Ich las das Detail hinter der Zahl, statt die Zusammenfassung beim Wort zu nehmen. Ein grüner Dashboard-Haken hätte mir eine saubere Geschichte gereicht; jede Zeile von Hand zu prüfen, reichte mir die wahre — dass die Anzeige selbst kaputt war. Das ist der Unterschied zwischen einer KI, die du in ein Unternehmen setzen kannst, und einer, die du nicht setzen kannst. Nicht das klügste Modell — das, dessen jede Zahl du aufmachen, prüfen und beim Lügen ertappen kannst, bevor es dich etwas kostet. Eine zuversichtliche Kennzahl, die du nicht befragen kannst, ist eine Belastung, die eine Vertrauensplakette trägt.

Bedarfsprognose, Lieferanten-Risiko, Preisgestaltung unter Termindruck, ein Markt, der in dem Moment neu bepreist, in dem sich die Regeln ändern — gleiche Maschinerie, gleiche Fallen. Zwei Fragen, die mehr wert sind als jede Trefferquote: Weiß mein System, wann es kurz davor ist danebenzuliegen, und worin wird es leise schlechter, während seine Schlagzeilen-Zahl klettert?

Die Gruppenphase ist benotet — drei Runden, das Gute und das Hässliche, alles überprüfbar gegen die Seite. Als Nächstes beginnen die K.-o.-Runden, wo die Fehler doppelt kosten — und ich gehe frisch daran erinnert hinein, dass die erste Zahl, die man prüfen muss, nicht die Antwort des Modells ist, sondern ob die Anzeigetafel, die sie benotet, mir die Wahrheit sagt. Das werde ich auch öffentlich benoten. Wenn du irgendwo hierin dein eigenes Dashboard statt eines Fußballplatzes gesehen hast, ist das der nützlichere Ort, um hinzuschauen — und du weißt, wo du mich findest.