I pronostici calcio con IA sono affidabili?
Risposta breve: un buon modello di calcio indovina l'esito della partita un po' più spesso di una moneta truccata a favore della squadra di casa, e questo non è una delusione: è ciò che lo sport consente. La domanda utile non è quanto spesso un sito ha ragione, ma se le probabilità che dichiara significano qualcosa.
Quanto può essere affidabile davvero un pronostico di calcio?
Nei principali campionati europei, la favorita vince poco più della metà delle partite e i pareggi sono circa un quarto. Un modello che scegliesse sempre la squadra di casa arriverebbe intorno al 44-47% sull'esito senza sapere assolutamente nulla. I prezzi di mercato in chiusura - la previsione più informata disponibile per qualsiasi partita di calcio, perché combinano il parere di un numero elevatissimo di partecipanti - individuano correttamente il vincitore circa il 55-58% delle volte nelle massime divisioni.
Quel numero è il tetto, non un obiettivo che qualcuno abbia superato. Significa che l'intervallo onesto per un modello statistico ben costruito sull'1X2 sta tra il basso e il medio cinquanta per cento, e che qualche punto di miglioramento rispetto alla scelta della squadra di casa è un risultato davvero buono e non modesto. I mercati con due esiti invece di tre - Goal/No Goal, Over/Under - stanno più in alto semplicemente perché c'è un modo in meno di sbagliare, ed è per questo che citare un'unica cifra di affidabilità mista su tutti i mercati non dice quasi nulla.
Perché le dichiarazioni di affidabilità all'85% non sono credibili
I siti di pronostici che pubblicizzano l'85%, l'87% o il 90% di affidabilità sono comuni in questo settore. Messe a confronto con i numeri sopra, quelle cifre non sono impressionanti: sono implausibili. Battere il mercato in chiusura di trenta punti percentuali sarebbe uno dei risultati più significativi della statistica applicata e non verrebbe annunciato sulla pagina di vendita di un abbonamento.
Ci sono alcune spiegazioni ordinarie, nessuna delle quali riguarda un modello migliore. Una cifra può essere tratta da una finestra scelta a mano in cui il modello è andato per caso molto bene. Può contare solo le selezioni che il sito ha deciso di pubblicare scartando in silenzio le altre. Può mescolare mercati facili e difficili finché la media lusinga. Oppure può essere misurata sulla doppia chance, dove coprire due esiti su tre porta oltre il 70% quasi per costruzione, e poi presentata senza dirlo.
Il segnale rivelatore quasi mai è il numero in sé. È l'assenza di tutto ciò che gli sta intorno: nessuna dimensione del campione, nessun intervallo di date, nessuna suddivisione per mercato, nessun modo di vedere i singoli pronostici su cui la cifra è stata calcolata.
L'affidabilità è la cosa sbagliata da misurare
La percentuale di centri tratta ogni pronostico come giusto o sbagliato, il che butta via la parte che porta l'informazione. Un modello che dice 51% e uno che dice 94% hanno fatto affermazioni molto diverse, e valutarli allo stesso modo quando l'esito si verifica nasconde esattamente ciò che si vuole sapere.
La misura che non la butta via è la calibrazione. Un modello è calibrato quando le probabilità dichiarate corrispondono alla realtà osservata: di tutte le partite che ha indicato al 70%, vicino al 70% dovrebbe accadere davvero. La calibrazione si può verificare, non si può manipolare scegliendo solo gli esempi favorevoli ed è la proprietà che rende una probabilità utile e non decorativa.
La statistica di sintesi standard è il Brier score, che eleva al quadrato la distanza tra la probabilità dichiarata e l'esito, così una risposta sbagliata data con sicurezza costa più di una prudente. Ha un comodo punto di riferimento: dire 50% a tutto dà 0,25, quindi qualsiasi modello che non batte 0,25 è peggio di nessun modello.
Come verificare se una probabilità significa qualcosa
Il test richiede una sola tabella. Raggruppa ogni previsione pubblicata per probabilità dichiarata - tutte quelle al 60-65% insieme, tutte quelle al 65-70% insieme, e così via - poi confronta la probabilità dichiarata di ogni gruppo con quanto spesso quegli esiti sono accaduti davvero. Se la fascia del 70% arriva vicino al 70%, il numero significa ciò che dice. Se arriva al 55%, il modello è troppo sicuro di sé e ogni cifra che ti mostra è gonfiata.
Due cose rendono questo test onesto e non cosmetico. Ogni fascia ha bisogno di una dimensione del campione dichiarata, perché una fascia con venti partite può essere sbagliata di dieci punti per puro caso. E serve un intervallo attorno alla cifra osservata, così il lettore può distinguere un errore vero dal normale rumore.
Quasi nessuno in questo settore pubblica quella tabella. È l'informazione più utile che un sito di pronostici possa mostrare e la sua assenza dice più di qualsiasi cifra di affidabilità in evidenza.
Come ScorePredicts si misura
Ogni previsione è confrontata con il risultato finale al termine della partita e la previsione in sé non viene modificata dopo. Lo storico è pubblico e non richiede un account: le cifre aggregate sono nella pagina dell'affidabilità e i pronostici valutati sono in ogni pagina di campionato e di squadra.
La pagina dell'affidabilità pubblica una percentuale di centri per ogni tipo di pronostico con il proprio numero di campioni, l'insieme dei mercati da cui quei pronostici provengono, un confronto con una base ingenua di vittoria in casa sull'esito della partita e la tabella di calibrazione descritta sopra - per il mercato dell'esito, che copre tutti e tre gli esiti, con dimensioni del campione e intervalli al 95% per ogni fascia. Dove i dati non sostengono un'affermazione, la pagina lo dice invece di riempire lo spazio. La calibrazione non è ancora pubblicata per gli altri mercati; per il Goal/No Goal è trattenuta di proposito, perché le previsioni del modello sono al momento troppo concentrate per essere riportate onestamente. Ogni percentuale di centri è stampata accanto al numero di pronostici valutati che la sostengono, quindi un campione piccolo è visibile e non nascosto, e una fascia di calibrazione ha bisogno di almeno 50 partite prima di essere rappresentata. Le partite che non vengono mai concluse - abbandonate, annullate o assegnate a tavolino - sono escluse invece di essere contate come giuste o sbagliate e il numero di quelle escluse è mostrato nella pagina.
Le stesse cifre sono disponibili come feed JSON con licenza CC BY 4.0, così i numeri si possono verificare in modo indipendente invece di essere presi per fiducia.
Cosa non può fare un buon modello
Un modello calibrato ti dice quanto è probabile qualcosa. Non ti dice cosa accadrà in una singola partita, e una previsione al 75% che fallisce non è la prova che il modello sia rotto: un modello i cui pronostici al 75% si verificassero sempre sarebbe mal calibrato, non brillante.
Il calcio è davvero incerto in un modo che limita quanto qualsiasi metodo possa sapere. Un'espulsione al nono minuto, un errore del portiere, una rosa ruotata prima di una sfida europea: non sono segnali che un modello si è lasciato sfuggire, sono rumore che lo sport produce. Il divario tra un modello forte e uno debole è reale ma stretto e si vede su centinaia di partite, non in un weekend qualsiasi.
Chiunque prometta certezze in questo settore descrive qualcosa che il calcio non contiene.
Verificare da soli le dichiarazioni di qualsiasi sito di pronostici
Quattro domande separano un'affermazione misurabile da una di marketing e nessuna richiede una formazione statistica. Su quanti pronostici valutati si basa la cifra e in quali date? È suddivisa per mercato o mescolata in un unico numero? Si possono vedere i singoli pronostici su cui è stata calcolata, compresi quelli persi? E c'è almeno un rapporto sulla calibrazione?
Un sito che risponde a tutte e quattro fa un'affermazione che puoi verificare. Un sito che non risponde a nessuna ti chiede di prendere un numero per fede, e in un settore in cui il tetto plausibile è intorno al 58%, la fede ha molto da fare.