Sunt precise predicțiile fotbal cu AI?
Un model bun de fotbal nimerește rezultatul meciului ceva mai des decât o monedă trucată în favoarea gazdelor. Pare modest, dar atât permite sportul. Întrebarea mai utilă e dacă probabilitățile afișate de un site înseamnă ceva.
Cât de precisă poate fi de fapt o predicție de fotbal?
În marile campionate europene, favorita câștigă puțin peste jumătate din meciuri, iar cam un sfert se termină la egalitate. Un model care ar alege mereu gazdele ar nimeri rezultatul în circa 44-47% din cazuri fără să știe nimic. Prețurile de închidere din piață nimeresc câștigătoarea în aproximativ 55-58% din cazuri în primele divizii. Sunt cea mai bine informată estimare disponibilă pentru orice meci de fotbal, pentru că adună părerile unui număr foarte mare de participanți.
Nimeni nu a bătut această cifră. E plafonul. Pentru un model statistic bine construit pe 1X2, intervalul cinstit e în jurul a 50-55%, iar câteva puncte peste regula „mereu gazdele” sunt un rezultat cu adevărat bun. Piețele cu două variante, precum ambele echipe marchează și goluri peste/sub, ies mai sus doar pentru că există un fel mai puțin de a greși. De aceea o singură cifră de precizie amestecată din mai multe piețe nu vă spune aproape nimic.
De ce promisiunile de 85% precizie nu sunt credibile
Site-urile de predicții care afișează 85%, 87% sau 90% precizie sunt frecvente în această categorie. Față de cifrele de mai sus, aceste procente sunt neverosimile. A bate prețurile de închidere cu treizeci de puncte procentuale ar fi unul dintre cele mai mari rezultate din statistica aplicată, și nimeni nu l-ar anunța pe o pagină de abonament.
Există câteva explicații banale și niciuna nu ține de un model mai bun. Cifra poate veni dintr-o perioadă aleasă pe sprânceană, în care modelul a mers din întâmplare foarte bine. Poate număra doar alegerile pe care site-ul a vrut să le publice, lăsându-le discret deoparte pe celelalte. Poate amesteca piețe ușoare cu piețe grele până când media arată bine. Sau poate fi măsurată pe șansă dublă, unde acoperirea a două din trei rezultate trece aproape automat de 70%, și apoi prezentată fără să se spună asta.
Semnul de alarmă e rareori cifra însăși. E tot ce lipsește în jurul ei: nicio mărime a eșantionului, niciun interval de date, nicio împărțire pe piețe, nicio posibilitate de a vedea predicțiile individuale din spatele cifrei.
Precizia e un criteriu greșit
Rata de reușită tratează fiecare predicție doar ca reușită sau ratată și aruncă exact partea care poartă informația. Un model care spune 51% și unul care spune 94% au făcut afirmații foarte diferite, iar dacă le notați la fel când rezultatul se confirmă, ascundeți tocmai ce vreți să aflați.
Calibrarea păstrează această informație. Un model e calibrat când probabilitățile afișate se potrivesc cu ce se întâmplă: din toate meciurile estimate la 70%, cam 70% ar trebui să iasă așa. Calibrarea poate fi verificată, nu poate fi păcălită alegând exemple convenabile și e ce face o probabilitate utilă, nu decorativă.
Statistica standard de rezumat este scorul Brier. Ridică la pătrat distanța dintre probabilitatea afișată și rezultat, așa că un răspuns greșit dat cu încredere costă mai mult decât unul prudent. Are un reper la îndemână: spunând 50% la orice obțineți 0,25, deci un model care nu bate 0,25 e mai rău decât niciun model.
Cum verificați dacă o probabilitate înseamnă ceva
Testul cere un singur tabel. Grupați toate estimările publicate după probabilitatea afișată (toate cele de 60-65% împreună, toate cele de 65-70% împreună și așa mai departe), apoi comparați probabilitatea fiecărui grup cu cât de des s-au întâmplat de fapt acele rezultate. Dacă grupul de 70% ajunge pe la 70%, cifra înseamnă ce spune. Dacă ajunge la 55%, modelul e prea încrezător și fiecare cifră pe care v-o arată e umflată.
Două lucruri țin testul cinstit. Fiecare grup trebuie să aibă mărimea eșantionului afișată, pentru că un grup de douăzeci de meciuri poate fi cu zece puncte pe lângă doar din întâmplare. Și trebuie un interval în jurul cifrei observate, ca cititorul să poată deosebi o ratare reală de zgomotul obișnuit.
Aproape nimeni din această categorie nu publică acest tabel. E cel mai informativ lucru pe care îl poate arăta un site de predicții, iar absența lui spune mai mult decât orice cifră de precizie din titlu.
Cum se măsoară ScorePredicts
Fiecare estimare e verificată după rezultatul final, când se termină meciul, și nu e modificată niciodată după aceea. Istoricul e public și nu cere cont: cifrele agregate sunt pe pagina de precizie, iar predicțiile verificate propriu-zise pe pagina fiecărei ligi și echipe.
Pagina de precizie publică o rată de reușită pentru fiecare tip de predicție, cu propriul număr de cazuri, combinația de piețe din care au venit acele predicții, o comparație cu regula naivă „mereu gazdele” la rezultatul final și tabelul de calibrare descris mai sus. Tabelul acoperă piața rezultatului final, toate cele trei variante, cu mărimea eșantionului și intervale de 95% pe fiecare grup. Unde datele nu susțin o afirmație, pagina spune asta în loc să umple spațiul. Calibrarea nu e încă publicată pentru alte piețe; pentru ambele echipe marchează e reținută intenționat, pentru că estimările modelului sunt deocamdată prea concentrate ca să fie raportate cinstit. Fiecare rată de reușită apare lângă numărul de predicții verificate din spatele ei, așa că un eșantion mic se vede, iar un grup de calibrare are nevoie de cel puțin 50 de meciuri înainte să fie afișat. Meciurile care nu se termină niciodată (abandonate, anulate sau decise la masa verde) sunt excluse, nu socotite ca reușite sau ratate, iar pagina arată câte au fost excluse.
Aceleași cifre sunt disponibile ca flux JSON sub licența CC BY 4.0, ca oricine să le poată verifica independent.
Ce nu poate face un model bun
Un model calibrat vă spune cât de probabil e ceva. Nu vă poate spune ce se va întâmpla într-un singur meci. O estimare de 75% care nu se confirmă nu înseamnă că modelul e stricat: un model ale cărui estimări de 75% s-ar confirma mereu ar fi prost calibrat, nu genial.
Fotbalul e nesigur într-un fel care limitează cât poate ști orice metodă. Un cartonaș roșu în minutul nouă, o greșeală de portar, o echipă cu rotații înaintea unui meci european: nu sunt semnale pe care modelul le-a ratat. Sunt zgomotul pe care îl produce sportul. Diferența dintre un model bun și unul slab e reală, dar mică, și se vede pe sute de meciuri, nu într-un anumit weekend.
Cine promite certitudini în această categorie descrie ceva ce fotbalul nu conține.
Verificați singuri afirmațiile oricărui site de predicții
Patru întrebări despart o afirmație măsurabilă de una de marketing și niciuna nu cere pregătire statistică. Pe câte predicții verificate se bazează cifra și pe ce interval de date? E împărțită pe piețe sau amestecată într-o singură cifră? Puteți vedea predicțiile individuale din spatele ei, inclusiv pe cele ratate? Și există vreo raportare a calibrării?
Un site care răspunde la toate patru face o afirmație pe care o puteți verifica. Un site care nu răspunde la niciuna vă cere să credeți o cifră pe cuvânt, iar într-o categorie în care plafonul realist e în jur de 58%, asta înseamnă multă încredere.