Kako rade AI fudbalske prognoze
Model za fudbalske prognoze pretvara meč u verovatnoću za svaki ishod. Zanimljiv deo nije model - trenirani klasifikatori su obična tehnologija - nego koraci između sirovog izlaza modela i procenta koji znači ono što tvrdi. Većina sajtova ne opisuje nijedan od njih.
Šta je model zapravo
Nije jedan model. ScorePredicts koristi 100 treniranih modela, izvezenih u ONNX i držanih u memoriji, a pojedinačan meč ocenjuje nekoliko njih istovremeno. Svako tržište ima svoj: konačan ishod, golovi za svaku stranu, oba tima daju gol, korneri za svaku stranu, kartoni za svaku stranu. Model koji dobro predviđa kornere naučio je nešto drugo od onog koji predviđa golove, a pitati model za golove o kornerima daje lošiji odgovor od treniranja drugog modela.
Na svako od tih pitanja odgovara jedan model - onaj treniran za to tržište i tu vrstu takmičenja - a ne više modela koji glasaju. Ovakva podela drži svaki model usmerenim na jedan cilj, a slab rezultat na jednom tržištu može da se prati do jednog modela i ponovo trenira bez diranja ostalih.
„AI" u ovoj oblasti gotovo uvek znači nadgledano učenje na tabelarnim podacima o mečevima. Ne znači jezički model koji čita vesti, a svaki sajt koji podrazumeva drugačije opisuje nešto drugo i znatno manje pouzdano.
Zašto su modeli grupisani po takmičenjima
Tih 100 modela organizovano je u 19 grupa, razdvojenih po vrsti i rangu takmičenja - domaće lige kroz više rangova (drugi rang je podeljen po regionima), domaći kupovi, kontinentalna klupska takmičenja i mečevi nacionalnih selekcija. Meč se usmerava ka modelima treniranim na njegovoj vrsti fudbala.
To je važnije nego što zvuči. Prednost domaćeg terena, stope golova, učestalost nerešenih ishoda i broj kartona sistematski se razlikuju između velike evropske lige i trećeg nacionalnog ranga. Jedan globalni model treniran na svemu uči prosek tih okruženja i zato je svuda blago pogrešan, a najpogrešniji na rubovima gde je podataka najmanje.
Grupisanje takođe odlučuje koja tržišta postoje. Modeli za kornere i kartone postoje samo za grupe sa dovoljnom istorijskom dubinom. Ostale grupe dobijaju uži izbor - negde konačan ishod, golove i oba tima daju gol, negde konačan ishod i golove, a u najtanjim samo konačan ishod - umesto prognoze izgrađene na premalo podataka. Manje tržišta sa stvarnom osnovom bolje je od više tržišta bez nje.
Šta ulazi u jednu prognozu
Modeli za konačan ishod, golove i oba tima daju gol čitaju 71 obeležje po meču. Modeli za kornere čitaju 53, a za kartone 51, jer ono što pokreće broj kornera nije ono što pokreće gol.
Tih 71 se grubo deli na: 44 osnovna obeležja forme i snage, 8 iz poslednjih pet međusobnih duela, 8 obeležja očekivanih golova, 5 sezonskih, 2 koja opisuju golgetersko okruženje lige, 2 za sudiju i 2 koja označavaju novopridošli tim. Sklonosti sudije najviše znače za kartone, čiji modeli imaju sopstvena sudijska obeležja. Dok sudija nije određen, ta obeležja koriste prosek za tu vrstu takmičenja, pa prognoza kartona postaje preciznija kada se delegacija potvrdi i prođe sledeće osvežavanje.
Dani odmora i kontekst meča - da li je u pitanju derbi, koliko je meč važan, rizik rotacije u kupu i kontinentalnim takmičenjima - ulaze uz to, zajedno sa kretanjem cena na tržištu. Prognoze se osvežavaju više puta dnevno, pa meč ocenjen u ponedeljak nije u subotu prikazan sa ponedeljkovim ulazima.
Od sirovog izlaza modela do navedenog procenta
Sirov izlaz klasifikatora nije verovatnoća, iako tako izgleda. To je vrednost između 0 i 1 koja je slučajno ispravno uređena - više znači verovatnije - dok je sistematski previše ili nedovoljno samouverena. Objavljivanje te vrednosti direktno najčešći je način da sajt sa prognozama završi sa brojevima koji ne znače ništa.
Između modela i cifre na strani stoji pet koraka. Sirov izlaz se prvo kalibriše kroz tabelu izotonične regresije prilagođenu prema ocenjenim rezultatima, i to je korak koji čini da navedenih 70% odgovara približno 70% u stvarnosti. Kalibrisane verovatnoće se zatim sažimaju da bi se stisnuli krajnji repovi, gde su modeli najmanje pouzdani. Kada je jedna strana jasan favorit, korekcija pristrasnosti ka favoritu smanjuje verovatnoću koju modeli obično previše dodeljuju autsajderu i nerešenom ishodu. Rezultat se onda meša sa tržišnim priorom. Na kraju se dvostruka šansa ponovo izračunava iz pomešanih brojeva za konačan ishod, a ne predviđa posebno, tako da ta dva nikada ne mogu da se protivreče.
Svaki od tih koraka menja cifru, a sajt koji ih preskače pokazuje vam sirov izlaz klasifikatora sa znakom procenta. Ocena pouzdanosti najboljeg izbora je ova konačna verovatnoća, dodatno prilagođena dosadašnjem učinku tog tržišta. Kod analize vrednosti to je sopstvena verovatnoća modela pre mešanja sa tržištem, jer je smisao tog prikaza da uporedi model sa tržištem.
Zašto je izlaz usidren u cene tržišta
Ovaj korak zaslužuje da se kaže otvoreno, jer je to ono što sajt sa prognozama najmanje voli da prizna: za konačan ishod, golove i oba tima daju gol, verovatnoće modela se pre objavljivanja mešaju sa verovatnoćama koje impliciraju tržišne cene, sa težinom koja zavisi od ranga takmičenja. Prognoze kornera i kartona se ne mešaju, jer su cene na tim tržištima najmanje pouzdan oslonac.
Razlog je što su zaključne cene na tržištu najjača javno dostupna prognoza fudbalskog meča. Objedinjuju procenu veoma velikog tržišta i teško ih je nadmašiti sa velikom razlikom. Model koji naglo odstupa od dobro informisanog tržišta mnogo češće je pokvaren nego genijalan, a mešanje je jeftina zaštita od toga da jedno loše obeležje ili zastareo ulaz proizvedu samouvereno apsurdan broj.
Težina zavisi od ranga, i u tome je i smisao. Model uvek zadržava veći deo težine. U najjačim takmičenjima, gde su cene najbolje informisane, udeo tržišta je najveći; u nižim rangovima i manje pokrivenim takmičenjima cene su tanje i manje ispitane, udeo tržišta se smanjuje, a upravo tu statistički model ima šta da doda što tržište nije već ugradilo u cenu.
Kako se jedna prognoza bira umesto druge
Verovatnoće postoje za svako tržište na svakom meču, što je daleko više nego što bilo ko želi da čita. Odvojen sloj odlučivanja bira šta se zaista objavljuje, i ne rangira prosto po najvećem odstupanju od tržišta.
Kandidati se rangiraju po zbirnoj oceni - razlici u verovatnoći, ponderisanoj time koliko je to tržište bilo pouzdano i koliko model veruje sopstvenoj proceni - a ne samo po veličini razlike. Kvalitet podataka smanjuje pouzdanost kandidata umesto da ga tiho izbaci, pa meč u kome jedna strana ima tanku statističku istoriju daje slabiju, jasno označenu prognozu, a ne da nestane ili, još gore, da se pojavi sa punom pouzdanošću. Tamo gde su podaci značajno nepotpuni, nude se samo najrobusnija tržišta. Rizik rotacije pred kup ili kontinentalni meč smanjuje pouzdanost, a ne blokira meč. Postoji i ograničenje koliko prognoza jedan meč može da proizvede, što sprečava da jedan dobro pokriven meč potisne celo kolo.
Posledica je manje objavljenih prognoza nego što bi model mogao da napravi, a to je ispravan smer tog kompromisa.
Šta ovaj postupak ne može
Ne može da vam kaže šta će se dogoditi na jednom meču. Kalibrisanih 72% je tvrdnja o dugom roku: takvi ishodi se dese približno 72 puta u 100, a onih 28 nisu greške, to je raspodela koja radi ono što je i izmereno.
Ne može da vidi crveni karton u devetom minutu, golmansku grešku ili trenera otpuštenog između prognoze i početka meča. To nisu obeležja koja modelu manjkaju; to je nesvodivi šum, i zbog njega pošten plafon tačnosti na konačnom ishodu stoji u srednjim pedesetim, a ne blizu cifara koje se reklamiraju u ovoj oblasti.
I ne može da se potvrdi time kako je prošao jedan vikend. Jedini smislen test je da li navedene verovatnoće odgovaraju izmerenim učestalostima kroz hiljade mečeva, i zato se zapis o tačnosti objavljuje po opsezima, a ne kao jedna reklamna cifra.