Как работят AI футболните прогнози
Футболният модел за прогнози превръща мача във вероятност за всеки изход. Самият модел е по-малко интересен, защото обучените класификатори са обикновена технология. Интересни са стъпките между суровия изход и процента, който наистина значи това, което казва. Повечето сайтове не описват нито една от тях.
Какво всъщност е моделът
Моделът не е един. ScorePredicts работи със 100 обучени модела, експортирани в ONNX и държани в паметта, и всеки мач се оценява от няколко от тях едновременно. Всеки пазар има свой модел: резултат от мача, голове за всяка страна, двата отбора отбелязват, корнери за всяка страна, картони за всяка страна. Модел, който предвижда добре корнери, е научил друго нещо от модела за голове, а ако питаш модела за голове за корнери, ще получиш по-лош отговор, отколкото ако обучиш втори модел.
На всеки от тези въпроси отговаря един модел, обучен за съответния пазар и вид състезание. Няма гласуване между модели. Така всеки модел е съсредоточен върху една цел, а слаб резултат на един пазар може да се проследи до един модел и да се преобучи, без да се пипат останалите.
„AI“ в тази категория почти винаги означава обучение с учител върху таблични данни за мачове. Езиков модел, който чете новините, е друго нещо, и сайт, който загатва, че прави това, описва нещо различно и много по-малко надеждно.
Защо моделите са групирани по състезание
100-те модела са разпределени в 19 групи по вид състезание и ниво: вътрешни първенства от няколко нива (второто ниво е разделено по региони), вътрешни купи, континентални клубни турнири и мачове на национални отбори. Всеки мач отива при моделите, обучени върху неговия вид футбол.
Това е по-важно, отколкото изглежда. Предимството на домакина, резултатността, честотата на равенствата и броят картони са систематично различни в голямо европейско първенство и в национална трета дивизия. Един общ модел, обучен върху всичко, научава средното от тези среди и затова греши малко навсякъде, а най-много по краищата, където данните са най-малко.
Групирането решава и кои пазари са налични. Модели за корнери и картони има само за групи с достатъчно дълга история. Другите групи получават по-малък набор (резултат от мача, голове и двата отбора отбелязват в някои, резултат от мача и голове в други, само резултат от мача в най-бедните на данни), вместо прогноза, построена върху твърде малко данни. По-малко пазари с реална основа са по-добре от повече без основа.
Какво влиза в една прогноза
Моделите за резултат от мача, голове и двата отбора отбелязват четат 77 признака на мач. Моделите за корнери четат 72, а тези за картони 51, защото броят корнери зависи от други неща, не от тези, които решават дали ще падне гол.
77-те се разпределят приблизително така: 44 основни признака за форма и сила, 8 от последните пет преки двубоя, 8 за очаквани голове, 5 сезонни, 2 за резултатната среда в първенството, 2 за съдията, 2 за новоповишен отбор и 6 за наследството на всеки клуб: колко континентален футбол е играл напоследък и как сегашната му сила се сравнява със средната му за три години. Навиците на съдията тежат най-много при картоните, чиито модели имат свои входни данни за съдията. Прогнозите за картони се правят едва след като назначението на съдията е потвърдено, така че профилът му винаги е част от тях.
Дните почивка и контекстът на мача (дерби ли е, колко е важен, има ли риск от ротация в купови и континентални мачове) влизат заедно с движението на пазарната цена. Прогнозите се обновяват по няколко пъти на ден, така че мач, оценен в понеделник, не стига до събота с данните от понеделник.
От суров изход на модела до заявен процент
Суровият изход на класификатора изглежда като вероятност, но не е. Това е оценка между 0 и 1, подредена правилно (по-високо значи по-вероятно), но систематично твърде уверена или твърде несигурна. Ако един сайт за прогнози я публикува директно, получава числа, които не значат нищо, и това е най-честата грешка в тази категория.
Между модела и числото на страницата има пет стъпки. Първо суровият изход се калибрира с таблица на изотонична регресия, напасната към оценените резултати: тази стъпка кара заявените 70% да отговарят на около 70% в реалността. После калибрираните вероятности се свиват, за да се приберат крайните опашки, където моделите са най-малко надеждни. Когато единият отбор е ясен фаворит, корекция на пристрастието към фаворита отнема част от вероятността, която моделите са склонни да дават в повече на аутсайдера и на равенството. След това резултатът се смесва с пазарната предварителна оценка. Накрая двойният шанс се изчислява наново от смесените числа за резултата от мача, вместо да се предвижда отделно, така че двете никога да не си противоречат.
Всяка от тези стъпки мести числото, а сайт, който ги пропуска, ти показва сурова оценка на класификатора със знак за процент. Оценката на доверие при Топ прогноза е тази крайна вероятност, допълнително коригирана според това как се е представял пазарът в миналото. При Анализа на стойността тя е собствената вероятност на модела преди смесването с пазара, защото целта на този изглед е да сравни модела с пазара.
Защо изходът е закотвен към пазарните цени
Тази стъпка трябва да се каже ясно, защото сайтовете за прогнози най-рядко я признават: при резултат от мача, голове и двата отбора отбелязват вероятностите на модела се смесват с вероятностите от пазарните цени, преди да се публикуват, с тежест според нивото на състезанието. Прогнозите за корнери и картони не се смесват, защото цените на тези пазари са най-ненадеждната отправна точка.
Причината е, че затварящите пазарни цени са най-силната публична прогноза за футболен мач. Те събират преценката на много голям пазар и трудно се побеждават със значителна разлика. Модел, който рязко се разминава с добре информиран пазар, много по-често е счупен, отколкото гениален, а смесването е евтина защита срещу един лош признак или остарели данни, които биха дали уверено абсурдно число.
Тежестта зависи от нивото и точно в това е смисълът. Моделът винаги запазва по-голямата част от тежестта. В топ състезанията, където цените са най-информирани, делът на пазара е най-голям. В по-ниските нива и по-слабо покритите състезания цените са по-тънки и по-малко проучени, делът на пазара пада и именно там статистическият модел може да добави нещо, което пазарът още не е включил в цената.
Как една прогноза се избира пред друга
Вероятности има за всеки пазар на всеки мач, много повече, отколкото някой би искал да чете. Отделен слой за решения избира какво се публикува и той не подрежда просто по най-голямата разлика спрямо пазара.
Кандидатите се подреждат по комбинирана оценка: разликата във вероятността, претеглена с надеждността на пазара досега и с увереността на модела. Самият размер на разликата не стига. Лошото качество на данните намалява увереността в кандидата, вместо тихо да го изхвърли, така че мач, в който единият отбор има бедна статистическа история, дава по-слаба и ясно отбелязана прогноза, вместо да изчезне или, още по-лошо, да се появи с пълна увереност. Където данните са сериозно непълни, се предлагат само най-стабилните пазари. Рискът от ротация преди купов или континентален мач намалява увереността, без да блокира мача. Има и таван на прогнозите от един мач, за да не измести един добре покрит мач целия кръг.
В резултат се публикуват по-малко прогнози, отколкото моделът би могъл да даде, и компромисът е в правилната посока.
Какво не може да направи този процес
Не може да ти каже какво ще стане в един мач. Калибрирани 72% са твърдение за дългия период: изходи като този се сбъдват около 72 пъти от 100, а останалите 28 са част от същото разпределение, което прави точно това, което е измерено да прави.
Не вижда червен картон в деветата минута, вратарска грешка или треньор, уволнен между прогнозата и началото. Това е шум, който не може да се премахне, и затова честният таван на точността при резултата от мача е в средата на петдесетте процента, далеч от числата, които се рекламират в тази категория.
И не може да се потвърди от един уикенд. Единственият смислен тест е дали заявените вероятности съвпадат с наблюдаваните честоти в хиляди мачове. Затова историята на точността се публикува по диапазони, а не като водещ процент.