As previsões de futebol com IA são precisas?
Resposta curta: um bom modelo de futebol acerta o resultado da partida um pouco mais do que uma moeda viciada a favor do mandante, e isso não é decepcionante: é o que o esporte permite. A pergunta útil não é com que frequência um site acerta, mas se as probabilidades que ele declara significam alguma coisa.
Qual precisão uma previsão de futebol pode ter de fato?
Nas principais ligas europeias, o favorito vence pouco mais da metade dos jogos e os empates somam cerca de um quarto. Um modelo que escolhesse o mandante todas as vezes chegaria perto de 44-47% no resultado da partida sem saber absolutamente nada. Os preços de mercado de fechamento, a previsão mais bem informada disponível para qualquer jogo de futebol, porque combinam a visão de um número enorme de participantes, identificam corretamente o vencedor em cerca de 55-58% das vezes nas divisões de elite.
Esse número é o teto, não uma meta que alguém tenha superado. Significa que a faixa honesta para um modelo estatístico bem construído no 1X2 fica em algum ponto entre o início e o meio dos cinquenta, e que alguns pontos de melhora sobre escolher o mandante são um resultado realmente bom, e não modesto. Mercados com dois resultados em vez de três (ambas equipes marcam, mais/menos gols) ficam mais altos simplesmente porque há uma forma a menos de errar, e por isso citar um único número de precisão misturado entre os mercados não diz quase nada.
Por que alegações de 85% de precisão não são críveis
Sites de previsões que anunciam 85%, 87% ou 90% de precisão são comuns nesta categoria. Diante dos números acima, esses valores não impressionam: são implausíveis. Superar o mercado de fechamento por trinta pontos percentuais seria um dos resultados mais significativos da estatística aplicada, e não seria anunciado na página de venda de uma assinatura.
Há algumas explicações comuns, e nenhuma envolve um modelo melhor. O número pode vir de uma janela escolhida a dedo em que o modelo estava em boa fase. Pode contar só as seleções que o site decidiu publicar, descartando o resto em silêncio. Pode misturar mercados fáceis com difíceis até a média ficar lisonjeira. Ou pode ser medido na dupla chance, em que cobrir dois dos três resultados leva a mais de 70% quase por construção, e ser apresentado sem dizer isso.
O sinal de alerta quase nunca é o número em si. É a ausência de tudo ao redor dele: sem tamanho de amostra, sem período, sem detalhamento por mercado, sem como ver as previsões individuais a partir das quais o número foi calculado.
Precisão é a coisa errada a medir
A taxa de acerto trata cada previsão como certa ou errada, o que joga fora a parte que carrega a informação. Um modelo que diz 51% e um modelo que diz 94% fizeram afirmações muito diferentes, e pontuá-los de forma idêntica quando o resultado se confirma esconde exatamente o que você quer saber.
A medida que não joga isso fora é a calibração. Um modelo é calibrado quando suas probabilidades declaradas correspondem à realidade observada: de todos os jogos que ele apontou com 70%, perto de 70% devem de fato acontecer. A calibração pode ser conferida, não pode ser manipulada escolhendo só os melhores casos e é a propriedade que torna uma probabilidade útil, e não decorativa.
A estatística-resumo padrão é a pontuação de Brier, que eleva ao quadrado a distância entre a probabilidade declarada e o resultado, de modo que uma resposta errada e confiante custa mais que uma cautelosa. Ela tem um ponto de referência conveniente: dizer 50% para tudo dá 0,25, então qualquer modelo que não consiga bater 0,25 é pior que nenhum modelo.
Como conferir se uma probabilidade significa alguma coisa
O teste cabe em uma tabela. Agrupe cada previsão publicada pela probabilidade declarada (todas as de 60-65% juntas, todas as de 65-70% juntas e assim por diante) e compare a probabilidade declarada de cada grupo com a frequência com que esses resultados de fato aconteceram. Se a faixa de 70% fica perto de 70%, o número significa o que diz. Se fica em 55%, o modelo é excessivamente confiante e todo número que ele mostra está inflado.
Duas coisas tornam esse teste honesto, e não cosmético. Cada faixa precisa de um tamanho de amostra declarado, porque uma faixa com vinte jogos pode errar por dez pontos só por acaso. E precisa de um intervalo ao redor do número observado, para o leitor distinguir um erro real de um ruído normal.
Quase ninguém nesta categoria publica essa tabela. É a coisa mais informativa que um site de previsões pode mostrar, e a ausência dela diz mais que qualquer número de precisão em destaque.
Como o ScorePredicts se mede
Cada previsão é avaliada contra o resultado final quando o jogo termina, e a previsão em si não é alterada depois. O histórico é público e não exige conta: números agregados na página de precisão e as próprias previsões avaliadas em todas as páginas de liga e de time.
A página de precisão publica uma taxa de acerto para cada tipo de previsão, com sua própria contagem de amostra, a mistura de mercados de onde essas previsões foram tiradas, uma comparação com uma referência ingênua de vitória do mandante no resultado da partida e a tabela de calibração descrita acima, para o mercado de resultado da partida, cobrindo os três resultados, com tamanhos de amostra e intervalos de 95% por faixa. Quando os dados não sustentam uma afirmação, a página diz isso em vez de preencher o espaço. A calibração ainda não é publicada para outros mercados; para ambas equipes marcam ela é retida de propósito, porque as previsões do modelo estão hoje concentradas demais para serem reportadas com honestidade. Toda taxa de acerto é impressa ao lado do número de previsões avaliadas por trás dela, então uma amostra pequena fica visível, e não escondida, e uma faixa de calibração precisa de pelo menos 50 jogos antes de ser exibida. Jogos que nunca foram concluídos (suspensos, cancelados ou com vitória atribuída) são excluídos, em vez de contados como certos ou errados, e o número de excluídos aparece na página.
Os mesmos números estão disponíveis em um feed JSON sob a licença CC BY 4.0, para que possam ser conferidos de forma independente, e não aceitos na confiança.
O que um bom modelo não consegue fazer
Um modelo calibrado diz quão provável é algo. Não diz o que vai acontecer em um jogo específico, e uma previsão de 75% que falha não é prova de que o modelo está quebrado: um modelo cujas previsões de 75% sempre se confirmassem seria mal calibrado, e não brilhante.
O futebol é genuinamente incerto de uma forma que limita o quanto qualquer método pode saber. Um cartão vermelho no nono minuto, um erro do goleiro, um elenco rodado antes de um jogo europeu: não são sinais que um modelo deixou passar, são ruído que o esporte produz. A distância entre um modelo forte e um fraco é real, mas estreita, e aparece ao longo de centenas de jogos, e não em um fim de semana qualquer.
Quem promete certeza nesta categoria descreve algo que o futebol não contém.
Como conferir você mesmo a alegação de qualquer site de previsões
Quatro perguntas separam uma afirmação mensurável de uma de marketing, e nenhuma exige formação em estatística. Em quantas previsões avaliadas o número se baseia e em que datas? Ele é detalhado por mercado ou misturado em um só número? Dá para ver as previsões individuais a partir das quais ele foi calculado, inclusive as que perderam? E há alguma divulgação de calibração?
Um site que responde às quatro está fazendo uma afirmação que você pode conferir. Um site que não responde a nenhuma está pedindo que você aceite um número na fé, e em uma categoria em que o teto plausível é de cerca de 58%, a fé está fazendo muito trabalho.