Uma probabilidade, uma referência e um teste justo
A regressão logística transforma uma pontuação linear z=b₀+b₁x₁+…+bₚxₚ numa probabilidade p=1/(1+e^(-z)). A pontuação é o log das chances: lnp/(1-p)=z, então uma unidade a mais de xⱼ multiplica as chances de um dia de alta por e^bⱼ. Ponha um StandardScaler na frente, dentro de um Pipeline, e a unidade passa a ser um desvio padrão, o que torna comparáveis as razões de chances de variáveis diferentes. O modelo é ajustado minimizando a perda logarítmica -1/nΣ(yln p+(1-y)ln(1-p)) mais uma penalidade controlada por C (um C pequeno significa penalidade forte). O objeto ajustado dá predict_proba para as probabilidades e predict para a classe no limiar 0,5.
Um modelo de direção é julgado pelo que conseguiria sem fazer nada. Cerca de 55 % dos dias do SPY são de alta, então prever sempre «alta» acerta 55 % das vezes: essa é a referência, e ela deve vir dos rótulos de treino, pois os de teste são desconhecidos ao prever. A acurácia depende do limiar; a AUC não, e é a probabilidade de um dia de alta sorteado receber pontuação maior que um dia de baixa (0,5 significa nenhuma habilidade). A perda logarítmica pune erros confiantes. Com quatro variáveis conhecidas no fechamento, divisão no tempo (70 % para treino, os 30 % seguintes para teste), o modelo do laboratório obtém acurácia de 55,3 % contra 55,1 % da referência, AUC de 0,501 e perda logarítmica de 0,688, por pouco abaixo dos 0,690 de uma moeda. Razões de chances logo abaixo de 1 dizem que a alta de ontem reduz um pouco as chances de outra, efeito real, mas não negociável.
- Julgue contra uma referência tirada dos rótulos de treino: prever a classe majoritária já dá cerca de 55 %.
- AUC e perda logarítmica não dependem de um limiar; 0,5 e 0,69 são os valores de nenhuma habilidade.
- Padronize dentro do pipeline; então e^bⱼ é a razão de chances por desvio padrão.
Lab: o que é avaliado
- Dividir no tempo10 pts
- O pipeline10 pts
- Três pontuações20 pts
- A referência da classe majoritária15 pts
- Razões de chances15 pts
- O estudo da direção do SPY30 pts