Regressão logística para a direção

De uma pontuação a uma probabilidade

A regressão logística prevê um sim ou um não, como se o retorno de amanhã é positivo. Primeiro monta uma pontuação linear $z=a+bx$, como uma regressão linear, e depois a transforma em probabilidade com a sigmoide $p=1/(1+e^{-z})$. A pontuação é o logaritmo das chances: $z=\ln\frac{p}{1-p}$, então $e^{z}$ é a razão de chances. Uma pontuação $0$ significa $p=0{,}5$. O modelo é ajustado minimizando a log-perda, $-\ln p$ quando o resultado foi sim e $-\ln(1-p)$ quando foi não, o que pune muito os erros cometidos com confiança. A classe relatada depende de um limiar, em geral $0{,}5$, que pode ser movido.

A acurácia sozinha engana quando uma classe é comum. Um modelo que sempre diz alta parece bom se a maioria dos dias é de alta, e é inútil para operar. Julgue um modelo de direção pela log-perda frente à referência de taxa constante, pela calibração de suas probabilidades e, acima de tudo, pelo retorno de uma estratégia que age com elas após custos. Numa decisão por limiar, o custo de uma compra errada e o de uma oportunidade perdida raramente são iguais, então o melhor limiar muitas vezes não é $0{,}5$.

• Pontuação e depois sigmoide: uma pontuação linear vira uma probabilidade entre $0$ e $1$.
• A log-perda pune a confiança: uma resposta errada e confiante custa muito mais que uma hesitante.
• Superar a referência: compare com prever sempre a taxa base, não com $50\%$.

Lab: o que é avaliado

• Uma probabilidade a partir de uma pontuação15 pts
• A razão de chances10 pts
• Uma log-perda15 pts
• Onde o modelo fica indeciso10 pts
• A referência constante10 pts
• Por que a acurácia engana10 pts
• Associar o vocabulário10 pts
• Por que o modelo mal supera a referência20 pts