Cuando 80 % debe significar 80 %
Un pronóstico de probabilidad está calibrado cuando, entre los días en que dijo p, la proporción de días alcistas es aproximadamente p. Ordenar y calibrar son virtudes distintas: un modelo puede ordenar bien los días (AUC alto) y decir 0,8 cuando la verdad es 0,55. La puntuación más simple de las probabilidades es la puntuación de Brier, 1/nΣ(pᵢ-yᵢ)², el error cuadrático medio del pronóstico; 0 es perfecto y 0,25 es lo que se obtiene diciendo siempre 0,5. Para ver la calibración, corte [0,1] en intervalos y compare en cada uno la probabilidad media predicha con la proporción de unos. Esa tabla es la curva de fiabilidad. Sumar las diferencias ponderadas por el tamaño de cada intervalo da el error de calibración esperado: ECE=Σₖnₖ/n |ȳₖ-p̄ₖ|.
Un bosque aleatorio promedia muchos árboles, y promediar aleja las probabilidades de 0 y 1 de forma extraña: suelen ser demasiado extremas donde los árboles coinciden memorizando ruido. CalibratedClassifierCV lo arregla aprendiendo una pequeña corrección con datos apartados. El método 'sigmoid' ajusta una curva logística p'=1/(1+e^(-(a s+b))) a las puntuaciones del modelo (dos números, estable) y 'isotonic' ajusta una función escalonada no decreciente libre (más flexible, necesita más datos). Con datos financieros, los pliegues apartados deben venir después de los de entrenamiento, así que pase cv=TimeSeriesSplit(3). En el último 30 % de 5.344 días de SPY, predecir siempre la tasa base da una puntuación de Brier de 0,2473. El bosque crudo obtiene 0,2600 con un error de 0,095, con probabilidades de 0,15 a 0,83; tras la calibración sigmoide la puntuación de Brier es 0,2475 y el error 0,0001. La calibración convirtió un modelo demasiado seguro en uno honesto, y el honesto es la tasa base, porque el bosque no tiene habilidad.
- Ordenar no es probabilidad: un AUC alto no dice si 80 % significa 80 %.
- La puntuación de Brier y los intervalos de fiabilidad son las comprobaciones; la referencia a batir es la puntuación de Brier de la tasa base.
- Calibre con datos posteriores:
CalibratedClassifierCV(..., cv=TimeSeriesSplit(3)), sigmoide primero, isotónica con más datos.
Lab: qué se califica
- La puntuación de Brier10 pts
- La tabla de fiabilidad25 pts
- Error de calibración15 pts
- El bosque10 pts
- El bosque calibrado20 pts
- El estudio de calibración20 pts