Muchos árboles pequeños y una clasificación honesta de variables
Un árbol de decisión divide las filas una y otra vez con una pregunta como «¿el rendimiento a 20 días supera el 1 %?», eligiendo en cada paso la división que deja los grupos más puros. La impureza de Gini de un grupo es G=1-Σₖpₖ², y una división es buena si baja la impureza ponderada de sus dos hijos. Un árbol de profundidad ilimitada acaba con una fila por hoja: exactitud del 100 % en entrenamiento y cerca del 50 % en prueba. Dos formas mantienen honestos a los árboles. Un bosque aleatorio promedia muchos árboles poco profundos, cada uno crecido sobre una muestra aleatoria de filas y variables, así que sus errores se cancelan en parte. El gradient boosting añade árboles pequeños uno tras otro, cada uno ajustado a lo que la suma actual aún falla: Fₘ=Fₘ₋₁+νhₘ, donde la tasa de aprendizaje ν mantiene pequeño cada paso. Ambos se controlan con max_depth, min_samples_leaf y el número de árboles, y ambos necesitan random_state para resultados repetibles.
La importancia de variables es de dos tipos. La importancia por impureza (feature_importances_) suma cuánto bajó cada variable la impureza en las filas de entrenamiento; suma 1, favorece variables con muchos valores distintos y se calcula sobre datos ya vistos. La importancia por permutación baraja una columna de las filas de PRUEBA y mide cuánto cae la puntuación: una variable que importa duele al desordenarla, una inútil no. En un problema artificial cuya etiqueta depende del producto de dos variables, una regresión logística tiene un AUC cercano a 0,5 mientras los árboles encuentran la interacción, y ambos rankings señalan las dos columnas correctas. En la dirección de SPY el cuadro es lo opuesto a útil: el árbol ilimitado hace 50,5 % en prueba, los AUC son 0,498 (logit), 0,515 (bosque) y 0,531 (boosting), las seis importancias por impureza están entre 0,13 y 0,20 y el ranking por permutación las contradice. Importancias planas y un AUC de prueba cercano a 0,5 dicen que no hay nada que ordenar.
- Limite la profundidad: un árbol ilimitado hace 100 % en entrenamiento y cerca del 50 % en prueba.
- La importancia por impureza se calcula en entrenamiento; la por permutación en prueba es la fiable.
- Los árboles ven interacciones que un modelo lineal no ve, pero rendimientos ruidosos no ofrecen ninguna: espere AUC cercanos a 0,5.
Lab: qué se califica
- La curva de profundidad15 pts
- Bosque y boosting10 pts
- Tres modelos, tres AUC20 pts
- Importancias por impureza10 pts
- El ranking por permutación20 pts
- El estudio de SPY25 pts