Cuando dos regresores se mueven casi juntos, como el momentum de una acción a 6 y a 12 meses, la regresión no puede decir cuál merece el crédito. Es la multicolinealidad. El ajuste puede seguir siendo bueno, pero los coeficientes individuales se vuelven inestables: un pequeño cambio en los datos puede subir uno y bajar el otro, y sus errores estándar se disparan. El factor de inflación de la varianza del regresor j es VIFj=1−Rj21, donde Rj2 sale de regresar ese regresor sobre todos los demás. Un VIF superior a 5 o 10 es una señal de alerta.
La regularización corrige la inestabilidad añadiendo una penalización al tamaño de los coeficientes. Ridge (L2) añade λ∥β∥2: la solución es la ordinaria con λI sumada a XTX, lo que acondiciona bien la matriz (conéctelo con la habilidad de álgebra lineal) y encoge cada coeficiente hacia cero. Lasso (L1) añade λ∥β∥1 y puede poner algunos coeficientes exactamente a cero, seleccionando predictores. Ambos cambian un poco de sesgo por una gran bajada de varianza, y λ se elige por validación cruzada, el siguiente tema.
Números para predictores correlacionadosSi regresar el predictor j sobre los demás da Rj2=0,9, entonces VIFj=1/(1−0,9)=10: su error estándar es 10≈3,2 veces mayor que con predictores no correlacionados. A la inversa, VIF=5 significa Rj2=0,8. Con XTX=(4334), ridge con λ=1 usa (5335). En una dimensión con XTX=4 y XTy=8, MCO da β^=2 mientras que ridge con λ=4 da 8/(4+4)=1: la penalización reduce el coeficiente a la mitad.
Multicolinealidad: coeficientes inestables y errores estándar inflados, predicciones a menudo aún buenas.
Ridge: encoge todos los coeficientes, nunca exactamente a cero. Lasso: puede poner coeficientes exactamente a cero.
Elija la penalización λ por validación cruzada, nunca mirando el ajuste de entrenamiento.
No lea un coeficiente cuando su gemelo está en el modeloCon dos factores casi duplicados, cada coeficiente por separado no es interpretable: uno positivo grande y otro negativo grande pueden cancelarse y dar una suma razonable. Juzgue el par conjuntamente, elimine o combine uno de ellos, o regularice. Las predicciones del modelo pueden seguir siendo buenas, porque la combinación está bien determinada aunque cada parte no lo esté.
Lab: qué se califica
Un factor de inflación de la varianza15 pts
Del VIF al R cuadrado10 pts
La matriz ridge15 pts
Un coeficiente encogido15 pts
Qué penalización selecciona variables15 pts
Qué hace la colinealidad15 pts
Por qué ayuda ridge15 pts
0/ 7 respondidos
1Respuesta numérica15 ptsSin responder
Regresar un predictor sobre todos los demás da un R cuadrado = 0,9. ¿Cuál es su VIF?
VIF=aceptado: ± 0.001
2Respuesta numérica10 ptsSin responder
Un predictor tiene VIF = 5. ¿Cuál es el R cuadrado de su regresión sobre los demás predictores?
R2=aceptado: ± 0.001
3Matriz · vector15 ptsSin responder
Sea XTX=(4334). Complete XTX+λI para λ=1.
XTX+I=
4Respuesta numérica15 ptsSin responder
Con un solo regresor, X^T X = 4 y X^T y = 8. MCO da 2. ¿Qué da ridge con lambda = 4, usando X^T y / (X^T X + lambda)?
beta=aceptado: ± 0.001
5Elección15 ptsSin responder
¿Qué penalización puede poner algunos coeficientes exactamente a cero?
6Elección15 ptsSin responder
Seleccione todos los efectos de una fuerte multicolinealidad.
7Explicar con palabras15 ptsSin responder
En dos frases, diga por qué la regresión ridge ayuda cuando los predictores están fuertemente correlacionados.
Modo matemáticasEntrada por teclado o LaTeXEjercicio 1 de 7 · Ctrl ⏎ para comprobar
