Modelos lineares e regularização

Encolher os coeficientes de propósito

Os mínimos quadrados ordinários acham a reta que melhor ajusta os dados de treino e, com dados financeiros ruidosos, ajustam também o ruído. A regularização acrescenta uma penalidade sobre o tamanho dos coeficientes: o modelo abre mão de um pouco de ajuste por muita estabilidade. O ridge penaliza a soma dos quadrados dos coeficientes e os reduz todos rumo a zero. O lasso penaliza seus valores absolutos e pode levar coeficientes fracos exatamente a zero, o que seleciona variáveis. A força $\alpha$ é um hiperparâmetro: $\alpha=0$ dá mínimos quadrados simples e um $\alpha$ muito grande dá um modelo plano que prevê a média.

Na prática, padronize as variáveis dentro de um pipeline, porque uma penalidade trata todos os coeficientes igual. Escolha $\alpha$ em dados de validação posteriores aos de treino. Comece com ridge quando as variáveis são correlacionadas e o sinal é fraco, como em momento, valor e qualidade, e use lasso quando quiser uma lista curta de variáveis. O elastic net mistura as duas penalidades. Nenhuma cria sinal: uma penalidade só torna o modelo menos sensível ao ruído.

• Ridge encolhe, lasso seleciona: o ridge mantém todas as variáveis com pesos menores, o lasso pode descartar as fracas.
• A força é um compromisso: $\alpha=0$ é mínimos quadrados e um $\alpha$ enorme prevê a média.
• Escale as variáveis primeiro: uma penalidade trata todos os coeficientes igual, então é preciso uma escala comum.

Lab: o que é avaliado

• Mínimos quadrados10 pts
• Ridge com alpha 115 pts
• Ridge com alpha 215 pts
• Lasso com alpha 0,515 pts
• Lasso com alpha 110 pts
• Uma penalidade enorme10 pts
• Associar o vocabulário10 pts
• Por que o lasso pode dar exatamente zero15 pts