Regresión lasso

Regresión lineal con una penalización L1. Encoge los coeficientes y pone algunos en exactamente cero — el modelo selecciona sus propias features.

Ridge encoge suavemente y nunca llega a cero. Lasso truena los coeficientes contra el cero, uno a la vez.

Un término lo cambia todo

L(w, b) = \frac{1}{2n} \sum_{i} \left( y_i - w^{\top} x_i - b \right)^2 + \lambda \sum_{j} \lvert w_j \rvert

La penalización L1 cobra un peaje plano por unidad de peso — el jalón hacia cero nunca se desvanece.
Ridge usa $\lambda \sum_j w_j^2$ en su lugar; esa es toda la diferencia de comportamiento.
$\lambda = 0$ es mínimos cuadrados ordinarios; súbela y los coeficientes mueren uno por uno.

El soft-threshold hace el trabajo

No hay ecuación normal — el valor absoluto no es diferenciable en cero. En su lugar, ajusta una coordenada a la vez:

w_j = S_{\lambda}(\rho_j), \qquad S_{\lambda}(z) = \operatorname{sign}(z)\,\max(\lvert z \rvert - \lambda,\, 0)

Encoge hacia cero por $\lambda$ ; si eso empuja más allá de cero, detente en cero. Ese recorte es el tronido. Cicla las coordenadas hasta que nada se mueva.

Recuperación dispersa

Doce features, solo cuatro reales. OLS embarra peso por todo el ruido; lasso pone en cero las ocho que debe y conserva las cuatro que debe.

Mira los coeficientes tronar a cero

Cincuenta reajustes reales, $\lambda$ de pequeña a grande. Cada barra se encoge; uno por uno un coeficiente toca cero y se pone gris. El panel inferior cuenta a los sobrevivientes.

En diabetes, el índice de masa corporal y s5 aguantan más tiempo — son en lo que el modelo más se apoya.

Elige lambda con datos apartados

Mínimo en $\lambda \approx 2.21$ : lasso conserva 7 de 10 features, descarta edad, s1, s4.

Desde cero vs. librería

Nuestro lasso y sklearn coinciden a ocho decimales (R² 0.362). Siete features le ganan a las diez del OLS completo (R² 0.339).

Conclusiones

Echa mano de lasso cuando tengas más features de las que confías — encoge y selecciona en un solo ajuste convexo.
Los ceros son el premio; ridge no te los puede dar.
Confía en la dispersión, no en la selección exacta — las features correlacionadas vuelven inestable la elección.
Estandariza primero: una sola $\lambda$ penaliza cada coeficiente por igual solo si comparten escala.
El soft-threshold que construiste es la pieza sobre la que está construida la elastic net (próximo capítulo).