Regresión lineal

Ajusta una línea — un plano, en realidad — a través de los datos y lee las predicciones de ella.

El baseline de batalla para regresión: coeficientes legibles, solución exacta, el modelo que todo lo más sofisticado tiene que superar.

Dos caminos a la misma línea

Ecuación normal: $w = (X^{\top}X)^{-1} X^{\top} y$ — una sola resolución lineal, exacta.
Descenso de gradiente: da pasos en contra de $\nabla_w L = \frac{2}{n} X^{\top}(Xw + b - y)$ hasta que deja de moverse.
La pérdida es un tazón convexo, así que hay un solo mínimo y todo método correcto lo encuentra.
La forma cerrada es lo que llevas a producción; el loop de gradiente es lo que entrena todo lo que sigue.

Mínimos cuadrados: elige la línea donde las brechas verticales al cuadrado suman el total más pequeño.

Cada frame es un paso de gradiente. La línea rota hasta acomodarse; el MSE cae por un precipicio y luego se aplana.

Después de 60 pasos, el descenso de gradiente iguala la forma cerrada: pendiente 3.00, intercepto 5.10.

El modelo, por fila y apilado:

\hat{y}_i = w^{\top} x_i + b, \qquad \hat{y} = Xw + b

Lo que minimizamos — el error cuadrático medio:

L(w, b) = \frac{1}{n} \sum_{i} \left( \hat{y}_i - y_i \right)^2

Un tazón convexo. Resuélvelo directamente, o desciéndelo. El mismo fondo.

Ecuación normal, descenso de gradiente y sklearn sobre California housing — idénticos.

R² de prueba 0.585, MSE 0.528 — lo mismo para los tres. Solo hay una línea de mínimos cuadrados.

La forma de abanico es heterocedasticidad; la raya diagonal es el tope de precio de $500k.

Ajusta la línea primero. El R² es la vara; los coeficientes son una verificación de cordura gratis.
Coeficiente de ingreso mediano ≈ 0.44 → +$10k de ingreso predice +$43,900 de valor.
Vigila los signos: los features correlacionados (cuartos vs. recámaras) vuelven inestables los coeficientes.
La ecuación normal es la última forma cerrada que obtienes. El descenso de gradiente carga el resto del curso.
Quédate con la gráfica de residuales — ahí es donde la linealidad y la varianza constante se rompen a la vista.