Evaluar un regresor

Seis formas de comprimir predicciones-contra-verdad en un solo número: MSE, RMSE, MAE, R², R² ajustada, MAPE.

No son intercambiables. Unidades distintas, premian cosas distintas, y una de ellas miente cuando aparece un outlier.

La pregunta recurrente: ¿en qué unidad está este número?

Las unidades, primero que nada

MSE — unidades del target al cuadrado — ($100k)². Un área. No intentes leerlo.
RMSE — unidades del target — $100k. El MSE hecho interpretable.
MAE — unidades del target — $100k. El robusto.
R² — adimensional, fracción de la varianza explicada, ≤ 1.
R² ajustada — adimensional, R² con penalización por feature.
MAPE — porcentaje. Independiente de la escala, pero explota cerca de cero.

La imagen que toda métrica resume

Predicho contra real en los bloques reservados de California; y = x es un modelo perfecto. La brecha vertical a la línea es el error de cada predicción.

La matemática

\text{MSE} = \frac{1}{n} \sum_{i=1}^{n} \left( y_i - \hat{y}_i \right)^2, \qquad \text{RMSE} = \sqrt{\text{MSE}}

\text{MAE} = \frac{1}{n} \sum_{i=1}^{n} \left| y_i - \hat{y}_i \right|

R^2 = 1 - \frac{\text{SS}_{\text{res}}}{\text{SS}_{\text{tot}}} = 1 - \frac{\sum (y_i - \hat{y}_i)^2}{\sum (y_i - \bar{y})^2}

\text{MAPE} = \frac{100}{n} \sum_{i=1}^{n} \left| \frac{y_i - \hat{y}_i}{y_i} \right|

El demo del outlier

Arrastra un punto hacia afuera; predicciones fijas. MSE y RMSE explotan, MAE apenas se mueve.

Residual 0 → 12 unidades: MSE 0.17 → 7.72 unidades² (45×), RMSE 0.42 → 2.78 unidades (~7×), MAE 0.35 → 0.95 unidades (<3×).

Las calificaciones reales del modelo

RMSE 0.727 $100k — error típico de unos $72,700.
MAE 0.529 $100k — unos $52,900. RMSE > MAE significa errores desiguales.
MSE 0.528 ($100k)² — ininterpretable; minimízalo, no lo reportes.
R² 0.585 adimensional — explica ~59% de la varianza. R² ajustada 0.584.
MAPE 32.06% — falla por cerca de una tercera parte en un bloque típico.

Cada métrica desde cero coincide con sklearn.metrics hasta el último decimal.

Conclusiones

Reporta RMSE en las unidades del target — sensible e interpretable.
Mantén MAE a su lado y lee la brecha: RMSE ≫ MAE significa outliers.
R² para la pregunta sin escala de "mejor que la media", nunca sola.
MAPE cuando la sala necesita un porcentaje y ningún target está cerca de cero.
MSE: el mejor objetivo de entrenamiento, el peor número de boleta.
Siempre sabe qué unidad traes en la mano.