Regresión logística

Conserva la frontera recta. Deja que cada feature vote. Devuelve una probabilidad.

El clasificador lineal por defecto — y el modelo que de verdad vas a poner en producción.

El salto desde el threshold

Semana 1: un feature, una línea vertical, un sí/no duro.
Ahora: cada feature vota, la línea puede inclinarse, la respuesta es una probabilidad.
0.5 sigue siendo el corte natural — pero ahora es una perilla que puedes mover.
Probabilidades calibradas + pesos legibles + un baseline fuerte. Difícil de superar por el precio.

Los datos

Dos clases, algo de traslape. Una línea recta puede separarlas en su mayoría — pero tiene que inclinarse, porque ambos features cargan señal.

El modelo

Score lineal, y luego lo aplastamos a una probabilidad:

z = w^{\top}x + b \qquad p = \sigma(z) = \frac{1}{1 + e^{-z}}

Entrena minimizando la cross-entropy — la pérdida para la que la sigmoide fue construida:

\mathcal{L} = -\frac{1}{N}\sum_i \big[\, y_i \log p_i + (1 - y_i)\log(1 - p_i)\,\big]

El gradiente colapsa en el error por los features:

\frac{\partial \mathcal{L}}{\partial w} = \frac{1}{N}\sum_i (p_i - y_i)\,x_i

Un (p - y) limpio. Esa cancelación es la razón por la que aquí no usas error cuadrático.

Míralo entrenar

Cada frame es un paso real de gradiente. La línea naranja es donde p = 0.5; los anillos rojos son los errores actuales; la pérdida cae debajo.

Pesos en cero → sin línea → un corte tosco → rota y se desliza hasta el hueco. 96% en el set de juguete.

La sigmoide

Plana en los extremos (confiada), empinada en el centro (incierta), cruzando 0.5 en z = 0.

Desde cero vs. librería vs. el stump de la semana 1

Diabetes Pima, 537 de entrenamiento / 231 de prueba. Nuestro descenso de gradiente aterriza en la respuesta de sklearn; ambos superan el threshold de un solo feature.

Desde cero 0.7662 · sklearn 0.7662 · stump semana 1 0.7316. Pesos más fuertes: glucosa, IMC, embarazos — en ese orden.

Conclusiones

El clasificador lineal por defecto. El baseline que un modelo más pesado tiene que superar de verdad.
Probabilidades, no etiquetas: fija el threshold acorde al costo de cada error.
Estandariza y luego lee los pesos — rankean tu señal gratis.
Sigmoide + cross-entropy son pareja; el gradiente se cancela en (p - y). No uses error cuadrático.
El motor debajo de las redes neuronales que vienen — una red es este modelo apilado y doblado hasta que la frontera puede curvarse.