Naive Bayes

Califica a un paciente contra un retrato estadístico de cada clase. Gana la clase menos sorprendida.

El teorema de Bayes, 1763. El atajo "naive", años sesenta. Sigue siendo el filtro de spam baseline a vencer.

Toda la idea

Guarda una media y una varianza por feature por clase — ese es el modelo.
Cada feature vota su propia verosimilitud; multiplica los votos (la parte "naive").
Los priors de clase rompen el empate. Argmax del posterior.
Trabaja en log-espacio: los productos de densidades diminutas se vuelven sumas.

768 pacientes Pima, ocho mediciones, una etiqueta de diabetes. Los ocho en juego.

Abajo: glucosa vs BMI. Las nubes se traslapan, pero la nube diabética se recarga hacia arriba y a la derecha.

La regla de Bayes, tira el denominador constante:

P(y \mid x) \;\propto\; P(y)\, P(x \mid y)

Suposición naive — features independientes dada la clase:

P(y \mid x) \;\propto\; P(y) \prod_{j=1}^{D} P(x_j \mid y)

Verosimilitud gaussiana por feature, luego argmax en log-espacio:

\hat{y} = \arg\max_{c}\; \left[\log P(c) + \sum_{j} \log P(x_j \mid c)\right]

Las campanas ajustadas — una por clase por feature. Esto es todo lo que el modelo almacena.

La glucosa separa limpio; el BMI se traslapa. Naive Bayes pondera cada uno según su separación.

Cada paciente de prueba calificado contra ambas gaussianas. Los anillos son 1σ y 2σ; la barra es el veredicto.

Coloreado por predicción, con anillo rojo cuando falla. Los errores se agrupan en el traslape.

Glucosa baja: clavado cerca de 0.95 sano. Sube a la costura y la barra cruza 0.5 — la frontera está donde las dos campanas jalan por igual.

GaussianNB es el mismo modelo. Ambos sacan 0.7727 y coinciden en los 154 pacientes de prueba.

No "cercano a" la librería — los mismos parámetros ajustados bit por bit.

Rápido, frugal, amigable con datos diminutos. El clasificador de texto baseline a vencer.
La suposición de independencia está mal y es útil: cuenta doble los features correlacionados y aun así rankea bien.
Supera por una docena de puntos el piso de 65% de la clase mayoritaria en Pima.
Malo para la calibración — buena llave de ordenamiento, mala probabilidad. La regresión logística lo arregla más adelante.