El algoritmo EM

k-means toma una decisión dura por cada punto. EM se niega a adivinar — le entrega a cada punto una probabilidad de pertenecer a cada grupo.

Expectation-Maximization: la receta que carga el peso de los problemas de variables latentes y datos faltantes.

El huevo y la gallina

Si supieras qué gaussiana generó cada punto, ajustar las gaussianas es cosa de una línea.
Si conocieras las gaussianas, adivinar las etiquetas es cosa de una línea.
No sabes ni una cosa ni la otra. Así que alterna:
- Paso E — adivina las etiquetas de forma suave a partir de las gaussianas actuales (responsabilidades).
- Paso M — reajusta las gaussianas a partir de esas etiquetas suaves.
Repite hasta que los números dejen de moverse.

Paso E — responsabilidad del componente $k$ por el punto $i$ :

\gamma_{ik} = \frac{\pi_k\, \mathcal{N}(x_i \mid \mu_k, \sigma_k^2)}{\sum_j \pi_j\, \mathcal{N}(x_i \mid \mu_j, \sigma_j^2)}

Paso M — actualizaciones ponderadas por responsabilidad:

\pi_k = \frac{1}{N}\sum_i \gamma_{ik}, \quad \mu_k = \frac{\sum_i \gamma_{ik} x_i}{\sum_i \gamma_{ik}}

Dos campanas peleándose por una columna de números. Puntos coloreados por responsabilidad suave; la log-verosimilitud sube — y nunca cae.

La promesa central de EM: la log-verosimilitud nunca decrece. No "casi siempre" — nunca, en cada iteración, de forma demostrable.

Esa subida monótona es la razón entera por la que se confía en el método.

Ajusta desde un arranque deliberadamente malo; aterriza en la misma respuesta que sklearn.mixture.GaussianMixture.

EM es el método al que acudes para problemas de variables latentes y datos faltantes.
Solo encuentra un óptimo local — la inicialización importa; reinicia y quédate con el mejor.
Está debajo de las mezclas gaussianas, los modelos de temas y los HMM.
Siguiente: la historia completa en 2-D con elipses de covarianza inclinadas — modelos de mezclas gaussianas.