k-Nearest Neighbors

Para etiquetar algo nuevo, mira qué está más cerca y copia la mayoría.

Sin entrenamiento. El conjunto de entrenamiento es el modelo.

La idea completa

Conserva cada punto de entrenamiento. No ajustes nada.
Para clasificar una consulta: encuentra los k puntos más cercanos, haz una votación.
La única perilla es k — una k pequeña sigue cada curvita, una k grande suaviza.
Demostrado en 1967 (Cover y Hart): el error de 1-NN es a lo mucho el doble del mejor posible.

Los datos

150 flores Iris, tres especies, dos features: largo y ancho del pétalo.

Setosa está sola. Versicolor y virginica se traslapan en una costura difusa.

El modelo completo

Distancia de la consulta a cada punto:

d(q, x_i) = \sqrt{\sum_{j=1}^{D} (q_j - x_{ij})^2}

Votación entre los k más cercanos:

\hat{y}(q) = \arg\max_{c} \sum_{i \,\in\, N_k(q)} \mathbb{1}\!\left[\, y_i = c \,\right]

Ningún parámetro se ajusta con los datos. Tú eliges k; todo lo demás es un ordenamiento y un conteo.

Míralo votar

Para cada flor de prueba: encierra a los 5 más cercanos, dibuja los votos, colorea según el ganador, ponle anillo rojo si falla.

Unánime en las nubes de setosa y virginica. Dividido 4–1 y 3–2 en la costura — ahí están los tres errores, y son los datos siendo ambiguos, no el modelo equivocándose.

k cambia la forma, no solo el puntaje

El accuracy es plano en Iris — las clases son demasiado limpias para que k importe mucho.

Pero la superficie de decisión pasa de dentada (k = 1) a suave (k = 15). En datos más ruidosos, esa forma es la diferencia entre memorizar y generalizar.

Desde cero contra librería

KNeighborsClassifier(n_neighbors=5) es el mismo algoritmo. Ambos puntúan 0.9333 y coinciden en las 45 flores de prueba.

La ventaja de la librería no es el accuracy — es el KD-tree que encuentra vecinos sin recorrer cada punto.

Conclusiones

Gran baseline: cero entrenamiento, frontera de cualquier forma, te dice si existe estructura local.
Lento al predecir — cada consulta recorre todo el conjunto de entrenamiento.
Muere en dimensiones altas: la maldición de la dimensionalidad vuelve "más cercano" algo sin sentido.
Estandariza tus features primero, o la distancia es una mentira. (Ese es el siguiente tramo del curso.)