NSI algorithme des k plus proches voisins à retenir

Qu'est-ce que l'algorithme k-NN ?

L'algorithme des k plus proches voisins (k-NN) est un algorithme de classification basé sur la proximité des points dans l'espace des caractéristiques.

Quelle est la formule pour calculer la distance euclidienne ?

La distance euclidienne entre deux points $\displaystyle A(x_1, y_1)$ et $\displaystyle B(x_2, y_2)$ est donnée par : $\displaystyle d = \sqrt{(x_2 - x_1)^2 + (y_2 - y_1)^2}$.

k-NN peut être utilisé pour...

La classification et la régression.

Vrai ou faux : k-NN nécessite une phase d'apprentissage.

Faux : k-NN est un algorithme paresseux qui n'effectue pas d'apprentissage explicite.

Quels sont les paramètres essentiels du k-NN ?

- Valeur de k - Fonction de distance - Méthode de pondération

Comment choisir la valeur de k ?

La valeur de k doit être choisie en fonction de la taille du jeu de données et de la complexité des classes. Généralement, une petite valeur de k est préférable.

Quel type de distance est souvent utilisé ?

La distance euclidienne est la plus couramment utilisée pour mesurer la proximité entre les points.

Qu'est-ce que la pondération des voisins ?

C'est une méthode où les voisins plus proches contribuent davantage à la décision finale que les voisins éloignés.

Vrai ou faux : plus la valeur de k est grande, plus le modèle est flexible.

Faux : une grande valeur de k rend le modèle plus rigide et peut entraîner un sous-apprentissage.

Qu'est-ce qu'une distance de Manhattan ?

C'est une mesure de distance qui additionne les valeurs absolues des différences des coordonnées, donnée par : $\displaystyle d = |x_2 - x_1| + |y_2 - y_1|$.

Complétez : k-NN classe un point en fonction des ___ voisins les plus proches.

k

Quels types de problèmes k-NN peut-il résoudre ?

- Classification - Régression

Quelle est l'importance de la normalisation des données ?

La normalisation permet d'éliminer l'influence disproportionnée des caractéristiques ayant des échelles différentes.

Exemple de classification avec k-NN :

Pour un point à classer, compter les classes des 3 voisins les plus proches et choisir la classe majoritaire.

Qu'est-ce que la distance de Hamming ?

C'est une mesure utilisée pour des données catégorielles, comptant les positions où les valeurs diffèrent entre deux points.

Qu'est-ce que la distance dans k-NN ?

La distance mesure la similarité entre points. Les distances couramment utilisées incluent : - Euclidienne - Manhattan Elle détermine quels voisins sont considérés lors de la classification.

Quelles sont les applications du k-NN ?

Classification d'images, reconnaissance de la parole, filtrage de contenu, prévisions économiques.

k-NN pour la classification des emails.

Utilisé pour classer les emails en spam ou non-spam selon les caractéristiques du contenu.

Vrai ou faux : k-NN peut être utilisé pour la régression.

Vrai. Il peut prédire des valeurs continues en faisant la moyenne des k voisins.

k-NN et reconnaissance faciale : comment ça marche ?

Il compare les caractéristiques des visages avec un ensemble d'images étiquetées pour identifier une personne.

Remplissez le blanc : k-NN est utilisé dans la ________ des maladies.

diagnostic

Comparaison : k-NN vs SVM.

k-NN : simple, non paramétrique. SVM : plus complexe, nécessite des paramètres.

Quel est le rôle de la distance dans k-NN ?

Elle mesure la similarité entre les points, influençant ainsi le choix des voisins.

Exemple d'application dans le secteur de la santé.

Prédire le risque de maladies en fonction des caractéristiques des patients.

k-NN pour le système de recommandation.

Recommande des produits basés sur les préférences similaires d'autres utilisateurs.

Vrai ou faux : k-NN nécessite une phase d'apprentissage.

Faux. Il ne nécessite pas de phase d'apprentissage, seulement des données étiquetées.

Qu'est-ce que le 'curse of dimensionality' ?

C'est la difficulté d'appliquer k-NN dans des espaces de grande dimension, car les données deviennent éparses.

k-NN en prévision de la demande.

Utilisé pour estimer la demande de produits en fonction des données historiques.

k-NN dans le terrain de l'environnement.

Classifie des espèces en fonction de caractéristiques environnementales mesurées.

Quelles métriques de distance utilise k-NN ?

Euclidienne, Manhattan, et Minkowski sont les plus courantes.

Qu'est-ce que la réduction de dimensions ?

Méthode visant à diminuer le nombre de caractéristiques tout en conservant l'information essentielle.

Vrai ou faux : le k-NN est sensible aux dimensions.

Vrai. L'augmentation des dimensions peut conduire à la malédiction de la dimensionnalité, rendant le modèle moins efficace.

Comment normaliser les données ?

Utiliser la mise à l'échelle min-max ou la standardisation (soustraction de la moyenne et division par l'écart-type).

Qu'est-ce que le choix optimal de k ?

Utiliser la validation croisée pour déterminer la valeur de k qui donne la meilleure performance sur un ensemble de validation.

Qu'est-ce que le poids des voisins ?

Appliquer des poids aux voisins selon leur distance : plus un voisin est proche, plus il a de poids dans la classification.

Comparer : distance euclidienne vs. distance de Manhattan.

Distance euclidienne : \displaystyle ext{dist} = \frac{ ext{sqrt}((x_1 - x_2)^2 + (y_1 - y_2)^2)} ; Distance de Manhattan : $\displaystyle ext{dist} = |x_1 - x_2| + |y_1 - y_2|$.

Qu'est-ce que l'algorithme d'élagage ?

Méthode pour réduire le nombre de points de données à considérer, améliorant ainsi l'efficacité de l'algorithme k-NN.

Complétez : l'optimisation de la distance réduit ____.

le temps de calcul et améliore la précision des résultats.

Pourquoi utiliser des méthodes d'ensemble avec k-NN ?

Elles combinent plusieurs modèles pour réduire le surapprentissage et améliorer la performance globale.

Qu'est-ce que le prétraitement des données ?

Actions comme le nettoyage, la normalisation et l'encodage des variables, importantes pour améliorer l'efficacité du k-NN.

Vrai ou faux : toutes les caractéristiques doivent être utilisées dans k-NN.

Faux. L'élimination des caractéristiques non pertinentes améliore la précision et l'efficacité.

Qu'est-ce que le filtrage de bruit ?

Technique pour supprimer les points de données aberrants qui peuvent fausser les résultats de k-NN.

Exemple : peser les voisins dans un cas de k-NN.

Si k=3, assigner des poids de 0.5, 0.3 et 0.2 selon leur distance. Cela change la décision finale.

Pourquoi utiliser des techniques d'indexation avec k-NN ?

Elles permettent de réduire le temps de recherche des voisins en organisant les données efficacement.