Blek NgossangaSoftware Engineering · AI Vision · Research

EN, Read this page in English

Laboratoire interactif

Régression linéaire

Déplacez les points et regardez la droite des moindres carrés suivre. Puis apprenez la même droite par descente de gradient et comparez.

Niveau
Débutant
Notions
Moindres carrés · MSE · R²
0 0 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 10 10
Figure 1 — Glissez un point pour le déplacer, cliquez dans le vide pour en ajouter un. Les segments orange sont les résidus de la droite apprise.
  • Moindres carrés (solution exacte)
  • Descente de gradient (pas affiché)
0 10 20
Figure 2 — Erreur quadratique moyenne de la droite apprise ; le trait horizontal est le minimum, atteint par la solution exacte.
Données
18
0,8
Descente de gradient
0,01
200
30
Droites comparées : pente, ordonnée à l’origine, erreur et R²
méthodepente aordonnée berreur (MSE)R²
Moindres carrés0,7451,20650,43780,8903
Gradient, pas 00028,6683−6,1859

Ajuster une droite

On cherche la droite y^=ax+b\hat y = a x + b qui passe « au plus près » de nn points (xi,yi)(x_i, y_i). « Au plus près » se mesure par l'erreur quadratique moyenne :

MSE(a,b)=1n∑i=1n(axi+b−yi)2\mathrm{MSE}(a, b) = \frac{1}{n} \sum_{i=1}^{n} (a x_i + b - y_i)^2

Chaque terme est le carré d'un résidu, l'écart vertical entre un point et la droite.

La solution exacte

La MSE est une fonction convexe de (a,b)(a, b) : son minimum s'obtient en annulant ses dérivées, ce qui donne

a=∑(xi−xˉ)(yi−yˉ)∑(xi−xˉ)2b=yˉ−a xˉa = \frac{\sum (x_i - \bar x)(y_i - \bar y)}{\sum (x_i - \bar x)^2} \qquad b = \bar y - a\,\bar x

Le coefficient R2=1−∑(y^i−yi)2∑(yi−yˉ)2R^2 = 1 - \frac{\sum (\hat y_i - y_i)^2}{\sum (y_i - \bar y)^2} dit quelle part de la variance de yy la droite explique.

La même droite, apprise

La descente de gradient part d'une droite quelconque et la corrige à chaque pas dans la direction qui fait baisser l'erreur :

a←a−η⋅2n∑(axi+b−yi) xib←b−η⋅2n∑(axi+b−yi)a \leftarrow a - \eta \cdot \frac{2}{n} \sum (a x_i + b - y_i)\,x_i \qquad b \leftarrow b - \eta \cdot \frac{2}{n} \sum (a x_i + b - y_i)

Elle converge vers la solution exacte. C'est la méthode qui se généralise aux modèles sans solution fermée : un réseau de neurones s'entraîne exactement ainsi.

À observer

  • La pente se corrige en quelques pas, l'ordonnée à l'origine beaucoup plus lentement : les xx vont de 0 à 10, la perte est une vallée étroite. Centrer et réduire les données rendrait la descente bien plus rapide.
  • Un point aberrant (glissez un point loin des autres) tire fortement la droite : l'erreur au carré donne un grand poids aux grands écarts.
  • Avec beaucoup de bruit, R2R^2 baisse mais la droite reste la meilleure au sens des moindres carrés.

Autres démonstrations

  • Convolution et filtres

    Vision par ordinateur, Débutant

    Faites glisser un noyau 3 × 3 sur une image : flou, netteté, détection d’arêtes. Modifiez les poids et suivez le calcul d’un pixel, terme à terme.

  • Ondelettes de Haar (DWT)

    Vision par ordinateur, Intermédiaire

    Décomposez une image en sous-bandes LL, HL, LH et HH sur plusieurs niveaux, supprimez les petits coefficients et mesurez ce que la reconstruction perd.