Régression polynomiale

Si l'on appelle (X_i, Y_i) la i-ème réalisation du couple de variables aléatoires, on recherche le polynôme

${\displaystyle P_{n}(x)=a_{n}x^{n}+a_{n-1}x^{n-1}+\ldots +a_{1}x+a_{0},}$

permettant d'écrire

${\displaystyle Y_{i}=P_{n}(X_{i})+\varepsilon _{i}}$

le résidu ε_i, ou perturbation, étant « le plus petit » dans le sens des moindres carrés.

La régression polynomiale est une régression linéaire multiple : on peut écrire la relation, pour X_i,p = Xp
i :

Échec de l’analyse (SVG (MathML peut être activé via une extension du navigateur) : réponse non valide(« Math extension cannot connect to Restbase. ») du serveur « http://localhost:6011/fr.wikipedia.org/v1/ » :): {\displaystyle Y_i = a_n \cdot X_{i,n} + a_{n-1} \cdot X_{i,n-1} + \ldots + a_1\cdot X_{i,1} + a_0 + \varepsilon_i.}

La régression linéaire est une régression polynomiale de degré 1.

Un certain nombre de lois physiques s'expriment sous la forme de polynômes. La régression polynomiale permet alors d'estimer les valeurs des paramètres de la loi.

La méthode de lissage et de dérivation de Savitzky-Golay utilise une régression polynomiale sur un intervalle glissant.

Considérons un jeu de données (X_i, Y_i)_{1 ≤ i ≤ n}. On veut effectuer une régression par un polynôme de degré trois :

${\displaystyle P_{3}(x)=ax^{3}+bx^{2}+cx+d.}$

Le carré du résidu s'écrit :

${\displaystyle \varepsilon (x,y)^{2}=\left(P_{3}(x)-y\right)^{2}}$

soit

${\displaystyle {\begin{aligned}\varepsilon (x,y)^{2}=\ x^{6}a^{2}+2x^{5}ab+2x^{4}ac+2x^{3}ad-2x^{3}ya\\+x^{4}b^{2}+2x^{3}bc+2x^{2}bd-2x^{2}yb\\+x^{2}c^{2}+2xcd-2xyc\\+d^{2}-2yd\\+y^{2}{\text{.}}\end{aligned}}}$

On note alors:

${\displaystyle \varepsilon _{i}:=\varepsilon (X_{i},Y_{i})}$

Les valeurs a, b, c, d minimisent la somme des carrés des résidus e :

${\displaystyle e=\sum _{i}\varepsilon _{i}^{2}}$

On appelle

${\displaystyle \mathrm {S} _{j}=\sum _{i}\mathrm {X} _{i}^{j}}$

et

${\displaystyle \mathrm {T} _{j}=\sum _{i}\mathrm {X} _{i}^{j}\mathrm {Y} _{i}}$

Si le paramètre a est plus élevé ou plus bas, la valeur de e augmente. La valeur de e est donc minimale pour le a recherché, c'est-à-dire que la dérivée partielle de e par rapport à a doit être nulle :

${\displaystyle {\frac {\partial e}{\partial a}}=0\Longrightarrow 2a\mathrm {S} _{6}+2b\mathrm {S} _{5}+2c\mathrm {S} _{4}+2d\mathrm {S} _{3}-2\mathrm {T} _{3}=0}$.

On peut faire de même pour chaque paramètre, ce qui donne un système d'équations linéaires :

${\displaystyle {\begin{pmatrix}\mathrm {S} _{6}&\mathrm {S} _{5}&\mathrm {S} _{4}&\mathrm {S} _{3}\\\mathrm {S} _{5}&\mathrm {S} _{4}&\mathrm {S} _{3}&\mathrm {S} _{2}\\\mathrm {S} _{4}&\mathrm {S} _{3}&\mathrm {S} _{2}&\mathrm {S} _{1}\\\mathrm {S} _{3}&\mathrm {S} _{2}&\mathrm {S} _{1}&\mathrm {S} _{0}\end{pmatrix}}\cdot {\begin{pmatrix}a\\b\\c\\d\end{pmatrix}}={\begin{pmatrix}\mathrm {T} _{3}\\\mathrm {T} _{2}\\\mathrm {T} _{1}\\\mathrm {T} _{0}\end{pmatrix}}{\text{.}}}$

• Régression (statistiques)
• Interpolation polynomiale
• Compression de courbe