Minsta-kvadrat-metoden

Betrakta det linjära ekvationssystemet \[\begin{aligned} a_{11}x_1+a_{12}x_2\,+ &\ldots+a_{1n}x_n = b_1 \\ a_{21}x_1+a_{22}x_2\,+ &\ldots+a_{2n}x_n = b_2 \\ &\,\,\,\,\vdots \\ a_{m1}x_1+a_{m2}x_2\,+ &\ldots+a_{mn}x_n = b_m\end{aligned}\] vilket kan skrivas \(A\vec{x} = \vec{b}\), där \[\begin{aligned} A = \begin{bmatrix} a_{11} & a_{12} & \cdots & a_{1n} \\ a_{21} & a_{22} & \cdots & a_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{m1} & a_{m2} & \cdots & a_{mn} \end{bmatrix} \quad, \vec{x} = \left[\begin{matrix} x_1 \\ x_2 \\ \vdots \\ x_n \end{matrix}\right] \quad \text{och } \vec{b} = \left[\begin{matrix} b_1 \\ b_2 \\ \vdots \\ b_m \end{matrix}\right]\end{aligned}\]

Om \(m>n\), dvs. det finns flera ekvationer än variabler (ett sådant ekvationssystem sägs vara överbestämt), händer det oftast att systemet saknar lösningar. Det går alltså inte att finna \(x_1,x_2,\ldots,x_n\) som samtidigt uppfyller alla ekvationer. Vad vi än gör får vi \(A\vec{x} \neq \vec{b}\), dvs. \(A\vec{x} - \vec{b} = \vec{r}\), där \(\vec{r} \neq \vec{0}\) är en vektor som visar hur mycket \(A\vec{x}\) avviker ifrån \(\vec{b}\).

Vi kan däremot försöka finna en uppsättning värden \(x_1,x_2,\ldots,x_n\) så att de anpassar sig till systemet så väl som möjligt. Ett sätt att definiera ”så väl som möjligt” är följande:

Steg 1: För varje uppsättning \(\vec{x} = (x_1,x_2,\ldots,x_n)\) bildar vi den så kallade residualvektorn \[\vec{r} = A\vec{x} - \vec{b} = \begin{bmatrix} (a_{11}x_1+a_{12}x_2+\ldots+a_{1n}x_n)-b_1 \\ (a_{21}x_1+a_{22}x_2+\ldots+a_{2n}x_n)-b_2 \\ \,\,\,\,\,\,\,\,\vdots \\ (a_{m1}x_1+a_{m2}x_2+\ldots+a_{mn}x_n)-b_m \end{bmatrix} = \left[\begin{matrix} r_1 \\ r_2 \\ \vdots \\ r_m \end{matrix}\right] \] Normen \(\left \Vert \vec{r} \right \Vert = \sqrt{r_{1}^{2}+r_{2}^{2}+\ldots+r_{m}^{2}}\) kallas residualen och utgör då ett mått på hur mycket \(\vec{x} = (x_1,x_2,\ldots,x_n)\) avviker ifrån systemet.

Steg 2: Sök nu den approximativa lösningen \(\vec{x} = (x_1,x_2,\ldots,x_n)\) så att \(\left \Vert \vec{r} \right \Vert = \sqrt{r_{1}^{2}+r_{2}^{2}+\ldots+r_{m}^{2}}\) är så litet som möjligt. Denna lösning kallas minsta-kvadrat-lösningen, och metoden för att finna denna lösning kallas minsta-kvadrat-metoden.

Anmärkning: I vissa källor står det att vi med minsta-kvadrat-metoden vill minimera summan \(\left \Vert \vec{r} \right \Vert^2 = r_{1}^{2}+r_{2}^{2}+\ldots+r_{m}^{2}\). Detta är ingen konstighet, eftersom om \(\sqrt{r_{1}^{2}+r_{2}^{2}+\ldots+r_{m}^{2}}\) är minimerat så är \(r_{1}^{2}+r_{2}^{2}+\ldots+r_{m}^{2}\) också minimerat (och vice versa).

Sats: Låt \(A\vec{x} = \vec{b}\) vara ett ekvationssystem som saknar lösning. Den lösning som bäst anpassar sig till systemet i minsta-kvadrat-mening bestäms av den så kallade normalekvationen \[A^T A\vec{x}=A^T \vec{b}\] och kallas minsta-kvadrat-lösningen till det ursprungliga systemet \(A\vec{x} = \vec{b}\).

Anmärkning: Observera att minsta-kvadrat-lösningen inte alls är en lösning till \(A\vec{x} = \vec{b}\), utan snarare den lösning som ger den minsta residualen (avvikelsen) \(\left \Vert \vec{r} \right \Vert\).