Polynomická regrese

Tento článek potřebuje úpravy.

Můžete Wikipedii pomoci tím, že ho vylepšíte. Jak by měly články vypadat, popisují stránky Vzhled a styl, Encyklopedický styl a Odkazy.

---

Konkrétní problémy: Toto je víc sada vzorců než encyklopedický článek, informace nejsou strukturované, chybí souvislý text, využití, historie, příklady, názornost, pointa, přehled. Navíc porušuje co wikipedie není

Polynomická či polynomiální regrese představuje proložení (aproximaci) zadaných hodnot polynomem. Koeficienty hledaného polynomu jsou metodou nejmenších čtverců vypočteny tak, aby součet druhých mocnin odchylek původních hodnot od získaného polynomu byl minimální.^[1]

Odvození

Cílem je proložit hodnotami $x_i,y_i$, $i=1,\dots <!--\; \dots \; -->,n$ polynom $k$-tého stupně $P_k\left(x\right)=p_0+p_{1}x+\dots <!--\; \dots \; -->+p_k{x}^k$. Koeficienty $p_0,\dots <!--\; \dots \; -->,p_k$ jsou přitom voleny tak, aby součet druhých mocnin odchylek

$e_i\equiv <!--\; \equiv \; -->y_i-<!--\; -\; -->P_k\left(x_i\right)$

byl minimální, tj.

$F=\underset{i=1}{\overset{n}{\sum <!--\; \sum \; -->}}{e}_i^2⟶<!--\; ⟶\; -->min.$

Úloha vede na problém nejmenších čtverců.

Problém nejmenších čtverců

Dosazením hodnot $x_i,y_i$ do polynomiálního modelu $y=P_k\left(x\right)$ přímo dostaneme aproximační problém. Z definice odchylky $e_i$ zřejmě platí $y_i=P_k\left(x_i\right)+e_i$. (Uvědomme si, že $e_i$ tak vlastně reprezentuje chybu vzniklou při měření veličiny $y_i$ přičemž předpokládáme, že veličiny $x_i$ jsou známy přesně.) V maticovém zápisu

$Ax=b+e,$

kde

$p_0,p_1,\dots <!--\; \dots \; -->,p_k$ jsou neznámé koeficienty hledaného polynomu a cílem je dosáhnout takového řešení, aby norma vektoru $e$ byla minimální. Úloha se řeší metodou nejmenších čtverců.

Minimum funkcionálu $F$

Minimum (pozitivně semidefinitního) funkcionálu $F$ můžeme hledat klasicky pomocí derivací. Protože veličiny $x_i$, $y_i$ jsou předem známy, odchylka $e_i$ je funkcí koeficientů polynomu $P_k$, tj. $e_i=e_i(p_0,\dots <!--\; \dots \; -->,p_k)$. Minimalizace součtu kvadrátů odchylek $e_i$ vede na hledání minima funkcionálu

$F(p_0,\dots <!--\; \dots \; -->,p_k)\equiv <!--\; \equiv \; -->\underset{i=1}{\overset{n}{\sum <!--\; \sum \; -->}}{e}_i^2(p_0,\dots <!--\; \dots \; -->,p_k)=\underset{i=1}{\overset{n}{\sum <!--\; \sum \; -->}}(y_i-<!--\; -\; -->\underset{j=0}{\overset{k}{\sum <!--\; \sum \; -->}}{p}_j{x}_i^j{)}^2.$

Funkcionál tvoří součet druhých mocnin, je tedy zřejmě nezáporný a nemůže obsahovat žádná lokální maxima ani sedlové body. Bod splňující podmínky

$\frac{\mathrm{\partial <!--\; \partial \; -->}F}{\mathrm{\partial <!--\; \partial \; -->}{p}_j}=0,j=0,\dots <!--\; \dots \; -->,k.$

je tedy vždy lokálním minimem, které je zároveň minimem globálním. Vyjádříme-li jednotlivé parciální derivace, dostáváme soustavu lineárních algebraických rovnic, kterou můžeme maticově zapsat ve tvaru

Řešením této soustavy jsou hledané koeficienty $p_j$. Pokud má matice $A$ lineárně nezávislé sloupce, koeficienty polynomu jsou dány jednoznačně a lze je formálně vypočítat podle vztahu

$x={\left(A^{T}A\right)}^{-<!--\; -\; -->1}{A}^{T}b.$

Jak vidíme, soustava získaná z parciálních derivací funkcionálu $F$ není nic jiného než soustava normálních rovnic odpovídající problému nejmenších čtverců z předchozího odstavce. Poznamenejme, že se úloha zpravidla (z numerických důvodů) neřeší pomocí soustavy normálních rovnic $A^{T}Ax=A^{T}b$, ale například QR faktorizací rozšířené matice $[b,A]$ původního problému nejmenších čtverců.

Kvadratická regrese

Kvadratická regrese je případ polynomické regrese, kdy stupeň polynomu $P_k$ je roven dvěma. Jako taková je tedy speciálním případem lineární regrese. Soubor daných hodnot je proložen (aproximován) kvadratickou funkcí (parabolou). Koeficienty polynomu (paraboly) jsou opět vypočteny metodou nejmenších čtverců.

Odvození problému nejmenších čtverců i nalezení minima funkcionálu je zcela analogické předchozímu případu. Místo obecným polynomem $P_k\left(x\right)$ prokládáme data parabolou, tedy polynomem druhého řádu $P_2\left(x\right)=a{x}^2+bx+c$. Součet čtverců odchylek $e_i=y_i-<!--\; -\; -->P_2\left(x_i\right)$ (funkcionál $F$) závisí na parametrech $a,b,c$, konkrétně

$F(a,b,c)=\underset{i=1}{\overset{n}{\sum <!--\; \sum \; -->}}{\left(y_i-<!--\; -\; -->a{x}_i^2-<!--\; -\; -->b{x}_i-<!--\; -\; -->c\right)}^2.$

Minimum funkcionálu $F$ opět nalezneme pomocí parciálních derivací (v místě lokálního extrému jsou rovny nule),

$\frac{\mathrm{\partial <!--\; \partial \; -->}F}{\mathrm{\partial <!--\; \partial \; -->}a}=\frac{\mathrm{\partial <!--\; \partial \; -->}F}{\mathrm{\partial <!--\; \partial \; -->}b}=\frac{\mathrm{\partial <!--\; \partial \; -->}F}{\mathrm{\partial <!--\; \partial \; -->}c}=0$

Spočtením derivací dostaneme soustavu normálních rovnic

ze které již formálně není problém (za předpokladu regularity matice soustavy) vypočítat koeficienty $a,b,c$.

Reference

Související články

• Metoda nejmenších čtverců
• Lineární regrese
• Regresní analýza