minimos cuadrados lineales

Regresión Lineal Múltiple

Posted by

0

Se tienen n puntos en R^{m} y se desea ajustar un modelo lineal de la siguiente forma:

y=a+\sum\limits_{j=1}^{m}b_{j}x_{j}

Donde a,b_{j} son los parámetros a determinar.

Construimos Q:R^{m+1}\rightarrow R como la suma de los cuadrados de las discrepancias del modelo y los datos.

Q=\sum\limits_{i=1}^{n}\left(y_{i}-a-\sum\limits_{j=1}^{m}b_{j}x_{ji}\right) ^{2}

Para hallar los valores de los parámetros que minimizan Q calculamos el gradiente:

\nabla Q=\allowbreak \left\{ \begin{array}{c}\frac{\partial Q}{\partial a}=2\sum\limits_{i=1}^{n}\left(y_{i}-a-\sum\limits_{j=1}^{m}b_{j}x_{ji}\right) \left( -1\right) \\ \frac{\partial Q}{\partial b_{k}}=2\sum\limits_{i=1}^{n}\left(y_{i}-a-\sum\limits_{j=1}^{m}b_{j}x_{ji}\right) \left( -x_{ki}\right),k=1,2,...,m\end{array}\allowbreak \right.

E igualamos a cero:

\nabla Q=0

Para la parcial de Q con respecto a la variable a

\frac{\partial Q}{\partial a}=0

2\sum\limits_{i=1}^{n}\left(y_{i}-a-\sum\limits_{j=1}^{m}b_{j}x_{ji}\right) \left( -1\right)=0

\sum\limits_{i=1}^{n}\left( y_{i}-a-\sum\limits_{j=1}^{m}b_{j}x_{ji}\right)=0

\allowbreak\sum\limits_{i=1}^{n}y_{i}-a\sum\limits_{i=1}^{n}1-\sum\limits_{i=1}^{n}\sum\limits_{j=1}^{m}b_{j}x_{ji}=0

n\bar{y}-na-\sum\limits_{j=1}^{m}b_{j}\left( n\bar{x}_{j}\right) =0

a=\bar{y}-\sum\limits_{j=1}^{m}b_{j}\bar{x}_{j}

Para las parciales de Q con respecto a la variable b_{k} con k=1,2,...,m

\frac{\partial Q}{\partial b_{k}}=0

2\sum\limits_{i=1}^{n}\left(y_{i}-a-\sum\limits_{j=1}^{m}b_{j}x_{ji}\right) \left( -x_{ki}\right)=0

\sum\limits_{i=1}^{n}y_{i}x_{ki}-a\sum\limits_{i=1}^{n}x_{ki}-\sum\limits_{i=1}^{n}\sum\limits_{j=1}^{m}b_{j}x_{ji}x_{ki}=0

a\sum\limits_{i=1}^{n}x_{ki}+\sum\limits_{i=1}^{n}\sum\limits_{j=1}^{m}b_{j}x_{ji}x_{ki}=\sum\limits_{i=1}^{n}y_{i}x_{ki}

\left( \bar{y}-\sum\limits_{j=1}^{m}b_{j}\bar{x}_{j}\right) n\bar{x}_{k}+\sum\limits_{j=1}^{m}b_{j}\sum\limits_{i=1}^{n}x_{ji}x_{ki}=\sum\limits_{i=1}^{n}y_{i}x_{ki}

n\bar{x}_{k}\bar{y}-\sum\limits_{j=1}^{m}b_{j}\left( n\bar{x}_{j}\bar{x}_{k}\right)+\sum\limits_{j=1}^{m}b_{j}\left(\sum\limits_{i=1}^{n}x_{ji}x_{ki}\right) =\sum\limits_{i=1}^{n}y_{i}x_{ki}

\sum\limits_{j=1}^{m}b_{j}\left( \sum\limits_{i=1}^{n}x_{ki}x_{ji}-n\bar{x}_{k}\bar{x}_{j}\right) =\sum\limits_{i=1}^{n}x_{ki}y_{i}-n\bar{x}_{k}\bar{y}

Definiendo S_{pq}=\sum\limits_{i=1}^{n}x_{pi}x_{qi}-n\bar{x}_{p}\bar{x}_{q}, S_{py}=\sum\limits_{i=1}^{n}x_{pi}y_{i}-n\bar{x}_{p}\bar{y} con p,q enteros obtenemos

\sum\limits_{j=1}^{m}b_{j}\left( S_{kj}\right) =S_{ky}

Así, expresamos en forma matricial

A=\left( \begin{array}{cccc}S_{11} & S_{12} & \cdots & S_{1m} \\ S_{21} & S_{22} & \cdots & S_{2m} \\ \vdots & \vdots & \ddots & \vdots \\ S_{m1} & S_{m2} & \cdots & S_{mm}\end{array}\right) ,B=\left( \begin{array}{c}b_{1} \\ b_{2} \\ \vdots \\ b_{m}\end{array}\right) ,Y=\left( \begin{array}{c}S_{1y} \\ S_{2y} \\ \vdots \\ S_{my}\end{array}\right)

AB=Y

B=A^{-1}Y

De este modo el modelo ajusta a los datos.

Post #07 – mycomplexsoul