가중 최소제곱법(Weighted Least-Squares)

가중 최소제곱법(Weighted Least-Squares)

 

오차를 조정하며 파라미터 찾기

 

들어가며...

2025.03.12 - [Mathematics/Linear Algebra] - 추정문제, 정사영, 정사영 행렬(Estimation; projection; projection matrix)

추정문제, 정사영, 정사영 행렬(Estimation; projection; projection matrix)

 

2025.03.13 - [Mathematics/Linear Algebra] - 최소자승추정, 목적함수, 정점조건, 최소조건(Least-Squares Problems; objective function; stationarizing condition; minimizing condition)

최소자승추정, 목적함수, 정점조건, 최소조건(Least-Squares Problems; objective function; stationarizing conditio

 

이 포스팅에서는 이전에 다뤘던 최소자승추정에서 더 나아가 오차의 중요도를 고려한 최소자승추정인 가중 최소제곱법을 정리할 것이다.

 

가중 최소제곱법(Weighted Least-Squares)

추정 문제에서 Ax = b라고 가정할 때, b벡터에서 Ax의 추정치를 뺀 벡터(오차)는 열공간에 수직임을 이용하여 내적 연산을 통해 아래 결과를 도출하였다. 위 포스팅을 참고하길 바란다.

 

위 식은 최소자승추정에서 오차가 최소가 되도록 하는 x의 공식이다. 하지만, 만약 어떤 오차는 다른 오차에 비해 더 작아져야 한다면 어떨까? 이 상황에서 위 공식을 사용하는 방법은 없을까?

 

가중 최소제곱법이 이 해법이다. 가중 최소제곱법에서 Ax = b라는 시스템에서 A와 b에 각각 가중치 행렬 W를 곱한다. 그럼 A는 WA가 되며, b는 Wb가 된다.

 

결과적으로 가중 최소제곱법의 공식은 아래 형태를 띈다.

 

Example from [Linear Algebra and its Application] by David C.Lay

Find the least-squares line that best fits the data (-2, 3), (-1, 5), (0, 5), (1, 4) and (2, 3). Suppose the errors in measuring the y-values of the last two data points are greater than for the other points. Weight these data half as much as the rest of the data.

 

위 문제에서 마지막 두 촤표의 오차가 2배가 되기 위해서 나머지 좌표들이 오차에 과해서 마지막 두 좌표의 2배만큼 민감하게 만들면 된다. 이렇게 하기 위해서 마지막 두 좌표를 제외한 나머지 좌표에 가중치를 2배 주면 된다. 따라서 W행렬은 아래와 같다.

 

최소자승추정에서 정리했듯이 A행렬과 y행렬을 나타내면 아래와 같다.

 

위 식에 가중치를 곱해주면 아래와 같다.

 

Normal Equation을 풀기 위해 아래 연산을 수행한다.

 

이를 Normal Equation에 대입하면 다음과 같다.

 

마치며...

읽어주셔서 감사합니다.