최소자승추정, 목적함수, 정점조건, 최소조건(Least-Squares Problems; objective function; stationarizing condition; minimizing condition)

최소자승추정, 목적함수, 정점조건, 최소조건(Least-Squares Problems; objective function; stationarizing condition; minimizing condition)

 

들어가며...

직교방정식과 추정 문제에 관해서 이전 포스팅에서 이미 다루었다. 아래를 참고하기를 바란다.

2025.03.12 - [Mathematics/Linear Algebra] - 추정문제, 정사영, 정사영 행렬(Estimation; projection; projection matrix)

추정문제, 정사영, 정사영 행렬(Estimation; projection; projection matrix)

위 포스팅에서 추정문제의 추정치가 아래와 같음을 보였다.

이번 포스팅에서는 오차를 최소화하는 파라미터 벡터를 찾는 문제인 최소자승추정 문제를 정의하고 그 해가 존재할 조건과 해를 찾는 방법에 대해 정리할 것이다.

 

최소자승추정(Least-Squares Problems)

최소자승추정을 정의하기에 앞서, 추정문제에 대해 이야기할 필요가 있다. 우선 아래 식을 살펴보자.

 

 

위 식에서 X는 센서의 모델(Design matrix)이며, y는 센서의 출력(Observation vector)이다. 베타는 센서의 파라미터 벡터(Parametor vector)이며, 엡실론은 센서의 측정오차(Residual vector)이다. 이 센서의 측정오차에 의해 미지 측정잡음이 존재한다. 추정문제란 위와 같이 가용 정보(센서 모델)를 이용하여 오차의 영향을 최소화하는 미지의 파라미터를 알아내는 것이다. 이를 그림으로 나타내면 아래와 같다.

출처)Linear algebra and its application [David Lay]

 

위 그래프에서 직선 위에 있는 점들은 추정치를 의미하고, 직선의 기울기와 y절편을 결정하는 값인 베타로 이루어진 벡터를 파라미터 벡터라 한다. 직선을 지나지 않는 점들은 측정값(Data point)으로, 오차가(Residual) 포함되어 있는 것을 확인할 수 있다. 최소자승추정이란, 오차의 제곱이 최소가 되도록 하는 파라미터 벡터의 값을 구하는 문제이다. 위 식에 대해 표현하면 최소자승추정 문제를 아래와 같이 표현할 수 있다.

 

 

추정치의 존재조건

 

위 시스템과 같이 벡터 b가 A의 열공간에 존재하지 않을 때, 아래와 같이 추정치를 구할 수 있었다.(맨 위에 올려놓은 포스팅 참고)

추정치 식을 보면 바로 알 수 있듯이, 추정치가 존재하기 위해서 대칭 정방행렬 (A^(T)A)의 역행렬이 존재해야 한다. 대칭 정방행렬의 역행렬이 존재하기 위해서 어떤 조건이 성립해야 할까?

 

행렬 A의 열이 독립이면 된다. 

행렬 A의 열이 독립이면, A^(T)A의 역행렬이 존재한다.

 

이를 증명해보자. A를 구성하는 열이 독립이라는 말은 N(A) = {Z}와 같은 말이고, (A^(T)A)의 역행렬이 존재한다는 말은 곧 N(A^(T)A) = {Z}와 같은 말이므로,

임을 증명하면 된다.

 

1.

2. 

 

 

목적함수와 정점조건

최소자승추정에서 오차의 제곱의 합이 최소가 되게 하는 추정치가 존재하는가? 최솟값이 존재하는가? 우리는 이 질문을 고등학교 미적분에서 많이 들어보았다. 우리는 어떻게 계산했는가? 우리는 도함수가 0이 되는 지점을 구하고, 이 지점에서 이계도함수의 부호를 구함으로써, 그래프의 모양이 아래로 볼록인지, 위로 볼록인지 구했다. 최소자승추정에서도 이 아이디어가 사용된다. 단지, 미분이 행렬에 대해 이루어졌을 뿐이다.

 

오차의 제곱을 표현한 식은 아래와 같다.

목적함수(objective function)

위 식을 목적함수(objective function)이라 하며, 위에서 벡터 b를 관측벡터( n×1 ), A를 설계행렬( n×p ), 벡터 x를 추정해야 할 파라미터 벡터( p×1 )라고 할 수 있다. 목적함수를 한 번 미분하면 아래와 같다. 먼저 목적함수를 전개하겠다.

 

이때, 관측벡터와 설계행렬, 파라미터 벡터의 전체공간을 고려할 때, 위 식에서 가운데 2개의 항이 스칼라임을 알 수 있다. 따라서 아래와 같이 다시 표현할 수 있다.

 

 

위 식을 x에 대해 미분하면 첫번째 상수항은 0으로 사라지고 나머지는 다음과 같다.

정점조건(stationarizing condition)

 

위 식과 같이 목적함수의 미분을 정점조건(stationarizing condition)이라 한다. 이 방정식은 추정치를 알려주는 방정식이다. 예상했겠지만, 위 식을 다시 표현하면 아래와 같은 직교 방정식(normal equation)이 된다.

 

이때, 위 정점조건을 x에 대해 한 번 더 미분하면, 추정치의 최소조건(minimizing condition)이 된다. 만약 미분값이 양한정이라면, 이 시스템은 기하학적으로 아래로 볼록한 타원체를 가지며, 반드시 최솟값이 존재한다. 반대로 만약 음한정이거나 반양한정이라면, 아래로 볼록한 타원체를 가지지 못할 것이며, 따라서 유일한 최솟값도 갖지 못하는 형태가 될 것이다. 그러므로 아래 식은 시스템의 최솟값의 존재여부를 알려주는 추정치의 최소조건을 의미한다.

 

양한정(positive definite)

 

위와 같이 행렬을 정의할 때, p는 대칭행렬이다. p가 0보다 클 때 양한정이라 한다. 즉, 양한정은 행렬이 양수임을 의미한다. 이것은 행렬의 요소가 모두 양수임을 의미하는 것이 아니라, 행렬 자체가 양수가 됨을 이야기하고 있는 것이다.

 

양한정의 수학적 정의는 아래와 같다.

 

모든 x에 대해 이차형식(quadratic form)이 항상 양수일 때, p행렬을 양한정이라고 할 수 있다.

양한정은 기하학적으로 타원체를 가지며, 최적화에서 유일해를 보장하는 핵심 조건이다. 양한정과 음한정, 이차형식에 대해서는 후에 자세히 다룰 것이다. 이번 포스팅에서는 양한정이 최소자승추정에서 추정치의 존재를 보장하는 조건이라는 점만 기억해두자.

 

마치며...

최소자승추정은 내용 자체는 한번만 봐도 바로 이해가 갈 정도로 단순한 개념이다. 그러나 아마 최소자승추정을 처음 접하는 사람들이 가장 어렵게 느끼는 부분은 설계행렬과 관측벡터를 뽑아내는 과정일 것이다. 즉, 모델링이 어렵게 느껴질 것이다. 거의 대부분 모델링이 어려운 것이 맞지만, 최소자승추정에서는 응용 연습문제를 몇개만 풀어봐도 금방 적응이 될 것이다. 연습문제에 관한 부분은 수치해석에서 다루었으니 참고하길 바란다.