추정문제, 정사영, 정사영 행렬(Estimation; projection; projection matrix)

추정문제, 정사영, 정사영 행렬(Estimation; projection; projection matrix)

꿩 대신 닭이다.

 

들어가며...

공간과 차원에 관한 정리는 해가 존재할 것인지 존재하지 않을 것인지 판단하는데 유리하다. 열공간은 우리에게 해의 존재 유무를 확실하게 알려준다. 만약 해가 존재하지 않는 경우엔 어떻게 해야 할까? 우리는 그 해에 최대한 근접한 값을 찾아야 할 것이다. 해가 존재하지 않는 경우에 선형대수학의 주요 문제는 선형 연립방정식 풀이 문제에서 추정문제로 넘어간다.

 

아래 포스팅에서 추정 문제에 대한 내용을 다루었다.

2025.03.03 - [Mathematics/Linear Algebra] - 공간과 차원(Space&Dimension)

공간과 차원(Space&Dimension)

 

추정 문제

 

만약 벡터공간 col(A) 안에 벡터 b가 포함되지 않으면 어떻게 해야 할까? 이때는 시스템이 불능이므로, 우리는 가장 근접한 해를 찾는 방법을 모색해봐야 할 것이다.

추정문제의 기하학적 해석을 위해 위 그림을 살펴보자. 추정문제는 내적이 항상 양인 경우 추정문제의 해이다. 여기서 내적은 수학적 정의일 뿐, 0보다 작을 수 있다. 위 그림에서 x위에 ㅅ모양의 기호가 붙은 것을 추정해(estimate)라 부르며, '엑스 헷'이라고 발음한다. 위 그림에서 e는 추정오차 혹은 잔류치(residual)이라고 정의한다. 

 

오차벡터는 다음과 같이 표현 가능하다.

이때, 오차벡터는 A의 열공간과 직교하므로, 다음 식을 만족한다.

이는 곧 A와 추정오차의 내적이 0임을 의미하므로, 다음과 같은 식을 얻을 수 있다.

 

normal equations for Ax = b

결론적으로 위 식을 얻을 수 있고, 이 식을 통해 추정문제의 해를 구할 수 있다. 이때, 위 식을 시스템 Ax = b의 normal equation이라고 정의한다.

정사영(Projection)

 

 

위 결과로부터, 정사영 벡터를 구할 수 있다. 위 그림에 대해서 b벡터의 A에 대한 정사영 벡터는 다음과 같이 정의할 수 있다.

벡터 p는 정사영 벡터이며, 행렬 P는 정사영 변환 행렬이다. 정사영 변환 행렬은 선형 변환이다. 위 식을 다시 표현하면 아래와 같다.

정사영 변환의 정의

 

정사영 변환의 정의를 보면 식이 매우 복잡해 보일 것이다. 그러나 위 방정식이 말하고자 하는 바를 기하학적으로 잘 풀어내면 이해가 잘 될 것이다. 우선 내적의 정의를 살펴보도록 하자. 벡터 b와 벡터 a의 내적은 a에 대한 b의 정사영 길이에 벡터 a를 곱한 값이다. 만약 내적 결과에서 정사영 벡터만 뽑아내고 싶다면 어떻게 해야할까? 정사영 벡터는 방향이 벡터 b와 같으므로, 그저 b와 a의 내적에 a의 길이를 나누면 된다. 따라서 a의 2-norm(a와 a의 내적)을 나누고, 분자에 벡터 a를 한번 곱해주게 되면 정사영 행렬을 구할 수 있다. 

 

정사영 행렬(Projection matrix)

정사영 행렬의 정의

정사영 행렬이 결정되기 위한 충분조건은 A의 역행렬이 존재해야 하는 것이다. 정사영 결과를 재차 정사영 하더라도 동일한 결과를 얻게 되는데, 물리적으로 생각해보면 바로 이해가 될 것이다. 한번 정사영 한 이후에 벡터의 좌표계는 이미 그 정사영 대상 공간에 맞추어 변화되었기 때문에, 같은 대상 공간에 대해 정사영 변환을 계속 한다고 해도 좌표계가 변하지는 않는 것이다.

 

추정 문제에서 벡터 공간

지금까지 추정 문제에서 추정치를 구하는 법과 직교 방정식(normal equation), 정사영 행렬을 정리하였다. 하지만 아직 해결되지 않는 궁금증이 남을 것이다. 추정치와 오차값은 어떤 공간에 속해 있으며, 이들은 시스템의 행공간과 영공간, 열공간과 어떤 관계를 맺고 있을까?

 

위 그림에서 영공간과 행공간은 서로 수직하며, 정의역에 대하여 정의되어 있다. 영공간은 어떤 시스템의 영향을 받지 않는 힘의 방향을 의미한다. 치역에서 열공간과 수직인 자연공간은 left null space라 정의한다. 이에 대한 자세한 설명은 아래 포스팅을 참조하길 바란다.

2025.03.04 - [Mathematics/Linear Algebra] - 열공간, 영공간, 행공간(Column space; Null space; Row space)

열공간, 영공간, 행공간(Column space; Null space; Row space)

 

 

1. 추정치

추정치의 존재조건은 A의 역행렬의 존재다. A의 역행렬이 존재한다면 A의 영공간은 영벡터와 같을 것이므로, 추정치는 행공간에만 존재할 것이다.

2. 직교 방정식(normal equation)

직교 방정식에 의해 표현된 추정오차 또는 잔류치(residual) e는 벡터 a와 직교하므로, 행렬 A와 직교하며, A의 열공간과 직교한다.

이때, A의 좌영공간은 A의 열공간과 직교하므로, 아래가 성립한다.

 

마치며...

오늘은 추정문제를 해결하는 핵심 아이디어인 정사영 행렬을 살펴보았고, 이것과 관련된 추정치, 잔류치 벡터들과 공간 사이의 관계를 분석하였다. 정사영의 간단한 개념만 다룬 수준의 포스팅이었지만, 선형대수학 입문자들에게 많은 도움이 되었으면 좋겠다. 단위직교 기저에 대해 정의된 공간을 정사영에 대해 정의할 때, 정사영은 제 힘을 발휘할 수 있다. 이때, 독자들은 정사영 행렬의 무궁무진한 가능성과 활용성을 직접 체험할 수 있을 것이다. 이에 대해 관심있는 분은 그람-슈미트 과정, 최소자승 추정에 대해 추가적으로 공부하기를 권장한다.

 

긴 글 읽어주셔서 감사합니다.