열공간, 영공간, 행공간(Column space; Null space; Row space)

열공간; 영공간, 행공간(Column space; Null space; Row space)

시스템에 전체 공간을 넣었더니 어떤 공간은 흔적도 없이 사라져서 전체 공간중 일부만 남게 되었다.
흔적도 없이 사라진 공간은 영공간(Null space)이며, 영공간의 소멸로 인해 남게된 전체 공간의 일부는 행공간(Row space)이고, 이에 대한 시스템의 출력은 열공간(Column space)이다.

들어가며...

 

이번 포스팅은 열공간, 영공간, 행공간의 개념을 정리하고, 각각의 직교성과 차원에 대하여 밝힐 것이다.

영공간과 열공간을 이해하는데 차원과 Rank에 대한 이해가 필수적이다. 따라서 아래 포스팅을 꼭 읽고 오길 권장한다.

2025.03.04 - [Mathematics/Linear Algebra] - 벡터공간, 부분공간(vector space, subspace), Rank

벡터공간, 부분공간(vector space, subspace), Rank

 

열 공간(Column space)

 

행렬 A의 열 벡터들에 의해 확장된 벡터 공간을 C(A)로 정의하며, A의 열 공간이라고 한다. 이때, 열공간의 차원은 독립된 기저벡터의 개수이다. 왜 수학자들은 열 공간을 정의했을까? 왜 열공간의 차원을 정리했을까? 궁금하지 않은가? 이에 대한 설명을 이해하기 위해 아래 포스팅을 꼭 읽길 바란다. 또한 특이행렬에 관한 정리는 아래 영공간(Null space)를 이해하는데 도움이 되기 때문에 아래 포스팅을 꼭 읽고 오길 바란다.

2025.03.03 - [Mathematics/Linear Algebra] - 공간과 차원(Space&Dimension)

공간과 차원(Space&Dimension)

1. Ax = b를 풀기 위한 필요충분 조건

열공간이 중요한 이유는 해의 존재유무를 결정하는데 강력한 도구로 작용하기 때문이다. 만약 A의 열 공간에 벡터 b가 포함된다면, Ax = b의 해가 존재한다. 반대로 만약 A의 열 공간이 b를 포함하지 않는다면, Ax = b의 해를 찾을 수 없으므로, 가장 근접한 해를 찾는 방법을 사용해야 할 것이다.

 

2. 부분공간의 차원은 서로 독립인 기저벡터의 개수이다.

그럼 왜 열공간의 차원을 정리했을지 감이 올 것이다. 차원을 알면 벡터 b가 A의 열 공간에 포함될지를 빠르게 알 수 있기 때문이다. 

 

만약 A의 행개수가 1개이고, 열개수가 4개라면, 독립인 열이 1개 뿐이므로, A의 열벡터는 직선일 것이다. 1차원 벡터이므로, 독립된 열이 4개 있을 수 없는 것이다.

 

영공간(Null space)

Ax = 0(Homogeneous Equation)을 만족하는 모든 열 벡터 x의 집합으로, N(A)로 정의한다. 영공간과 열공간의 관계는 매우 오묘하다. 만약, A가 특이행렬(Singular matrix)이라서 A의 열벡터들 사이에 선형종속인 벡터가 존재한다면 열공간에 퇴축(degeneracy)이 일어나, A의 실질적인 차원(Rank)가 A의 차원(Dimension)보다 작아지게 된다. 그럼, 퇴축된 공간은 어디에 갔을까? 예상을 했겠지만, 퇴축으로 인해 사라진 공간이 곧 영공간이다. 이를 통해 영공간의 차원은 free-variable의 개수와 동일하다는 사실을 유추할 수 있다. 만약, N(A) = Z라면, 비특이행렬(Non-singular matrix)로, A의 열벡터들이 모두 선형 독립이라는 의미이다.

 

예를 들어, n x m 크기의 전체 공간에 대해 정의된 A행렬이 있다고 가정할 때, C(A)의 차원은 곧 Rank가 되며, N(A)는 m - rank와 같다.

dim(C(A)) = non-zero pivot의 개수 = rank

dim(N(A)) = m - rank = m - dim(C(A))

* 열공간에서 부족한 차원이 모두 영공간으로 간다.

 

또한, A의 Rank가 inverse A의 Rank와 같으므로, 

dim(C(A)) = rank(A) = rank(A^-1)

 

영공간을 구하는 방법은 굳이 설명하지는 않겠다. Grok AI가 좋은 예제를 많이 알려줄 것이다.

 

행 공간(Row space)

정의 자체는 행렬의 행 벡터로 확장된 선형 공간이다. 열공간이나 영공간처럼 보편적인 개념은 아니지만, 알아둘 필요는 있다. 행공간은 A의 전치행렬의 열공간과 같기 때문이다. 따라서 행 공간을 이해할 때는 열공간 과의 차이를 주의해서 볼 필요가 있다.

 

1. 행공간은 열공간과 항상 같은 차원을 가진다. 열공간의 차원은 항상 행공간의 차원과 같다. 왜냐하면 열공간의 차원은 A의 rank와 같은데, A의 rank는 A의 전치행렬의 rank와 같기 때문이다. A의 전치행렬의 rank는 A의 전치행렬의 열공간이다. A의 전치행렬의 열공간은 곧 A의 행공간이다.

 

2. A의 행개수를 m, 열개수를 n이라고 할 때, A의 열공간과 행공간은 각각 다음과 같은 전체공간 내에 존재한다.

 

영공간과 행공간의 직교성

위 그림에서 알 수 있듯이, 행공간과 영공간은 같은 전체공간 안에 존재하며, 행공간과 영공간은 직교한다. 또한 치역에서 열공간과 직교인 공간은 A의 전치행렬의 영공간으로서, Left Null space로 정의한다.

 

1. 왜 Left Null space로 정의하는가? 한번 A의 전치행렬의 영공간을 구하는 과정을 살펴보자. 그 과정은 다음과 같다.

 

다음 식을 만족하는 벡터 x의 선형조합이 Left Null space로 정의될 것이다. 이를 전체 전치행렬 취해주면 다음과 같다.

 

위 식에서 x벡터가 A의 왼쪽에 있으므로, Left Null space로 정의되었음을 유추할 수 있다. 또한 내적의 정의에 의해 모든 x벡터와 A행렬의 열벡터들이 각각 직교한다는 사실을 알 수 있다. 즉, Left null space는 A와 직교한다.

 

2. 왜 영공간과 행공간은 직교하는가? 예를 하나 들어보자. A라는 행렬을 다음과 같이 정의한다.

 

이때, 벡터 u와 v는 0이 아니다. 이를 통해 행공간을 나타내면 다음과 같다.

 

위 식에서 c는 임의의 상수를 의미한다. 벡터 u와 x가 서로 직교하면, 행공간이 Z가 되므로, 이를 방지하기 위해서 u와 x는 서로 직교해서는 안된다. 따라서 u와 x의 내적이 상수로 나오면서 A의 행공간은 v의 선형조합으로 나타내어진 것이다.

영공간은 다음 식을 만족하는 벡터 y의 선형조합이다.

이때, 벡터 u, v는 0이 아니므로, v와 y는 서로 직교함을 알 수 있다. 행공간은 v벡터의 선형조합인데, 영공간의 기저벡터인 y가 v와 서로 직교하므로, 행공간과 영공간은 서로 직교함을 알 수 있다.

 

마치며...

오늘 다룬 내용은 다소 어려웠을 수도 있으나, 선형대수학의 가장 기초적이고, 중요한 부분이기에 잘 공부해두면, 선형대수학을 깊이있게 이해하는데 많은 도움이 될 것이다. 이 글이 도움이 되었기를 바란다.