선형독립, 선형확장, 기저벡터(Linear independent; Span; Basis)

선형독립, 선형확장, 기저벡터(Linear independent; Span; Basis)

인체를 원소의 결합비율로 나타내면 얼마나 간단할까.
함수를 기저벡터의 결합비율로 나타내면 얼마나 간단할까.

들어가며...

푸리에 급수와 푸리에 변환에 사용된 아이디어를 이해하는데 빼놓을 수 없는 개념들이 있다. 오늘은 선형독립, 선형확장, 기저벡터의 개념에 대해 살펴볼 것이다.

 

선형독립(Linear independent)

주어진 행렬 A에 대해 Ax = 0의 유일 해가 x = 0이라면, 행렬 A의 열은 선형독립이다. 이것은 모든 열이 선형독립인 행렬 A는 free variable이 존재하지 않는다는 의미이다. 벡터가 서로 선형 독립이라는 말의 의미는 각 벡터가 다른 벡터에는 없는 새로운 정보를 가지고 있음을 의미한다. 

 

 

위 그림을 보자. x1과 x2는 coefficient이며, 이 두 값이 어떻게 결정될 수 있느냐에 따라 행렬 A와 B의 선형독립성을 확인할 수 있다. 만약 x1, x2가 둘 다 0이 되어야만 위 등식을 만족한다고 가정해보자. 이때 x1, x2의 값을 자명해(trivial solution)이라고 하며, 이때는 A와 B는 둘 다 0을 곱하지 않는이상 A로 B를 만들 수 없고, B로 A를 만들 수 없으므로, 다른 선상에 놓여있음을 알 수 있다. 이러한 상황을 선형독립한다고 판단할 수 있다.

*자명해는 모든 행렬식에 솔루션이 될 수 있는 영행렬로, 모든 행렬식에 솔루션이 될 수 있음이 자명하다고 해서 자명해라고 한다.

행렬에서의 선형독립

 

 

 

위 행렬을 보자. 행(Row)은 3개이고 열(Col)은 5개이다. 이러한 경우에 Full rank가 3이므로, free variable은 2개 존재한다. 따라서 해가 무수히 많이 존재한다. 해가 무수히 많이 존재한다는 것은 곧 계수에 0이 포함되었다는 것이고,  이는 구하려는 변수의 개수보다 행의 수(방정식)의 수가 적은 상황에 당연한 결과이다. 이러한 상황에 x가 모두 0이 되는 것 외에 다른 해결책(Nontrivial Solution)이 존재하므로, 위 행렬은 선형종속(Linearly dependent)하다고 할 수 있다.

 

Determinent와 선형독립

행렬 A에 벡터 x를 행렬곱한다고 가정하자. 만약 A의 determinent가 0이라고 한다면 정보의 소실로 인해 차원이 낮아질 것이다. 예를 들어서 변환 전에 3차원에 존재하던 행렬이 행렬곱 이후에 평면으로 찌그러진다거나, 아니면 극단적으로 0으로 가는 것이다. 그렇다면 만약 변환 후 행렬에서 변환 전 행렬을 찾을 수 있을까? 평면만 보고 3차원을 찾을 수는 없는 법이다. 물론 찾을 수 있을지도 모르겠지만, 이것은 확률싸움이다. 엄밀하게 보면, 2차원을 보고 3차원을 특정하는 것은 불가능하다. 그렇기에 determinent가 0일때 역변환이 불가능하다. 역행렬이 존재할 수 없는 것과 같은 말이다. 

 

역행렬이 존재하지 않는 행렬은 곱했을 때, 차원을 낮아지게 하며, 이것은 결국 Linearly dependent하다는 의미이다. 반대로 Linearly independent하면 역행렬이 존재하지 않는다는 사실을 알 수 있다. 즉, 차원을 유지하기 위해서 A행렬의 Column vector들이 각각 선형독립이어야 한다. 결론은 Determinent가 0이 아닐 때, 각각의 열벡터는 선형독립이라는 것이다.

 

선형독립하는 3개의 벡터를 생각해보자. 3개의 벡터는 3차원에 존재할 것이고, 이것은 부피가 있는 입체도형을 구성한다. 입체도형의 부피는 곧 3개의 벡터를 열벡터로 하는 행렬의 determinent이므로 명백히 determinent가 0이 아니다.

 

Nontrivial Solution exist ↔ Linearty dependent ↔ 같은 선상에 있다.

 

 

선형 확장(Span)

일련의 벡터들의 선형조합을 통해 채워진 벡터공간을 선형 확장이라 한다. 예를 들어, 선형 독립인 두 개의 벡터의 확장은 2차원 벡터공간이다. 하지만, 여기서 주의할 점은 벡터공간이 전체공간과 다르다는 것이다. 만약 3차원 전체공간에 대하여 정의된 2개의 벡터가 서로 선형독립할 때, 이 두 벡터의 확장은 2차원 벡터공간을 이루지만, 동시에 3차원의 전체공간 상에서 존재한다.

 

기저 벡터(Basis)

서로 독립이며, 벡터공간 확장에 필요한 최소한의 벡터 집합을 의미한다. 예를 들어, Non-singular 행렬의 열벡터는 전체공간의 기저벡터를 구성한다. 이것은 invertable한 행렬이 곱해진 시스템에서 정의역과 치역이 같은 벡터공간임을 의미한다. 이를 통해 행렬 A의 pivot column은 C(A)의 기저벡터라 할 수 있다. 또한 행렬 A의 pivot row는 R(A) = C(A^T)의 기저벡터라 할 수 있다.

 

마치며...

오늘 정리한 내용은 푸리에 급수를 이해하기 위해 필요한 기본 용어에 관한 것이었다.