OnlyOne

가중 최소제곱법(Weighted Least-Squares) 오차를 조정하며 파라미터 찾기 들어가며...2025.03.12 - [Mathematics/Linear Algebra] - 추정문제, 정사영, 정사영 행렬(Estimation; projection; projection matrix) 추정문제, 정사영, 정사영 행렬(Estimation; projection; projection matrix)추정문제, 정사영, 정사영 행렬(Estimation; projection; projection matrix)꿩 대신 닭이다. 들어가며...공간과 차원에 관한 정리는 해가 존재할 것인지 존재하지 않을 것인지 판단하는데 유리하다. 열taesan5435.tistory.com 2025.03.13 - [Mathematics..

내적 공간(Inner Product Spaces) 벡터 공간의 실질적 형태 들어가며...2차원 벡터 공간을 가정할 때, 암묵적으로 유클리드 공간이라고 정의하고 문제를 해결한다. 그러나 엄밀하게 따지면, 2차원 벡터 공간을 가정한 것 만으로 유클리드 공간이라고 단정지을 수 없다. 2차원 벡터 공간에 무수히 많은 내적 공간이 존재하기 때문이다.  유클리드 공간은 무수히 많은 내적 공간 중에서 Dot product에 의해 정의된 공간을 의미하며, 이 정의를 통해 벡터의 길이, 거리, 각도를 정리할 수 있다. 이번 포스팅은 내적 공간의 의미와 그것이 적용되는 예를 살펴볼 것이다. 내적 공간(Inner Product Space)벡터 공간은 벡터들의 집합이다. 벡터들의 집합 만으로 벡터의 길이, 거리, 각도를 정의..

벡터의 내적, 쌍대성(Dot Product; Duality) 자연스럽지만 의외인 대응관계- 쌍대성 들어가며...내적 공간을 공부하기에 앞서, 내적의 기하학적 의미와 행렬 연산에서의 의미의 연결점을 이해할 필요가 있다. 이번 포스팅은 내적이 담고 있는 깊은 의미를 파헤쳐보도록 하겠다. 내적의 연산전체공간이 n차원의 부분공간 벡터공간 V에서 두 벡터 v, w가 다음과 같이 정의되었다고 하자.위 두 벡터의 내적은 다음과 같이 계산한다. 기하학적으로 내적은 아래와 같은 의미를 지니고 있다. 내적은 한 벡터의 정사영 길이와 그 벡터의 길이를 곱한 값이다. 두 개의 벡터가 내적 계산을 거쳐 나온 결과는 하나의 수이며, 이것 수는 두 벡터의 닮은 정도를 의미한다. 예를 들어, 두 벡터가 직교하면, 내적은 0이며, 이..

최소자승추정, 목적함수, 정점조건, 최소조건(Least-Squares Problems; objective function; stationarizing condition; minimizing condition) 들어가며...직교방정식과 추정 문제에 관해서 이전 포스팅에서 이미 다루었다. 아래를 참고하기를 바란다.2025.03.12 - [Mathematics/Linear Algebra] - 추정문제, 정사영, 정사영 행렬(Estimation; projection; projection matrix) 추정문제, 정사영, 정사영 행렬(Estimation; projection; projection matrix)추정문제, 정사영, 정사영 행렬(Estimation; projection; projection matrix..

그람-슈미트 과정(Gram-Schmidt process) 특정 공간을 좀 더 '좋은' 기저벡터로 표현할 수 있으면 좋을텐데... 들어가며...좋은 기저벡터는 상황에 따라 그 의미가 다르겠지만, 보편적으로 계산이 간단하여 다양한 부분에 적용 가능한 벡터이다. 보통 이러한 기저벡터를 정규직교 기저벡터(Orthonormal basis)로 꼽는다. 이번 포스팅은 임의의 기저벡터에 대해 정의된 부분공간의 정규직교 기저벡터를 구하는 방법인 그람-슈미트 과정을 정리한다. 정사영 변환2025.03.12 - [Mathematics/Linear Algebra] - 추정문제, 정사영, 정사영 행렬(Estimation; projection; projection matrix) 추정문제, 정사영, 정사영 행렬(Estimation..

추정문제, 정사영, 정사영 행렬(Estimation; projection; projection matrix)꿩 대신 닭이다. 들어가며...공간과 차원에 관한 정리는 해가 존재할 것인지 존재하지 않을 것인지 판단하는데 유리하다. 열공간은 우리에게 해의 존재 유무를 확실하게 알려준다. 만약 해가 존재하지 않는 경우엔 어떻게 해야 할까? 우리는 그 해에 최대한 근접한 값을 찾아야 할 것이다. 해가 존재하지 않는 경우에 선형대수학의 주요 문제는 선형 연립방정식 풀이 문제에서 추정문제로 넘어간다. 아래 포스팅에서 추정 문제에 대한 내용을 다루었다.2025.03.03 - [Mathematics/Linear Algebra] - 공간과 차원(Space&Dimension) 공간과 차원(Space&Dimension)공간과..

행렬식(Determinant), 여인자(cofactor), 외적(Cross-product) 들어가며...이번 포스팅에서 행렬식과 관련한 모든 내용을 다룰 것이다. 행렬식의 개념과 행렬식 계산의 규칙, 역행렬 연산법, 외적의 의미 등등을 정리할 것이다. 행렬식(Determinant)행렬식의 용도는 매우 다양하다. 가장 먼저 행렬식의 기하학적 의미는 행렬을 구성하는 열벡터들로 정의되는 직육면체(parallelepiped)의 체적(volume)이다. 후에 Gram-Schmidt Orthogonalization에서 구체적으로 정리할 것이다. 중요한 점은 행렬식은 기하학적으로, 열벡터들이 구성하는 도형의 넓이 또는 부피라는 점이다. 이 행렬식들은 아주 쉽게 구할 수 있는데, 만약 행렬을 가우스 소거법으로 주축항(..

직교행렬, 정규직교행렬(Orthogonal matrix; Orthonormal matrix)어떤 기저벡터를 택할 때 벡터연산이 편리한가?들어가며...기저벡터 개념을 통해 벡터공간을 나타내는 기저벡터의 경우의 수는 무수히 많음을 알 수 있다. 하지만, 어떤 기저벡터는 다른 기저벡터보다 연산이 매우 용이하다. 오늘은 정규직교행렬의 개념과 그에 관한 예시인 좌표변환행렬과 Reflection matrix를 살펴볼 것이다. 정규직교행렬(Orthonormal matrix)크기가 1인 행벡터들로 이루어진 직교행렬을 의미한다. 정규직교행렬은 다음과 같은 특징이 있다. 정규직교행렬은 역변환이 굉장히 쉽다는 장점이 있다. 좌표변환행렬(Rotation Matrix); DCM(direction cosine matrix)좌표변..

열공간; 영공간, 행공간(Column space; Null space; Row space)시스템에 전체 공간을 넣었더니 어떤 공간은 흔적도 없이 사라져서 전체 공간중 일부만 남게 되었다.흔적도 없이 사라진 공간은 영공간(Null space)이며, 영공간의 소멸로 인해 남게된 전체 공간의 일부는 행공간(Row space)이고, 이에 대한 시스템의 출력은 열공간(Column space)이다.들어가며... 이번 포스팅은 열공간, 영공간, 행공간의 개념을 정리하고, 각각의 직교성과 차원에 대하여 밝힐 것이다. 영공간과 열공간을 이해하는데 차원과 Rank에 대한 이해가 필수적이다. 따라서 아래 포스팅을 꼭 읽고 오길 권장한다.2025.03.04 - [Mathematics/Linear Algebra] - 벡터공간,..

벡터공간, 부분공간(vector space, subspace), Rank모든 국가는 이념 위에 세워지는 법이다.들어가며...국가를 벡터 공간(Vector space)에 비유한다면 이념은 영벡터 만으로 이루어진 벡터 공간(smallest possible vector space)이다. 벡터 공간(Vector space)벡터 공간의 정의는 선형조합에 의해 만들어진 벡터들의 집합(set of vector)이다. 이것을 행렬로 표현한다. 참고로, 행렬들의 집합은 모듈이라고 한다.  영공간(Zero space; Trivial vector space)* 영공간(Zero space)는 영공간(Null space)와 혼동이 있을 수 있기 때문에, Z로 표현하도록 하겠다.벡터 공간 중에서 가장 작은 벡터 공간은 영벡터 만..

공간과 차원(Space&Dimension)공간은 '가능한' 모든 가능성이다. 차원은 공간을 이루는 정보의 개수이다. 선형대수학의 3가지 문제  선형대수학의 주요 문제를 이해하고 이것을 해결하는 법에 대해 생각할 때, 공간과 차원에 대한 이해는 필수적이다. 이 포스팅은 선형대수학의 주요 문제들을 짚어보며 공간과 차원의 의미를 이야기할 것이다. 선형대수학의 주요 문제는 3가지로 요약할 수 있다. 먼저 첫 번째는 선형 연립방정식의 풀이이다. 1. 선형 연립방정식 위와 같은 형식의 방정식을 선형 연립방정식이라 한다. 선형 연립방정식이라고 정의하는 이유는 위 시스템은 x성분의 선형결합으로 구성된 여러 방정식의 결합으로 이루어졌기 때문이다. 행렬 A는 벡터 x의 기저 벡터의 가중치의 묶음이고, 벡터 b는 벡터 x의..

특성방정식(Characteristic Equation) 고유값의 개념에서 파생해 온 개념이다. 먼저 이전 포스팅을 읽고 오는 것을 추천한다.2024.08.16 - [Mathematics/Linear Algebra] - 고유벡터(Eigenvectors)&고유값(Eigenvalues) 고유벡터(Eigenvectors)&고유값(Eigenvalues)고유벡터(Eigenvectors)&고유값(Eigenvalues)선형변환 관점에서 행렬의 기능에 대한 이해가 매우 중요하다. 이전 포스팅을 올려놓도록 하겠다.2024.07.30 - [Mathematics/Linear Algebra] - 선형대수학[Linear Transformataesan5435.tistory.com Intro만약 행렬 A만 주어졌을 때, A의 고유값..

선형독립, 선형확장, 기저벡터(Linear independent; Span; Basis)인체를 원소의 결합비율로 나타내면 얼마나 간단할까.함수를 기저벡터의 결합비율로 나타내면 얼마나 간단할까.들어가며...푸리에 급수와 푸리에 변환에 사용된 아이디어를 이해하는데 빼놓을 수 없는 개념들이 있다. 오늘은 선형독립, 선형확장, 기저벡터의 개념에 대해 살펴볼 것이다. 선형독립(Linear independent)주어진 행렬 A에 대해 Ax = 0의 유일 해가 x = 0이라면, 행렬 A의 열은 선형독립이다. 이것은 모든 열이 선형독립인 행렬 A는 free variable이 존재하지 않는다는 의미이다. 벡터가 서로 선형 독립이라는 말의 의미는 각 벡터가 다른 벡터에는 없는 새로운 정보를 가지고 있음을 의미한다.   위..

기저변환 Change of Basis이번 장에서는 기저 변환과 관련된 주요 개념들과 유도 과정을 정리할 것이다. Coordinate vectorSuppose X = 3b1 + b2 = 6c2 + 4c2Basis B = {b1 , b2} , C = {c1 , c2}이때, B, C각각의 Coordinate vector은 다음과 같다. Change-of-coordinates matrix예를 하나 들어보자Consider two basis B = {b1, b2} and C = {c1, c2} for a vector space V, such thatb1 = 4c1 + c2b2 = -6c1 + c2x = 3b1 + b2Find C-coordinate vector. Sol)위 식에서 1 과정은 아래 포스팅을 보면 이해..

동차 좌표계(Homogeneous Coordinates) 물체는 가만히 있지만, 빛이 움직이면 물체의 그림자는 움직인다. 들어가며...행렬 A는 선형 변환을 수행한다. 문제는 비선형 변환에도 A의 변환을 적용하고 싶은 것이다. 예를 들어, 평행이동 변환과 같은 비선형 변환은 어떤 방법을 사용해야 할까? Q. 선형변환에 대한 표준행렬을 곱해서 원래의 좌표를 평행이동시키고 싶다면 어떻게 해야할까?선형변환을 통해 평행이동을 시킨다는 말에 의아할 것이다. 왜냐하면 행렬을 곱한 선형변환에서는 Scaling과 Ratating만 가능하다고 알고 있었기 때문이다. 물론 차원을 원래 행렬의 차원 그대로 유지한다면 그럴 것이다. 예를 들어, 2차원에서 정의된 좌표에 2차원 행렬을 곱한다고 해도, 그 좌표는 2차원에서 크기..

Linear Transformation; 선형변환의 활용이전 포스팅에서 다루었던 주제인 선형변환의 예제를 푸는 시간을 갖도록 하겠다. 선형 변환의 더 구체적인 부분은 동역학 카테고리에서 다루도록 하겠다.2024.07.30 - [Mathematics/Linear Algebra] - Linear Transformation; 선형변환의 정의 Linear Transformation; 선형변환의 정의Linear Transformation; 선형변환의 정의 들어가며...흔히 선형변환 T = Ax로 정의한다. 그렇다면 A는 어디서 왔고, T는 어디서 왔을까? Linear Transformation T크기(size)가 2×2인 단위행렬(identity matrix)을 가정taesan5435.tistory.com #1 ..

Linear Transformation; 선형변환의 정의 들어가며...흔히 선형변환 T = Ax로 정의한다. 그렇다면 A는 어디서 왔고, T는 어디서 왔을까? Linear Transformation T크기(size)가 2×2인 단위행렬(identity matrix)을 가정한다고 했을 때 그 단위행렬은 아래와 같이 두 elementary matrix의 합으로 표현할 수 있다.   차원을 2차원에서 3차원으로 변환시켜주는 선형변환 T라고 하고, 이때이라 가정한다. 이때 X를 다음과 같이 표현할 수 있다.   이 식을 이용하면 다음과 같이 T(X)를 표현할 수 있다.  여기서 A가 파생되며, 이때 A의 size는 3×2이다. 만약 A라는 행렬이 n차원을 m차원으로 변환하는 선형변환 T에 대한 행렬이라면, A의..

일대일(one-to-one), 일대일 대응, 전사(injective), 단사(surjective) 함수의 조건함수는 정의역, 공역이 존재하며, 이때 정의역의 모든 원소가 하나도 빠짐없이 치역에 대응하며, 정의역의 원소 하나에 하나의 치역이 대응되어야 한다. 일대일 함수(one-to-one function) = 단사(injective)일대일 함수는 단사와 같은 개념이다.일대일 함수는 치역의 모든 원소가 하나의 정의역과만 대응하는 함수를 의미한다. 즉, 함수에서 치역의 모든 원소가 하나의 정의역과만 대응하면 일대일 함수가 된다.(간단히 말해, 치역의 원소 하나에 두개의 정의역 원소가 배정되는 것은 불가능하다는 것.)일대일 대응(one-to-one response) = 전사(surjective; onto)치역..

선형성이란?(Superposition, Homogeneity, Additivity)선형성(linearity)는 선형함수와 완전히 다른 개념이다. Superposition한국어로 중첩 원리라고도 하는 이 특성은 선형성이 만족함을 보이는 본질적인 방법이다.중첩 원리는 2가지 특성으로 이루어져 있다.1. homogeneity2. additivity차근차근 보도록 하자. 선형성을 만족먼저 선형성을 만족한다는 의미는 무엇일까? 임의의 함수 f를 정의하자. 만약 f의 입력에 x라는 독립변수를 넣으면 출력으로 f(x)가 나올 것이다. 같은 원리로 y라는 독립변수를 넣으면 출력으로 f(y)가 나올 것이다. 만약 a, b라는 두 상수를 정의할 때, f에 ax + by를 집어넣으면 어떻게 될까? 결과값은 f(ax + by..

동차해&특수해&일반해(Homogeneous solution&Particular solution&General solution)일반해는 미래다. 특수해는 결과다. 동차해는 운명이다.들어가며...미래는 우리의 의지로 바꿀 수 있는 결과와 우리의 의지로도 바꿀 수 없는 운명의 조합이다. 이것은 Solution을 이해할 때 꽤 유용하다.  Homogeneous solution&Particular solution&Natural solution동차해는 시스템의 입력이 없을 때, 시스템에 의해서만 결정되는 출력이다. 자연 응답(natural response)라고도 정의한다. 입력에 영향을 받지 않기 때문에 시스템의 하드웨어를 바꾸지 않는 이상 동차해를 바꾸는 것은 불가능하다. 그러나, 특수해는 입력에 의한 출력이다...