2. Linear Algebra

기본적 선형 대수에 대해 알아보자.

2.1. Scalars, Vectors, Matrices and Tensors

스칼라 : 하나의 숫자.

벡터 : 숫자의 배열.

행렬 : 로 구성된 숫자의 2차원 배열.

텐서 : 숫자의 n > 2차원 배열.

행렬에 대해서는 전치 연산이 중요한 연산인데 이는 주 대각선에 대해 원소들을 거울상으로 재배치시키는 것이다. 행렬과 행렬은 더할 수 있다. 행렬과 벡터를 더할 수도 있는데 이 때 벡터의 차원을 행렬에 맞게 확장시키는 것을 대확장이라 한다.

2.2. Multiplying Matrices and Vectors

행렬곱은 m x n 행렬과 n x p 행렬을 곱해 m x p 행렬을 곱하는 연산이다. 원소별 곱하다마드 곱이라고 불린다. 벡터의 점곱은 행렬곱 \mathbf{x}^{T} \mathbf{y}이다.

2.3. Identity and Inverse Matrices

행렬 역연산은 곱해서 단위 행렬이 나오는 역행렬을 구하는 것이다.

2.4. Linear Dependence and Span

행렬 \mathbf{A}의 열들을을 원점으로부터 도달할 수 있는 서로 다른 방향이라고 생각해 볼 때 \mathbf{A}\mathbf{x}\mathbf{A}의 열의 선형결합이라 볼 수 있다. 이런 선형결합의 집합을 확장이라 한다. 행렬의 열의 확장을 열공간 또는 치역이라 한다. 벡터의 집합 내에 어떤 벡터가 다른 벡터들의 선형결합으로 나타내어질때 이를 선형종속이라 한다. 선형종속인 벡터가 없으면 선형독립이라 한다. 정사각행렬이 열이 선형종속일 경우 이를 비정칙 행렬이라 한다.

2.5. Norms

벡터의 크기는 삼각 부등식을 만족하는 노름이라는 함수로 측정한다. L^{2} 노름은 유클리드 노름이라고 한다. L^{\infty} 노름은 최대 노름이라고 한다. 행렬에 대해서는 프로베니우스 노름을 생각한다.

2.6. Special Kinds of Matrices and Vectors

주대각선에만 원소가 있는 행렬을 대각행렬이라 한다. 전치행렬과 같은 행렬을 대칭 행렬이라 한다. 단위 노름을 가진 벡터를 단위 벡터라 한다. 점곱이 0이 되는 두 벡터를 직교한다고 한다. 직교하는 단위 벡터들을 정규직교 벡터라 한다. 행들이 직교하는 행렬을 직교 행렬이라 한다.

2.7. Eigendecomposition

행렬을 고유값고유벡터분해하는 고유분해를 생각할 수 있다. (좌측 고유벡터의 개념도 존재하지만 여기선 우측 고유벡터만 생각하기로 하자.) 행렬의 고유값이 전부 양수면 양의 정칙, 전부 음이 아니면 양의 준정칙, 전부 음수면 음의 정칙, 전부 양이 아니면 음의 준정칙이라 한다.

2.8. Singular Value Decomposition

행렬을 특이값특이벡터로 분해하는 특이값 분해 \mathbf{A} = \mathbf{U} \mathbf{D} \mathbf{V}^{T}도 생각할 수 있다. \mathbf{U}의 열은 좌특이벡터, \mathbf{V}의 열은 우특이벡터라 한다.

2.9. The Moore-Penrose Pseudoinverse

무어-펜로즈 유사역행렬\mathbf{A}^{+} = \lim_{\alpha \to 0} (\mathbf{A}^{T} \mathbf{A} + \alpha \mathbf{I})^{-1} \mathbf{A}^{T}로 정의된다. 비정칙 행렬들에 의해 역행렬 역할을 한다.

2.10. The Trace Operator

행렬의 주대각선 원소들의 합을 자취라 한다.

2.11. The Determinant

행렬의 행렬식은 고유값들의 곱으로, 이는 그 행렬을 곱하는 것이 공간을 얼마나 팽창/수축시키는지의 척도로 볼 수 있다.

2.12. Example: Principal Component Analysis

단순 선형 대수 지식으로 할 수 있는 기계 학습 알고리즘으로 주성분 분석이 있다.

답글 남기기

아래 항목을 채우거나 오른쪽 아이콘 중 하나를 클릭하여 로그 인 하세요:

WordPress.com 로고

WordPress.com의 계정을 사용하여 댓글을 남깁니다. 로그아웃 /  변경 )

Google photo

Google의 계정을 사용하여 댓글을 남깁니다. 로그아웃 /  변경 )

Twitter 사진

Twitter의 계정을 사용하여 댓글을 남깁니다. 로그아웃 /  변경 )

Facebook 사진

Facebook의 계정을 사용하여 댓글을 남깁니다. 로그아웃 /  변경 )

%s에 연결하는 중