02 Linear Algebra

(해당 강의노트는  Marc Peter Deisenroth, A. Aldo Faisal and Cheng Soon Ong, 『Mathematics for Machine Learning』을 기반으로 작성하였습니다)

 

02 Linear Algebra: 선형대수학

목차

0. Introduction
1. Vectors, vector spaces & matrices
2. Linear independence & rank
3. Linear equations

0. Introduction

0.1 Motivating Example

• Finding the relation of a house size with its price
• The size of house size i $$a_i$$
• The price of house $$b_i$$
• Find $$x_1 :slope, x_2 : intercept$$

compact form: matrix

linear regression

• 여기서 붉은 선은 모델, X는 데이터를 나타냄
• 아래의 두 미지수를 찾는 것이 목적 (모델을 만들기 위해), 모델의 파라미터에 해당 $$x_1, x_2$$
• 선형모델은 가격 b를 아래와 같은 식으로 도출해낼 수 있음  $$(a_j1)*(x_1) + (x_2)$$
• 단 j는 3보다 큰 경우만 가능
• 선형회귀는 다음과 같은 선형 방정식과 관련있음 $$Ax = b$$
• 또 다른 특성을 추가할  수 있음 (i.e., 지하철역까지의 거리)

0.2 Linear algebra

1. Algebra

• 다음과 같은 심볼을 조작하기 위해 규칙과, 수학적 기호에 대해 공부해야 함
  $$ax^2 + bx + c = 0$$

2. Linear Algebra

• linear equations을 고려한 mathematics의 branch
• vector들을 조작하기 위해 벡터와 규칙을 공부해야 함

 

0.3 Two important equations in Linear algebra

 

0.4 Why Linear algebra for ML?

• 머신러닝에서 데이터들은 대부분 벡터와 행렬의 형태로 표현됨
• 모델의 인풋과 아웃풋은 종종 선형 방정식으로 표현됨

 

0.5 Mathematical Objects in Linear Algebra

: Scalar는 실수 값, Vector는 n-dimensional로 표현 가능, Matrix 는 nxm, Tensors는 고차원의 matrix

tensor는 scalar, vector, matrix등을 일반화한 개념

1. Vectors, vector spaces & matrices

1.1 Vectors

• 벡터는 다양한 영역에서 사용됨

1. Physics: arrow (Direction & Length)
2. Computer Science: list of numbers
3. Mathematics: arrow rooted at the origin

• Basis vectors
  : n차원에서 n-Basis Vector는 해당 차원의 모든 벡터를 스칼라 곱으로 표현 가능

 

• Column/row vectors & transpose

column vector x

The transpose of a vector x

 

1.2 Vector space

• Definition
  • 벡터 공간은 벡터 객체의 집합인 V로 나타내는데, 벡터는 vector addition과 scalar multiplication에 대해서 닫혀 있다.
    • i.e. 실수는 더하기 연산에 닫혀있다 == 어떤 실수 r1,r2를 더해도 항상 실수가 나옴
    • i.e. 정수는 나눗셈 연산에 닫혀있지 않다 == 정수 a,b로 나눌 경우 항상 정수가 나오지는 않음
  • x,y,z는 벡터 공간의 벡터, alpha는 실수값에 해당함

• Q. Polynomials(다항식) are vector?
  • 덧셈에 닫혀있는지, 곱셈에 닫혀있는지를 확인

 

• 3차원 벡터공간의 벡터는 덧셈에 대해 닫혀있고 스칼라 곱에 대해 닫혀있기 때문에 2x+y의 결과값 역시 3차원 공간내의 벡터이다.

1.3 Matrices

• Rows & Columns

• The transpose of the Matrix A

• Inverse & Transpose

  1. Inverse Definition $$A^-1$$
  $$AB = BA = I$$

  

   

+ week3 Quiz5
Q: 아래 매트릭스의 Inverse matrix를 구하시오

 

 

2. Transpose Definition $$A^T$$

• 역행렬과 전치행렬의 특징

• Symmetric Matrix:대칭 행렬
  • A = A^T 일 경우 대칭 행렬
  • 대각성분을 기준으로 행렬의 upper, lower 원소가 같아야 함
  • 공분산과 관련된 특성 : A = XX^T
• Positive Definite Matrix
  • Positive Definite definition : 대칭 행렬 A 가 아래의 조건을 만족 시, positive definite 하다고 한다
  • 만약 대칭 행렬 A가 아래의 조건을 만족한다면, positive semidefinite definite하다고 한다.
  • 모든 Covariance Matrix(공분산 행렬)은 positive definite하다
  • Positive definite matrix는 고유값(eigenvalues)만을 가진다

Positive Definite

 

Positive semidefinite

2. Linear Independence & Rank

2.1 Definition

• 두 벡터가 lineary independent 하려면 두 벡터는 수직이어야 하는가? 답은 놉, 반례를 들어서 증명해보자
• 두 벡터가 2차원 상의 벡터일 경우 한 벡터가 다른 벡터의 scalar곱이 아닐 경우 lineary independent 함

+ week4 Quiz2,3
Q: 다음 벡터들이 linearly Independent한지 확인하시오

 

 

2.2 Linear Independence & ML

Linear Independence가 왜 머신러닝에서 중요한가?
- Linear Independence의 기하학적인 의미와 관련있다.

- 두 벡터가 Linear Independence하다면, 두 벡터로 벡터 공간의 모든 벡터를 linear sum으로 표현할 수 있기 때문

2.3 Linear Independence, Basis vectors & Linear eqautions

• Ax = b
• Linear Independence : A is a matrix
• Basis vectors : x
• Linear eqautions : b is also vector
• Square Matrix(n = m) : 미지수와 식이 같은 경우
• Skinny Matrix(n << m ) : 데이터가 많은 경우(식이 미지수보다 많은 경우)로 대부분의 머신러닝 데이터 폼이 이에 해당
• Fat Matrix(n >> m) : 미지수가 식보다 많은 경우로 이 경우 솔루션이 무한대로 존재

2.4 Span & Basis

1. A의 Span이란 A의 벡터들의 linear sum의 결과를 모아 놓은 것

2. A의 span이 basis vector로 이루어져 있을 경우 벡터 공간의 모든 벡터는 A 벡터들의 linear sum 즉 A의 span으로 표현 가능 

3. 모든 Linear Independent는 벡터 공간 V를 생성하는데 이는 Minimal하고 이를 Basis V라고 부른다.

4. Basis vector 중 아래와 같이 canonical basis를 자주 씀 : 벡터공간의 벡터들을 쉽게 표현 할 수 있으므로

   

2.5 Rank

• 매트릭스 A의 rank는 벡터공간에서 생성된 차원을 말하는데 이는 칼럼에 의해 정해짐
• 매트릭스 A의 rank는 A의 linear independent columns의 Maximal number과 동일 :즉, 선형 독립인 열들의 최대 개수를 말함
• 머신러닝에서 low-rank approximation은 dimensionality reduction을 위해 유명함
• 매트릭스 A의 rank는 전치행렬 A의 rank와 동일

• 정방 행렬 A를 생각해보자(nxn matrix A)
  • 만약 rank(A) = n이라면, 행렬 A는 full rank이다
  • 오직 정방행렬 A가 정칙행렬(invertible)일 경우에만 full rank가 가능하다
  • 정방 행렬 중에서 행렬의 곱셈에 대한 역원. 즉, 역행렬이 존재하는 행렬을 정칙행렬이라고 함.
  • 이는 아래의 식을 만족함. I는 단위행렬을 뜻함 $$AA^-1 = I$$

• 비정방행렬 A의 경우 아래의 식을 만족한다 $$rank(A) <= min(m,n)$$

+ week4 Quiz1
Q: 아래 매트릭스의 랭크를 구하시오

 

3. Linear equations

3.1 Linear Regression Example

• 집의 크기와 가격 사이의 관계를 찾는 것에 관심이 있다고 할 때, 아래와 같이 세 개의 식을 세울 수 있다
  

  

• 선형회귀에서 최종적으로 알고 싶은 값은 x들임 -> 각 기울기와 y절편을 나타냄
• a : 집의 크기를 나타냄
• b : 집의 가격을 나타냄
• 위의 선형 식을 아래와 같이 매트릭스로 간단히 표현할 수 있음
  

  

• 선형회귀는 아래와 같은 선형 방정식을 푸는 것과 관련있음 $$Ax = b$$
• 또다른 속성 역시 추가할 수 있음

3.2 Linear equations

- m : number of Equations(= data, sample, example)

- n : number of Unknowns

 

1. Complete (m = n)

• matrix A is square matrix
• 머신러닝에서는 거의 볼 수 없는 형태
• determined

2. UnderComplete(m > n)

• matrix A is skinny matrix
• 식(=데이터)의 개수가 미지수의 개수보다 많을 때
• 머신러닝에서의 대부분의 경우
• solution이 존재하지 않아 근사적인 solution을 구함
  • 근사적인 soultion : least square solution
• Over-detemined(부정식)이라고도 함

3. Overcomplete(m < n)

• matrix A is fat matrix
• 미지수의 개수가 식의 개수보다 많을 때
• 솔루션이 무한대로 존재함
• underdetermined

3.3 Range Space and Null Space(이 부분은 머신러닝에서 자주 나오지 않기는 함)

• Definition

 

 

3.4 Linear Algebraic Equations

• A linear Algebraic equation has the form (1) ( A is the matrix, x and b are vectors) 

• Theorem(1): b가 range(A)일 때만 해가 존재함

• Theorem(2) : pass

• Remark:pass
  •  Note that N(A) is the set of homogeneous solutions(f(x) = 0, solutions of x) to (1). Therefore the set of all solutions is the sum of a particular solution and the set of homogenous solutions.

 

3.5. Singular Value Decomposition : pass(추후 자세히 배움)

• Theorem(SVD)

• such that

 

[02 Linear Algebra] Summary

+ week3 Quiz1

Q. 기계학습 분야에서 벡터가 가장 많이 쓰이는 용도는?

A. 숫자들의 리스트 표현의 목적으로 가장 많이 사용됨

+ week3 Quiz2

벡터 스페이스는 Vector addition과 Scalar multiplication 연산에 대해 닫혀있는 벡터들의 집합이다