[Linear Algebra] #12 Orthogonal Matrices

1. vector 의 곱 정의와 Orthogonality

 

(1) vector 곱 정의

 

· product ㉮ Inner product : a · b = c (dot product, scalar product)

                ㉯ Outer product : a x b = c (cross product, vector product)

 

 

· 표현법 ㉮ Inner product : c = a · b = $A^{T}b$ = |a||b|cos $\theta$

            → 같은 방향일 때 힘이 최대

             ㉯ Outer product : c = a x b = |a||b|sin $\theta$  $u$         ($u$ : a x b 방향의 unit vector)

            → 직각일 때 힘이 최대

 

 

· 의미 (Inner product) : a · b = |a||b|cos $\theta$

                                              = a · b cos $\theta$

 

 

 

 

(2) Orthogonal 정의

 

Def. Orthogonal

a · b = 0  →  a 와 b 는 서로 Orthogonal 하다.

               →  a 와 b 는 서로 Orthogonal  vector set 이다.

 

 

 

 

 

 

2. Orthogonal matrix 와 Orthogonal vector

 

· A matrix 가 Orthogonal matrix 이면, A matrix 내부의 column vector 들은 orthogonal vector set 이다.

 

 

 

Proof. $A^T$ = $A^{-1}$  Orthogonal matrix 정의로부터 $A^T$$A^{-1}$ =$I$

 

 

 

 

 

 

 

3. Complex matrix 특성

 

① Hermitian matrix : $A^{*T}$ = $A$  ($A^{H}$ = $A$)

 

real version → symmetric matrix : $A^T$ = $A$

 

 

② Unitary matrix : $A$$A^{H}$ = $A^{H}$$A$ = $I$

 

real version → Orthogonal matrix : $A$$A^{T}$ = $A^{T}$$A$ = $I$

 

 

③ Normal matrix : $A$$A^{H}$ = $A^{H}$$A$

 

real version → Normal matrix : $A$$A^{T}$ = $A^{T}$$A$

 

 

 

Note」

ⓐ 모든 Unitary, Hermitian and skew-Hermitian catricies  →  Normal matrices 들이다.

ⓑ 위의 경우가 아니어도 normal matrix 인 경우가 있다.

ⓒ Normal matrix : |$Ax$| = |$A^{T}x$| 

    Orthogonal matrix : |$Ax$| = |$A^{T}x$| = |$x$|

 

 

 

 

Theorem」 Invariance of Inner product

An Orthogonal transform preserves the value of the inner product of vector $a$ and $b$ in $R^n$ defined by $a$ · $b$ = $a^{T}b$

 

Proof 1」 $A$ : orthogonal matrix ($A^T$ = $A^{-1}$)                * 증명방향 : $a$·$b$ = $u$·$v$

let $u$ = $Aa$  and  $v$ = $Ab$

 

$u$ · $v$ = $Aa$ · $Ab$

           = $(Aa)^T$ · $Ab$

           = $a^{T}A^{T}$$Ab$

           = $a^{T}I$$b$      ( ∵ $A^{T}$$A$ = $I$ )

           = $a^{T}$$b$

           =  $a$ · $b$

 

 

Proof 2」 

 

 

 

Theorem」 Orthogonality of column and row vectors

A real square matrix is orthogonal if and only if its column vectors, $a_1$ ··· $a_n$ (and also its row vectors) form an orthogonal system,

that is,  $a_j$ · $a_k$   =  ${a_j}^T$$a_k$   =   0   (if $j$ ≠ $k$)   →   orthogonal

                                            =   1   (if $j$ = $k$)  →   normalization

 

 

 

 

Theorem」 Determinant of an Orthogonal matrix

The determinant of an orthogonal matrix has the value +1 or -1

 

Proof」 det($AB$) = det($A$)det($B$)

                             = det($B$)det($A$)

 

              1 =  det($I$)  = det($A^{-1}A$)

                                 = det($A^{T}A$)

                                 = det($A^{T}$) det($A$)

                                 = det$^2$($A$)            → det($A$) = ± 1

 

 

 

Theorem」 Determinant of an Orthogonal matrix

The eigenvalues of an orthogonal matrix A are real or complix cojugates in pairs and have absolute value 1.

 

Proof」 The eigenvalues of an orthogonal matrix A.

A가 orthogonal matrix 이므로 entries 들이 모두 실수.

→ |$A - \lambda I$| = 0 에서 ${\lambda}^n$ 에 해당하는 모든 계수값 들은 실수(real coefficents).

→ eigenvalues 들은 char-equ ( |$A - \lambda I$| = 0 ) 식으 근이므로 real or complex conjugate pairs 들이 된다.

→ |$\lambda$| = 1