[내용]

오늘은 7.4 477쪽 보기4 까지 임의의 행렬의 singular value decomposition(SVD, 특이값분해)에 대해 공부하였습니다.

m*n 행렬 A는 R^n 에서 R^m 으로의 선형사상으로 생각할 수 있는데 먼저 (A^T)A가 대칭(symmetric)행렬이므로 직교대각화가능합니다. 따라서 (A^T)A는 중복을 허락하여 n개의 고유값 ri 들을 갖고 이에 대응하는 고유벡터들을 정규직교화(orthonormalize)한 n개의 벡터 vi 들을 얻습니다. 이 때, (A^T)A는  R^n 에서 R^n  으로의 선형사상으로 생각할 수 있으므로 {vi |i=1,,,n}은 A의 정의역 R^n의 정규직교기저(orthonormal basis)가 됩니다.  또한 고유값들은 모두 0이상이 됨을 알 수 있고, 따라서 이들의 거듭제곱근 ai 들을 생각할 수 있는데 이것들을 A의 특이값(singular value)라고 합니다. ai와 vi의 관계는 ||Avi||=ai 즉, ai의 제곱인 고유값 ri에 대응하는 고유벡터 vi의 A에 의한 상(image) Avi의 길이(length)가 됩니다.

A의 rank가 r인 경우 0이 아닌 특이값의 개수는 r개이고 따라서 i가 r보다 크면 Avi들은 영벡터가 됩니다. 따라서 {Av1,...,Avr}이 ColA의 직교기저(orthogornal basis)가 됨을 증명하였고 이들을 정규화(normalize)하여 ColA의 정규직교기저 {u1,...,ur}을 얻습니다. 이때, r이 m보다 작은 경우 {u1,...,ur}을 확장하여 A의 공역 R^m 의 정규직교기저 {u1,...,ur,...,u{m}}을 얻을 수 있습니다.

i가 r보다 클 때 Avi들은 영벡터가 되었으므로 v{r+1},...,v{n}은 NulA의 정규직교기저이고 RowA는 NulA와 서로 수직이므로 v1,...,vr 은 RowA의 정규직교기저입니다. 또한 R^m 의 정규직교기저 {u1,...,ur,...,u{m}}를 보면 {u1,...,ur}이 ColA의 정규직교기저이고 ColA와 NulA^T 가 서로 수직이므로 u{r+1},...,u{m}은 NulA^T 의 정규직교기저입니다.

이 때, U=[u1,...,ur,...,u{m}], V=[v1,...,vr,...,v{n}]으로 두면 모두 직교행렬(orthogonal matrix)가 되고 A의 특이값을 이용하여 행렬 E(책에서는 시그마)를 만들면 AV=UE 가 되어 A=UEV^T 가 됩니다. A=UEV^T 를 A의 특이값분해라고 부릅니다.

[중요한 것들]

● 특이값과 선형변환의 치역의 크기의 최대값
● 행렬 A의 특이값 분해와 ColA, NulA, NulA^T, RowA들의 정규직교기저 구하기

수고하셨습니다.