[강의내용] 7.7(p384)-7.8(p398)

●R^n의 부분공간 W가 있을 때 b=proj_W b + proj_W^{⊥} b로 유일하게 분해됩니다.
●proj_W b 를 구하는 방법은 W의 기저 {w1,...,wk}를 열로하는 행렬 M에 대해 (M(M^{T}M)^{-1}M)b로 계산할 수 있습니다.
●정사영을 표현하는 행렬 P=M(M^{T}M)^{-1}M^{T}의 특징은 대칭, idempotent, rankP=dimW(W=col(A))입니다.
●Ax=b 이고 b∈col(A)일 때 Ax=b가 해를 갖는데 A가 full column rank이면 유일한 해가 row(A)에 존재하고 full column rank가 아니면 무수히 많은 해가 존재하는데 row(A)에 존해하는 해가 norm이 작은 해가 됩니다.
●(W^{⊥})^{⊥}=W [Double Perpendicular Thm]
●P가 W로의 정사영을 표현하는 행렬이면 I-P는 W^{⊥}으로의 정사영을 표현하는 행렬입니다.
●Ax=b에서 b가 col(A)의 원소가 아니면 해를 안갖습니다.
●그러나 Ax=proj_col(A) b는 해를 갖는데 이 해는 A^{T}Ax=A^{T}b(normal eq)의 해와 같고 이 해를 최적근사해(best approximate sol) 또는 최소제곱해(least squares sol)이라고 합니다.
●Ax=b의 최소제곱해 x~ 에 대해서 b-Ax~ 을 최소제곱오차벡터라 하고 이것의 크기를 최소제곱오차라고 합니다.
●Ax=b에서 A가 full column rank이면 A^{T}Ax=A^{T}b이 유일한 해(최소제곱해)를 갖고 그렇지 않으면 무수히 많은 최소제곱해를 갖습니다.

[주의사항]

●W=col(M)으로의 정사영을 표현하는 P=M(M^{T}M)^{-1}M^{T} 에서 M은 W의 기저의 선택에 따라 달라질 수 있지만 어떻게 구하던지 동일한 정사영을 표현하는 행렬을 얻을 수있습니다.
●Ax=b의 최소제곱벡오차벡터는 b-Ax~=b-proj_col(A) b=proj_null(A^T) b로 간단히 얻을 수 있고 따라서 최소제곱오차도 최소제곱해를 구하지 않고도 구할 수 있습니다.

[읽기과제]

●Thm7.7.7의 증명(수업시간에는 그림으로 설명했으나 각자 증명을 완성해 보기 바랍니다.)
●Ex3(p396) normal eq. 을 풀어 최소제곱해를 구하는 문제
●Ex3(p397) 최소제곱해가 무수히 많은 경우( 해는 무수히 많지만 최소제곱오차벡터와 오차는 유일하게 결정됩니다.)

[TF 문제 정답]

●7.7 D1 [1,n-1] [2,n-2] D5 TFTTF