linear dim reduction

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.10%22%0A%23%20dependencies%20%3D%20%5B%0A%23%20%20%20%20%20%22marimo%22%2C%0A%23%20%20%20%20%20%22numpy%22%2C%0A%23%20%20%20%20%20%22matplotlib%22%2C%0A%23%20%5D%0A%23%20%2F%2F%2F%0A%23%0A%23%20Marimo%20version%20of%20the%20Data%20transformation%20and%20dimensionality%20reduction%0A%23%20I%20lecture%20(FDA%20%2B%20PCA).%0A%23%20Same%20content%20as%20notebooks%2F07%2Flinear_dim_reduction.ipynb%2C%20but%20authored%0A%23%20as%20a%20reactive%20Marimo%20app%20(one%20slide%20per%20concept%2C%20matching%20the%0A%23%20density_estimation%20notebook's%20structure).%0A%23%20Run%20locally%20with%20%60marimo%20edit%20notebooks%2F07%2Flinear_dim_reduction.py%60%0A%23%20or%20export%20to%20WASM%20for%20GitHub%20Pages%20(see%20.github%2Fworkflows%2Fpublish-slides.yml).%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.23.13%22%0Aapp%20%3D%20marimo.App(%0A%20%20%20%20width%3D%22medium%22%2C%0A%20%20%20%20layout_file%3D%22data%3Aapplication%2Fjson%3Bbase64%2CewogICJ0eXBlIjogInNsaWRlcyIsCiAgImRhdGEiOiB7fQp9Cg%3D%3D%22%2C%0A%20%20%20%20css_file%3D%22..%2F_shared%2Fmath.css%22%2C%0A)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20os%0A%20%20%20%20from%20pathlib%20import%20Path%0A%0A%20%20%20%20%23%20Make%20%60mo.image(src%3D%22media%2Ffoo.png%22)%60%20resolve%20regardless%20of%20which%0A%20%20%20%20%23%20directory%20%60marimo%20edit%60%20is%20launched%20from.%20We%20chdir%20to%20the%20notebook's%0A%20%20%20%20%23%20own%20directory%20so%20the%20relative%20%60media%2F%60%20path%20works%20the%20same%20way%20it%0A%20%20%20%20%23%20does%20for%20the%20deployed%20WASM%20build%20(where%20the%20page%20sits%20next%20to%0A%20%20%20%20%23%20%60media%2F%60).%20In%20WASM%2C%20%60__file__%60%20may%20not%20be%20set%20and%20the%20chdir%20becomes%0A%20%20%20%20%23%20a%20no-op%20%E2%80%94%20the%20browser%20still%20fetches%20the%20images%20via%20the%20page%20URL.%0A%20%20%20%20if%20%22__file__%22%20in%20globals()%20and%20__file__%3A%0A%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20os.chdir(Path(__file__).resolve().parent)%0A%20%20%20%20%20%20%20%20except%20OSError%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20pass%0A%0A%20%20%20%20import%20marimo%20as%20mo%0A%0A%20%20%20%20return%20(mo%2C)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20import%20matplotlib.pyplot%20as%20plt%0A%0A%20%20%20%20return%20np%2C%20plt%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Data%20transformation%20and%20dimensionality%20reduction%20(DTDR)%20I%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Introduction%0A%0A%20%20%20%20-%20So%20far%2C%20the%20course%20has%20been%20problem%20oriented%20(mainly%20classification).%0A%20%20%20%20-%20However%2C%20an%20essential%20part%20of%20pattern%20recognition%20is%20data%20analysis.%0A%20%20%20%20-%20In%20this%20lecture%2C%20we%20will%20look%20at%20methods%20that%20compress%20data%20into%20a%20more%20compact%20representation%20through%20linear%20transformations.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Analyzing%20data%0A%0A%20%20%20%20-%20Show%20example%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Problems%0A%0A%20%20%20%20-%20The%20data%20dimensionality%20may%20be%20very%20large.%0A%20%20%20%20%20%20%20%20-%20Computationally%20demanding.%0A%20%20%20%20%20%20%20%20-%20Curse%20of%20dimensionality%0A%20%20%20%20-%20Some%20parts%20of%20the%20data%20may%20not%20be%20discriminative%20%2F%20be%20redundant.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Remedies%0A%0A%20%20%20%20-%20May%20pick%20only%20parts%20of%20the%20data%20to%20use.%0A%20%20%20%20-%20May%20transform%20the%20data!%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Approaches%20to%20DTDR%0A%0A%20%20%20%20-%20To%20better%20discriminate%20between%20classes%20(supervised).%0A%20%20%20%20-%20To%20remove%20redundancy%20(unsupervised).%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Fisher%20discriminant%20analysis%20(FDA)%0A%0A%20%20%20%20-%20Transform%20(project)%20to%201D%3A%0A%20%20%20%20-%20Start%20with%20the%20two%20class%20case%20and%20%24P(w_1)%3DP(w_2)%24%0A%20%20%20%20-%20Fisher%20discriminant%20ratio%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Scatter%20matrices%0A%0A%20%20%20%20-%20Within%20class%3A%20%24%5Cboldsymbol%7BS%7D_w%20%3D%20%5Csum%5Climits_%7Bi%3D1%7D%5E%7BM%7D%20P(w_i)%20%5Cboldsymbol%7B%5CSigma%7D_i%24%0A%0A%20%20%20%20-%20where%20%24%5Cboldsymbol%7B%5CSigma%7D_i%20%3D%20%5Cmathbb%7BE%7D%5Cleft%5B(%5Cmathbf%7Bx%7D%20-%20%5Cboldsymbol%7B%5Cmu%7D_i)(%5Cmathbf%7Bx%7D%20-%20%5Cboldsymbol%7B%5Cmu%7D_i)%5ET%5Cright%5D%24%0A%0A%20%20%20%20-%20Example%3A%0A%0A%20%20%20%20---%0A%0A%20%20%20%20-%20Between%20class%3A%20%24%5Cboldsymbol%7BS%7D_B%20%3D%20%5Csum%5Climits_%7Bi%3D1%7D%5E%7BM%7D%20P(w_i)%20(%5Cboldsymbol%7B%5Cmu%7D_i%20-%20%5Cboldsymbol%7B%5Cmu%7D)%5E2%24%0A%0A%20%20%20%20-%20Example%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Remark%0A%0A%20%20%20%20-%20Class%20separability%20measures%20in%20%24%5Cmathbf%7Bx%7D%24%20by%20e.g.%0A%0A%20%20%20%20%24%24%5Cfrac%7B%5Coperatorname%7Btrace%7D(%5Cboldsymbol%7BS%7D_w)%7D%7B%5Coperatorname%7Btrace%7D(%5Cboldsymbol%7BS%7D_B)%7D%24%24%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Fisher%20discriminant%20analysis%0A%0A%20%20%20%20-%20Remember%3B%20want%20to%20learn%20a%20transformation%20into%201D%20%24z%20%3D%20%5Cmathbf%7Bw%7D%5ET%20%5Cmathbf%7Bx%7D%20%5C%3B%5CRightarrow%5C%3B%20%5Cmu_z%20%3D%20%5Cmathbf%7Bw%7D%5ET%20%5Cboldsymbol%7B%5Cmu%7D%24%0A%0A%20%20%20%20-%20%24S_B%20%3D%20(%5Cmu_1%20-%20%5Cmu_2)%5E2%24%0A%0A%20%20%20%20-%20%24%5Csigma%5E2%20%3D%20%5Cmathbb%7BE%7D%5Cleft%5B(x%20-%20%5Cmu)%5E2%5Cright%5D%24%0A%0A%20%20%20%20-%20%24S_w%20%3D%20%5Csigma_1%5E2%20%2B%20%5Csigma_2%5E2%24%0A%0A%20%20%20%20-%20Hence%3A%20Fisher%20discriminant%20ratio%20(FDR)%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Remarks%0A%0A%20%20%20%20-%20Don't%20need%20%24P(w_1)%20%3D%20P(w_2)%24%2C%20but%20easy%20to%20solve.%0A%0A%20%20%20%20-%20If%20%24P(w_1)%20%5Cneq%20P(w_2)%24%3A%20%24%5Cmathbf%7Bw%7D%24%20is%20the%20leading%20eigenvector%20of%20%24%5Cboldsymbol%7BS%7D_w%5E%7B-1%7D%20%5Cboldsymbol%7BS%7D_B%24.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20FDR%0A%0A%20%20%20%20-%20Want%3A%0A%0A%20%20%20%20%24%24%5Carg%5Cmax_%7B%5Cmathbf%7Bw%7D%7D%20%5Cfrac%7B%5Cmathbf%7Bw%7D%5ET%20%5Cboldsymbol%7BS%7D_B%20%5Cmathbf%7Bw%7D%7D%7B%5Cmathbf%7Bw%7D%5ET%20%5Cboldsymbol%7BS%7D_w%20%5Cmathbf%7Bw%7D%7D%24%24%0A%0A%20%20%20%20-%20At%20solution%20(problem%20x.x)%3A%20%24%5Cboldsymbol%7BS%7D_w%20%5Cmathbf%7Bw%7D%20%3D%20%5Clambda%20%5Cboldsymbol%7BS%7D_B%20%5Cmathbf%7Bw%7D%24%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%0A%0A%20%20%20%20I.%20If%20%24P(w_1)%20%3D%20P(w_2)%24%3A%0A%20%20%20%20%24%24%0A%20%20%20%20%5Clambda%20%5Cboldsymbol%7BS%7D_w%20%5Cmathbf%7Bw%7D%20%3D%20(%5Cboldsymbol%7B%5Cmu%7D_1%20-%20%5Cboldsymbol%7B%5Cmu%7D_2)(%5Cboldsymbol%7B%5Cmu%7D_1%20-%20%5Cboldsymbol%7B%5Cmu%7D_2)%5ET%20%5Cmathbf%7Bw%7D%0A%20%20%20%20%24%24%0A%20%20%20%20%24%5Cimplies%24%20%24%5Cmathbf%7Bw%7D%20%5Cpropto%20%5Cboldsymbol%7BS%7D_w%5E%7B-1%7D%20(%5Cboldsymbol%7B%5Cmu%7D_1%20-%20%5Cboldsymbol%7B%5Cmu%7D_2)%24%0A%0A%20%20%20%20---%0A%0A%20%20%20%20II.%20If%20%24P(w_1)%20%5Cneq%20P(w_2)%24%3A%0A%20%20%20%20%24%24%0A%20%20%20%20%5Cmathbf%7Bw%7D%20%3D%20%5Ctext%7Bleading%20eigenvector%20of%20%7D%20%5Cboldsymbol%7BS%7D_w%5E%7B-1%7D%20%5Cboldsymbol%7BS%7D_B%0A%20%20%20%20%24%24%0A%0A%20%20%20%20---%0A%0A%20%20%20%20**Example%3A**%0A%20%20%20%20%24P(w_1)%20%3D%20P(w_2)%24%0A%0A%20%20%20%20%24%24%0A%20%20%20%20S_w%20%3D%20%5Cfrac%7B1%7D%7B2%7D%20%5Csigma_1%5E2%20%2B%20%5Cfrac%7B1%7D%7B2%7D%20%5Csigma_2%5E2%0A%20%20%20%20%24%24%0A%0A%20%20%20%20%24%24%0A%20%20%20%20S_B%20%3D%20%5Cfrac%7B1%7D%7B2%7D%20(%5Cmu_1%20-%20%5Cmu)%5E2%20%2B%20%5Cfrac%7B1%7D%7B2%7D%20(%5Cmu_2%20-%20%5Cmu)%5E2%0A%20%20%20%20%24%24%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Remark%0A%0A%20%20%20%20-%20Generalized%20to%20%24z%20%3D%20%5Cmathbf%7Bw%7D%5ET%20%5Cmathbf%7Bx%7D%20%5Cin%20%5Cmathbb%7BR%7D%5Ek%24%20where%20%24k%20%5Cleq%20d%24.%0A%20%20%20%20%20%20%20%20-%20More%20complex%20(pages%20291-297%20in%20book).%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Principal%20Component%20Analysis%20(PCA)%0A%0A%20%20%20%20-%20First%3A%20%24%5Cmathbf%7Bz%7D%20%3D%20%5Cmathbf%7BA%7D%20%5Cmathbf%7Bx%7D%24%20such%20that%20%24%5Cmathbf%7Bz%7D%20%5Cin%20%5Cmathbb%7BR%7D%5Ed%24%2C%20%24%5Cmathbf%7Bx%7D%20%5Cin%20%5Cmathbb%7BR%7D%5Ed%24%2C%20and%20%24%5Cmathbf%7BA%7D%20%5Cin%20%5Cmathbb%7BR%7D%5E%7Bd%20%5Ctimes%20d%7D%24%0A%20%20%20%20-%20Want%3A%20%24%5Cboldsymbol%7B%5CSigma%7D_y%24%20diagonal!%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20A%20closer%20look%20at%20the%20covariance%20matrix%0A%0A%20%20%20%20-%20Have%3A%0A%0A%20%20%20%20%24%24%0A%20%20%20%20%5Cboldsymbol%7B%5CSigma%7D_y%20%3D%20%5Cmathbb%7BE%7D%5B(%5Cmathbf%7By%7D%20-%20%5Cboldsymbol%7B%5Cmu%7D_y)(%5Cmathbf%7By%7D%20-%20%5Cboldsymbol%7B%5Cmu%7D_y)%5ET%5D%0A%20%20%20%20%24%24%0A%0A%20%20%20%20%24%24%0A%20%20%20%20%3D%20%5Cmathbb%7BE%7D%5B(%5Cmathbf%7BA%7D%5Cmathbf%7Bx%7D%20-%20%5Cmathbf%7BA%7D%5Cboldsymbol%7B%5Cmu%7D_x)(%5Cmathbf%7BA%7D%5Cmathbf%7Bx%7D%20-%20%5Cmathbf%7BA%7D%5Cboldsymbol%7B%5Cmu%7D_x)%5ET%5D%0A%20%20%20%20%24%24%0A%0A%20%20%20%20---%0A%0A%20%20%20%20-%20%24%5Cboldsymbol%7B%5CSigma%7D_x%24%3A%20symmetric%20and%20positive%20semi-definite%20%24%5Cimplies%24%20orthogonal%20eigenvectors%20and%20non-negative%20eigenvalues.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Eigendecomposition%20of%20the%20covariance%20matrix%0A%0A%20%20%20%20-%20Let%20%24%5Cmathbf%7BE%7D%20%3D%20%5B%5Cmathbf%7Be%7D_1%2C%20%5Cldots%2C%20%5Cmathbf%7Be%7D_d%5D%24%0A%0A%20%20%20%20%24%24%0A%20%20%20%20%5Cboldsymbol%7B%5CSigma%7D_x%20%5Cmathbf%7BE%7D%20%3D%20%5Cmathbf%7BE%7D%20%5Cboldsymbol%7B%5CLambda%7D%0A%20%20%20%20%24%24%0A%0A%20%20%20%20where%0A%20%20%20%20%24%24%0A%20%20%20%20%5Cboldsymbol%7B%5CLambda%7D%20%3D%20%5Cbegin%7Bbmatrix%7D%0A%20%20%20%20%5Clambda_1%20%26%200%20%26%20%5Ccdots%20%26%200%20%5C%5C%0A%20%20%20%200%20%26%20%5Clambda_2%20%26%20%5Ccdots%20%26%200%20%5C%5C%0A%20%20%20%20%5Cvdots%20%26%20%5Cvdots%20%26%20%5Cddots%20%26%20%5Cvdots%20%5C%5C%0A%20%20%20%200%20%26%200%20%26%20%5Ccdots%20%26%20%5Clambda_d%0A%20%20%20%20%5Cend%7Bbmatrix%7D%0A%20%20%20%20%24%24%0A%20%20%20%20(diagonal%20matrix%20of%20eigenvalues)%0A%0A%20%20%20%20---%0A%0A%20%20%20%20-%20Have%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Interpreting%20the%20eigenvalues%20and%20eigenvectors%0A%0A%20%20%20%20-%20Note%3A%20%24%5Cboldsymbol%7B%5CSigma%7D_y%3D%24%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Variance%20maximally%20preserved%0A%0A%20%20%20%20-%20First%3A%20%24%5Csum_%7Bi%3D1%7D%5Ed%20%5Ctext%7BVar%7D(y_i)%20%3D%20%5Csum_%7Bi%3D1%7D%5Ed%20%5Clambda_i%24%0A%0A%20%20%20%20-%20Thus%3A%20Let%20%24%5Cmathbf%7BA%7D%20%3D%20%5Cmathbf%7BE%7D%20%3D%20%5B%5Cmathbf%7Be%7D_1%2C%20%5Cldots%2C%20%5Cmathbf%7Be%7D_d%5D%24%0A%0A%20%20%20%20-%20Remark%3A%20Let%20%24%5Cmathbb%7BE%7D%5B%5Cmathbf%7Bx%7D%5D%20%3D%200%24%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(np)%3A%0A%20%20%20%20%23%20Unsupervised%20PCA%20illustration%3A%20two%20overlapping%202-D%20blobs%20(the%20labels%0A%20%20%20%20%23%20used%20to%20*generate*%20the%20data%20are%20not%20used%20anywhere%20downstream%20%E2%80%94%20the%0A%20%20%20%20%23%20eigendecomposition%20only%20sees%20the%20unlabeled%20point%20cloud).%20Seeded%20so%0A%20%20%20%20%23%20the%20figure%20is%20stable%20across%20re-renders.%0A%20%20%20%20rng_pca%20%3D%20np.random.default_rng(0)%0A%20%20%20%20X_pca%20%3D%20np.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20rng_pca.normal(loc%3D%5B-1.0%2C%200.3%5D%2C%20scale%3D%5B0.55%2C%200.35%5D%2C%20size%3D(150%2C%202))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20rng_pca.normal(loc%3D%5B0.6%2C%20-0.4%5D%2C%20scale%3D%5B0.65%2C%200.55%5D%2C%20size%3D(150%2C%202))%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20mu_pca%20%3D%20X_pca.mean(axis%3D0)%0A%20%20%20%20Xc_pca%20%3D%20X_pca%20-%20mu_pca%0A%20%20%20%20cov_pca%20%3D%20np.cov(Xc_pca%2C%20rowvar%3DFalse)%0A%20%20%20%20w_pca%2C%20V_pca%20%3D%20np.linalg.eigh(cov_pca)%0A%20%20%20%20%23%20np.linalg.eigh%20returns%20ascending%20order%3B%20flip%20so%20e_1%20is%20the%20leading%20one.%0A%20%20%20%20order_pca%20%3D%20np.argsort(w_pca)%5B%3A%3A-1%5D%0A%20%20%20%20w_pca%20%3D%20w_pca%5Border_pca%5D%0A%20%20%20%20V_pca%20%3D%20V_pca%5B%3A%2C%20order_pca%5D%0A%20%20%20%20return%20V_pca%2C%20X_pca%2C%20Xc_pca%2C%20mu_pca%2C%20w_pca%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20%23%20Pick%20which%20eigenvector%20to%20project%20onto.%20The%20dict's%20value%20is%20the%20index%0A%20%20%20%20%23%20into%20V_pca%2C%20so%20%60pca_dir.value%60%20is%20an%20int%20ready%20to%20use.%0A%20%20%20%20pca_dir%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%24e_1%24%20(most%20variance)%22%3A%200%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%24e_2%24%20(least%20variance)%22%3A%201%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22%24e_1%24%20(most%20variance)%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22Project%20along%22%2C%0A%20%20%20%20)%0A%20%20%20%20pca_dir%0A%20%20%20%20return%20(pca_dir%2C)%0A%0A%0A%40app.cell%0Adef%20_(V_pca%2C%20X_pca%2C%20Xc_pca%2C%20mo%2C%20mu_pca%2C%20np%2C%20pca_dir%2C%20plt%2C%20w_pca)%3A%0A%20%20%20%20i_pca%20%3D%20int(pca_dir.value)%0A%20%20%20%20v_pca%20%3D%20V_pca%5B%3A%2C%20i_pca%5D%0A%20%20%20%20proj_pca%20%3D%20Xc_pca%20%40%20v_pca%20%20%23%201-D%20projections%20of%20every%20centred%20point%0A%0A%20%20%20%20fig_pca%2C%20(ax_pca_2d%2C%20ax_pca_1d)%20%3D%20plt.subplots(1%2C%202%2C%20figsize%3D(11%2C%204.5))%0A%0A%20%20%20%20%23%20Left%20panel%3A%202-D%20scatter%2C%20both%20eigenvectors%20drawn%20from%20the%20mean%2C%20and%0A%20%20%20%20%23%20thin%20projection%20lines%20from%20each%20point%20to%20its%20image%20on%20the%20chosen%0A%20%20%20%20%23%20eigenvector.%0A%20%20%20%20ax_pca_2d.scatter(X_pca%5B%3A%2C%200%5D%2C%20X_pca%5B%3A%2C%201%5D%2C%20alpha%3D0.35%2C%20s%3D12%2C%20color%3D%22gray%22)%0A%20%20%20%20scale_pca%20%3D%202.5%20*%20np.sqrt(w_pca.max())%0A%20%20%20%20for%20j%20in%20range(2)%3A%0A%20%20%20%20%20%20%20%20ev%20%3D%20V_pca%5B%3A%2C%20j%5D%20*%20scale_pca%0A%20%20%20%20%20%20%20%20chosen%20%3D%20j%20%3D%3D%20i_pca%0A%20%20%20%20%20%20%20%20ax_pca_2d.annotate(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20xy%3Dmu_pca%20%2B%20ev%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20xytext%3Dmu_pca%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20arrowprops%3Ddict(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20arrowstyle%3D%22-%3E%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20lw%3D2.5%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3D%22tab%3Ared%22%20if%20chosen%20else%20%22tab%3Ablue%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alpha%3D1.0%20if%20chosen%20else%200.35%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20ax_pca_2d.text(%0A%20%20%20%20%20%20%20%20%20%20%20%20*(mu_pca%20%2B%20ev%20*%201.15)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%24e_%7B%7B%7Bj%20%2B%201%7D%7D%7D%24%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20fontsize%3D15%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20ha%3D%22center%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3D%22tab%3Ared%22%20if%20chosen%20else%20%22tab%3Ablue%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20alpha%3D1.0%20if%20chosen%20else%200.5%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20x_recon_pca%20%3D%20mu_pca%20%2B%20proj_pca%5B%3A%2C%20None%5D%20*%20v_pca%0A%20%20%20%20for%20k_pca%20in%20range(0%2C%20len(X_pca)%2C%208)%3A%0A%20%20%20%20%20%20%20%20ax_pca_2d.plot(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5BX_pca%5Bk_pca%2C%200%5D%2C%20x_recon_pca%5Bk_pca%2C%200%5D%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5BX_pca%5Bk_pca%2C%201%5D%2C%20x_recon_pca%5Bk_pca%2C%201%5D%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3D%22tab%3Ared%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20alpha%3D0.18%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20lw%3D0.6%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20ax_pca_2d.set_aspect(%22equal%22)%0A%20%20%20%20ax_pca_2d.set_title(%0A%20%20%20%20%20%20%20%20f%22Project%20along%20%24e_%7B%7B%7Bi_pca%20%2B%201%7D%7D%7D%24%20%20%22%0A%20%20%20%20%20%20%20%20f%22(%24%5C%5Clambda_%7B%7B%7Bi_pca%20%2B%201%7D%7D%7D%20%3D%20%7Bw_pca%5Bi_pca%5D%3A.2f%7D%24%2C%20%22%0A%20%20%20%20%20%20%20%20f%22%7B100%20*%20w_pca%5Bi_pca%5D%20%2F%20w_pca.sum()%3A.0f%7D%5C%5C%25%20of%20total%20variance)%22%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20Right%20panel%3A%20histogram%20of%201-D%20projections.%20The%20wider%20this%20is%2C%20the%0A%20%20%20%20%23%20more%20variance%20is%20preserved%20along%20that%20direction.%0A%20%20%20%20ax_pca_1d.hist(proj_pca%2C%20bins%3D30%2C%20color%3D%22tab%3Ared%22%2C%20alpha%3D0.75%2C%20edgecolor%3D%22white%22)%0A%20%20%20%20ax_pca_1d.set_xlabel(f%22projection%20onto%20%24e_%7B%7B%7Bi_pca%20%2B%201%7D%7D%7D%24%22)%0A%20%20%20%20ax_pca_1d.set_ylabel(%22count%22)%0A%20%20%20%20ax_pca_1d.set_title(%0A%20%20%20%20%20%20%20%20f%221-D%20spread%3A%20%24%5C%5Csigma%20%3D%20%7Bnp.std(proj_pca)%3A.2f%7D%24%20%22%0A%20%20%20%20%20%20%20%20f%22%24%5C%5C%3B(%5C%5Csqrt%7B%7B%5C%5Clambda_%7B%7B%7Bi_pca%20%2B%201%7D%7D%7D%7D%7D)%24%22%0A%20%20%20%20)%0A%0A%20%20%20%20mo.as_html(fig_pca)%0A%20%20%20%20plt.close(fig_pca)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20PCA%20is%20reconstruction%20%2F%20compression%0A%0A%20%20%20%20-%20Let%20%24%5Cmathbf%7Bz%7D%20%5Cin%20%5Cmathbb%7BR%7D%5Ed%20%3D%20%5Bz(0)%2C%20z(1)%2C%20%5Cldots%2C%20z(d-1)%5D%5ET%24%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20PCA%20is%20reconstruction%20%2F%20compression%0A%0A%20%20%20%20-%20Have%20%24%5Cmathbf%7Bx%7D%20%3D%20%5Cmathbf%7BA%7D%20%5Cmathbf%7Bz%7D%24%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20PCA%20is%20reconstruction%20%2F%20compression%0A%0A%20%20%20%20-%20**MSE%3A**%20%24%5Cmathbb%7BE%7D%5Cleft%5B%5C%7C%5Cmathbf%7Bx%7D%20-%20%5Chat%7B%5Cmathbf%7Bx%7D%7D%5C%7C%5E2%5Cright%5D%24%0A%0A%20%20%20%20For%20%24%5Cmathbf%7Bz%7D%20%5Cin%20%5Cmathbb%7BR%7D%5Ek%24%3A%20%24%5Chat%7B%5Cmathbf%7Bx%7D%7D%20%3D%20%5Csum_%7Bi%3D0%7D%5E%7Bk-1%7D%20z(i)%20%5Cmathbf%7Be%7D_i%24%0A%0A%20%20%20%20If%20%24y_i%20%3D%200%24%20for%20%24i%20%5Cgeq%20k%24%3A%0A%20%20%20%20%24%24%0A%20%20%20%20%5Cmathbb%7BE%7D%5Cleft%5B%5C%7C%5Cmathbf%7Bx%7D%20-%20%5Chat%7B%5Cmathbf%7Bx%7D%7D%5C%7C%5E2%5Cright%5D%20%3D%20%5Csum_%7Bi%3Dk%7D%5E%7Bd-1%7D%20%5Clambda_i%0A%20%20%20%20%24%24%0A%0A%20%20%20%20%24%5Cimplies%24%20**MSE%20is%20minimized**.%0A%0A%20%20%20%20---%0A%0A%20%20%20%20-%20**Compression%3A**%20Store%2Fsave%20%24%5Cmathbf%7Bz%7D%20%5Cin%20%5Cmathbb%7BR%7D%5Ek%24%20instead%20of%20%24%5Cmathbf%7Bx%7D%24%20(e.g.%20images).%0A%20%20%20%20-%20**Reconstruct%3A**%20%24%5Chat%7B%5Cmathbf%7Bx%7D%7D%24%20using%20%24%5Cmathbf%7Bz%7D%24.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A