non linear dim reduction

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.10%22%0A%23%20dependencies%20%3D%20%5B%0A%23%20%20%20%20%20%22marimo%22%2C%0A%23%20%20%20%20%20%22numpy%22%2C%0A%23%20%20%20%20%20%22matplotlib%22%2C%0A%23%20%20%20%20%20%22scikit-learn%22%2C%0A%23%20%5D%0A%23%20%2F%2F%2F%0A%23%0A%23%20Marimo%20version%20of%20the%20Data%20transformation%20and%20dimensionality%20reduction%0A%23%20II%20lecture%20(Kernel%20PCA%20%2B%20Laplacian%20Eigenmaps).%0A%23%20Same%20content%20as%20notebooks%2F08%2Fnon_linear_dim_reduction.ipynb%2C%20but%0A%23%20authored%20as%20a%20reactive%20Marimo%20app%20(one%20slide%20per%20concept%2C%20matching%0A%23%20the%20density_estimation%20notebook's%20structure).%0A%23%20Run%20locally%20with%20%60marimo%20edit%20notebooks%2F08%2Fnon_linear_dim_reduction.py%60%0A%23%20or%20export%20to%20WASM%20for%20GitHub%20Pages%20(see%20.github%2Fworkflows%2Fpublish-slides.yml).%0A%23%0A%23%20NOTE%20on%20scoping%3A%20in%20Jupyter%20the%20same%20name%20(e.g.%20%60X%60)%20can%20be%20redefined%0A%23%20in%20any%20number%20of%20cells%2C%20but%20Marimo%20requires%20each%20name%20to%20be%20owned%20by%0A%23%20exactly%20one%20cell.%20Below%2C%20every%20cell-local%20dataset%20and%20figure%20is%0A%23%20given%20a%20unique%20suffix%20(%60_moons_kpca%60%2C%20%60_swiss_roll%60)%20so%20the%20slides%0A%23%20stay%20independent%20and%20the%20data%20each%20figure%20displays%20is%20reproducible.%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.23.13%22%0Aapp%20%3D%20marimo.App(%0A%20%20%20%20width%3D%22medium%22%2C%0A%20%20%20%20layout_file%3D%22data%3Aapplication%2Fjson%3Bbase64%2CewogICJ0eXBlIjogInNsaWRlcyIsCiAgImRhdGEiOiB7fQp9Cg%3D%3D%22%2C%0A%20%20%20%20css_file%3D%22..%2F_shared%2Fmath.css%22%2C%0A)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20os%0A%20%20%20%20from%20pathlib%20import%20Path%0A%0A%20%20%20%20%23%20Make%20%60mo.image(src%3D%22media%2Ffoo.png%22)%60%20resolve%20regardless%20of%20which%0A%20%20%20%20%23%20directory%20%60marimo%20edit%60%20is%20launched%20from.%20We%20chdir%20to%20the%20notebook's%0A%20%20%20%20%23%20own%20directory%20so%20the%20relative%20%60media%2F%60%20path%20works%20the%20same%20way%20it%0A%20%20%20%20%23%20does%20for%20the%20deployed%20WASM%20build%20(where%20the%20page%20sits%20next%20to%0A%20%20%20%20%23%20%60media%2F%60).%20In%20WASM%2C%20%60__file__%60%20may%20not%20be%20set%20and%20the%20chdir%20becomes%0A%20%20%20%20%23%20a%20no-op%20%E2%80%94%20the%20browser%20still%20fetches%20the%20images%20via%20the%20page%20URL.%0A%20%20%20%20if%20%22__file__%22%20in%20globals()%20and%20__file__%3A%0A%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20os.chdir(Path(__file__).resolve().parent)%0A%20%20%20%20%20%20%20%20except%20OSError%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20pass%0A%0A%20%20%20%20import%20marimo%20as%20mo%0A%0A%20%20%20%20return%20(mo%2C)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20import%20matplotlib.pyplot%20as%20plt%0A%0A%20%20%20%20return%20(plt%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Data%20transformation%20and%20dimensionality%20reduction%20(DTDR)%20II%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Introduction%0A%0A%20%20%20%20-%20Last%20lecture%20we%20looked%20at%20compression%20of%20data.%0A%20%20%20%20%20%20%20%20-%20Reduce%20the%20dimensionality.%0A%20%20%20%20-%20Learned%20about%20two%20methods%3A%0A%20%20%20%20%20%20%20%20-%20Fisher%20Discriminant%20Analysis%20(need%20labeled%20data).%0A%20%20%20%20%20%20%20%20-%20Principal%20Component%20Analysis%20(PCA).%0A%20%20%20%20-%20Both%20methods%20use%20a%20linear%20transformation.%0A%20%20%20%20-%20Today%2C%20we%20will%20learn%20about%20non-linear%20DTDR%20techniques%3A%0A%20%20%20%20%20%20%20%20-%20Kernel%20PCA%20(1998)%0A%20%20%20%20%20%20%20%20-%20Laplacian%20Eigenmaps%20(2003)%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Kernel%20PCA%0A%0A%20%20%20%20-%20Non-linear%20operations%20with%20respect%20to%20%24%5Cmathbf%7Bx%7D%24.%0A%20%20%20%20-%20Will%20only%20need%20inner-products%20in%20%24%5Cmathbb%7BH%7D%24%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Kernel%20matrix%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Eigenvectors%20of%20autocorrelation%20matrix%20R%0A%0A%20%20%20%20-%20PCA%20idea%3A%0A%20%20%20%20%20%20%20%20Diagonal%20covariance%20matrix%20for%20transformed%20data.%0A%20%20%20%20-%20Revisit%20to%20motivate%20kernel%20PCA.%0A%20%20%20%20-%20Easier%20notation%20to%20work%20with%20autocorrelation%20matrix%20%24%5Cmathbf%7BR%7D%24.%0A%20%20%20%20-%20Eigendecomposition%3A%20%24%5Cmathbf%7BR%7D%20%5Cmathbf%7Bv%7D%20%3D%20%5Clambda%20%5Cmathbf%7Bv%7D%24%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Eigenvectors%20of%20autocorrelation%20matrix%20R%0A%0A%20%20%20%20-%20First%3A%20%24%5Clambda%20%5Cmathbf%7Bv%7D%3D%24%0A%20%20%20%20-%20Reordering%20for%20%24%5Cmathbf%7Bv%7D%3D%20%24%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Projection%20onto%20eigenvector%0A%0A%20%20%20%20-%20%24%5Cmathbf%7Bv%7D%5ET%5Cphi(%5Cmathbf%7Bx%7D_t)%20%3D%20%24%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Finding%20the%20weights%0A%0A%20%20%20%20-%20Given%20by%20solving%20%24%5Cmathbf%7BK%7D%20%5Cmathbf%7Ba%7D%20%3D%20%5Ctilde%7B%5Clambda%7D%20%5Cmathbf%7Ba%7D%24%0A%20%20%20%20-%20%24%5Ctilde%7B%5Clambda%7D%3D%5Clambda%20N%24%0A%0A%20%20%20%20---%0A%0A%20%20%20%20-%20Remark%3A%20Eigenvectors%20of%20symmetric%20%24%5Cmathbf%7BR%7D%24%20assumed%20%24%5C%7C%5Cmathbf%7Bv%7D_i%5C%7C_2%20%3D%201%24%20and%20%24%5Cmathbf%7Bv%7D_i%5ET%20%5Cmathbf%7Bv%7D_j%20%3D%201%24%3A%0A%0A%20%20%20%20-%20Have%20%24%5Cmathbf%7Bv%7D%5ET%20%5Cmathbf%7Bv%7D%20%3D%20%24%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Visualizing%20in%20%24%5Cmathbb%7BH%7D%24%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20plt)%3A%0A%20%20%20%20%23%20Side-by-side%20comparison%20of%20PCA%20vs%20Kernel%20PCA%20on%20the%20two-moons%0A%20%20%20%20%23%20dataset%3A%20PCA%20cannot%20separate%20the%20half-moons%20in%202-D%20while%20an%0A%20%20%20%20%23%20RBF-kernel%20PCA%20can%20unroll%20them%20into%20a%20linearly%20separable%20shape.%0A%20%20%20%20from%20sklearn.datasets%20import%20make_moons%0A%20%20%20%20from%20sklearn.decomposition%20import%20PCA%2C%20KernelPCA%0A%0A%20%20%20%20X_moons_kpca%2C%20y_moons_kpca%20%3D%20make_moons(n_samples%3D200%2C%20noise%3D0.05%2C%20random_state%3D42)%0A%0A%20%20%20%20pca_moons%20%3D%20PCA(n_components%3D2)%0A%20%20%20%20x_pca_moons%20%3D%20pca_moons.fit_transform(X_moons_kpca)%0A%0A%20%20%20%20kpca_moons%20%3D%20KernelPCA(n_components%3D2%2C%20kernel%3D%22rbf%22%2C%20gamma%3D28)%0A%20%20%20%20x_kpca_moons%20%3D%20kpca_moons.fit_transform(X_moons_kpca)%0A%0A%20%20%20%20fig_moons_kpca%2C%20(ax_moons_orig%2C%20ax_moons_pca%2C%20ax_moons_kpca)%20%3D%20plt.subplots(1%2C%203%2C%20figsize%3D(15%2C%205))%0A%20%20%20%20ax_moons_orig.scatter(X_moons_kpca%5B%3A%2C%200%5D%2C%20X_moons_kpca%5B%3A%2C%201%5D%2C%20c%3Dy_moons_kpca%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20cmap%3D%22viridis%22%2C%20edgecolor%3D%22k%22%2C%20s%3D50)%0A%20%20%20%20ax_moons_orig.set_title(%22Original%20Space%22)%0A%20%20%20%20ax_moons_pca.scatter(x_pca_moons%5B%3A%2C%200%5D%2C%20x_pca_moons%5B%3A%2C%201%5D%2C%20c%3Dy_moons_kpca%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20cmap%3D%22viridis%22%2C%20edgecolor%3D%22k%22%2C%20s%3D50)%0A%20%20%20%20ax_moons_pca.set_title(%22PCA%22)%0A%20%20%20%20ax_moons_kpca.scatter(x_kpca_moons%5B%3A%2C%200%5D%2C%20x_kpca_moons%5B%3A%2C%201%5D%2C%20c%3Dy_moons_kpca%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20cmap%3D%22viridis%22%2C%20edgecolor%3D%22k%22%2C%20s%3D50)%0A%20%20%20%20ax_moons_kpca.set_title(%22Kernel%20PCA%22)%0A%0A%20%20%20%20mo.as_html(fig_moons_kpca)%0A%20%20%20%20plt.close(fig_moons_kpca)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Laplacian%20Eigenmaps%0A%0A%20%20%20%20-%20Make%20use%20of%20the%20eigenvalues%20(spectrum)%20of%20the%20similarity%20matrix%20of%20the%20data%0A%20%20%20%20%20%20%20%20-%20Spectral%20methods.%0A%20%20%20%20-%20Motivated%20from%20the%20perspective%20of%20manifold%20learning.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20plt)%3A%0A%20%20%20%20%23%20Swiss%20roll%20in%203-D%20%E2%80%94%20the%20canonical%20example%20for%20manifold%20learning.%0A%20%20%20%20%23%20The%20colour%20encodes%20the%20position%20along%20the%20roll%20and%20helps%20show%20how%0A%20%20%20%20%23%20Laplacian%20Eigenmaps%20can%20%22unroll%22%20it%20back%20to%202-D.%0A%20%20%20%20from%20sklearn.datasets%20import%20make_swiss_roll%0A%0A%20%20%20%20X_swiss%2C%20y_swiss%20%3D%20make_swiss_roll(n_samples%3D2000%2C%20noise%3D0.01%2C%20random_state%3D42)%0A%0A%20%20%20%20fig_swiss%20%3D%20plt.figure(figsize%3D(8%2C%206))%0A%20%20%20%20ax_swiss%20%3D%20fig_swiss.add_subplot(projection%3D%223d%22)%0A%20%20%20%20ax_swiss.scatter3D(X_swiss%5B%3A%2C%200%5D%2C%20X_swiss%5B%3A%2C%201%5D%2C%20X_swiss%5B%3A%2C%202%5D%2C%20c%3Dy_swiss%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20cmap%3D%22viridis%22%2C%20edgecolor%3D%22k%22%2C%20s%3D50)%0A%0A%20%20%20%20mo.as_html(fig_swiss)%0A%20%20%20%20plt.close(fig_swiss)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Laplacian%20Eigenmaps%20-%20key%20idea%0A%0A%20%20%20%20-%20Transform%20%24%5Cmathbf%7Bx%7D%20%5Cin%20%5Cmathbb%7BR%7D%5Ed%24%20into%20%24%5Cmathbf%7Bz%7D%20%5Cin%20%5Cmathbb%7BR%7D%5Ek%24%2C%20where%20%24k%20%5Cleq%20d%24%0A%20%20%20%20-%20Such%20that%3A%20neighbors%20in%20%24%5Cmathbb%7BR%7D%5Ed%24%20stay%20neighbors%20in%20%24%5Cmathbb%7BR%7D%5Ek%24%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Adjacency%20matrix%0A%0A%20%20%20%20-%20What%20makes%20points%20neighbors%3F%0A%20%20%20%20%20%20%20%20-%20Similarity!%0A%20%20%20%20-%20Draw%20%24%5Crightarrow%24%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Mapping%20%24%5Cmathbf%7Bx%7D_i%24%20to%20%24%5Cmathbf%7Bz%7D_i%24%0A%0A%20%20%20%20-%20Need%20a%20way%20to%20optimize%20the%20position%20of%20points%20in%20%24%5Cmathbb%7BR%7D%5Ek%24.%0A%20%20%20%20-%20Consider%20the%20following%3A%20%24J(%5Cmathbf%7Bz%7D)%20%3D%20%5Cfrac%7B1%7D%7B2%7D%20%5Csum_i%20%5Csum_j%20(%5Cmathbf%7Bz%7D_i-%5Cmathbf%7Bz%7D_j)W_%7Bij%7D%24%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Optimizing%20the%20position%20of%20points%20in%20%24%5Cmathbb%7BR%7D%5Ek%24%0A%0A%20%20%20%20-%20Reasonable%20to%20minimize%20%24J(%5Cmathbf%7Bz%7D)%24%20with%20respect%20to%20%24%5Cmathbf%7Bz%7D%24%0A%20%20%20%20-%20Obvious%20solution%20not%20interesting.%0A%20%20%20%20%20%20%20%20-%20What%20is%20the%20obvious%20solution%3F%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Optimizing%20the%20position%20of%20points%20in%20%24%5Cmathbb%7BR%7D%5Ek%24%0A%0A%20%20%20%20-%20Have%3A%20%24J(%5Cmathbf%7Bz%7D)%20%3D%20%5Cfrac%7B1%7D%7B2%7D%24%0A%20%20%20%20-%20Let%20%24D_%7Bii%7D%20%3D%20%24%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Optimizing%20the%20position%20of%20points%20in%20%24%5Cmathbb%7BR%7D%5Ek%24%0A%0A%20%20%20%20-%20Hence%3A%20%24J(%5Cmathbf%7Bz%7D)%20%3D%20%5Cmathbf%7Bz%7D%5ET%20(%5Cmathbf%7BD%7D-%5Cmathbf%7BW%7D)%20%5Cmathbf%7Bz%7D%20%3D%20%24%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20The%20Laplacian%20matrix%20%24%5Cmathbf%7BL%7D%24%0A%0A%20%20%20%20-%20Deep%20theory!%0A%20%20%20%20-%20The%20Laplacian%20tells%20us%20the%20divergence%20of%20the%20gradients.%0A%20%20%20%20%20%20%20%20-%20How%20much%20is%20the%20steepness%20changing.%0A%20%20%20%20-%20Analogous%20to%20the%20second%20derivative%20for%20a%20continuous%2C%20single%20variate%20function.%0A%20%20%20%20-%20%5B**Nice%20resource%20for%20further%20information**%5D(https%3A%2F%2Fmbernste.github.io%2Fposts%2Flaplacian_matrix%2F)%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Optimizing%20the%20position%20of%20points%20in%20%24%5Cmathbb%7BR%7D%5Ek%24%0A%0A%20%20%20%20-%20Constrain%20%24%5Cmathbf%7Bz%7D%24%3A%20%24%5Cmathbf%7Bz%7D%5ET%20%5Cmathbf%7BD%7D%20%5Cmathbf%7Bz%7D%20%3D%201%24%0A%20%20%20%20-%20Removes%20arbitrary%20scaling%20in%20embeddings.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Laplacian%20eigenmaps%20optimization%20problem%0A%0A%20%20%20%20-%20Minimize%20%24%5Cmathbf%7Bz%7D%5ET%20%5Cmathbf%7BL%7D%20%5Cmathbf%7Bz%7D%24%0A%20%20%20%20-%20Subject%20to%20%24%5Cmathbf%7Bz%7D%5ET%20%5Cmathbf%7BD%7D%20%5Cmathbf%7Bz%7D%20%3D%201%24%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Lagrange%20function%20for%20Laplacian%20Eigenmaps%0A%0A%20%20%20%20Lagrange%20function%3A%0A%20%20%20%20%24%24%0A%20%20%20%20L(%5Cmathbf%7Bz%7D%2C%20%5Clambda)%20%3D%20%5Cmathbf%7Bz%7D%5ET%20%5Cmathbf%7BL%7D%20%5Cmathbf%7Bz%7D%20-%20%5Clambda%20%5Cmathbf%7Bz%7D%5ET%20%5Cmathbf%7BD%7D%20%5Cmathbf%7Bz%7D%0A%20%20%20%20%24%24%0A%0A%20%20%20%20Set%20derivative%20to%20zero%3A%0A%20%20%20%20%24%24%0A%20%20%20%20%5Cfrac%7B%5Cpartial%20L%7D%7B%5Cpartial%20%5Cmathbf%7Bz%7D%7D%20%3D%202%5Cmathbf%7BL%7D%5Cmathbf%7Bz%7D%20-%202%5Clambda%20%5Cmathbf%7BD%7D%5Cmathbf%7Bz%7D%20%3D%200%0A%20%20%20%20%24%24%0A%0A%20%20%20%20Which%20gives%3A%0A%20%20%20%20%24%24%0A%20%20%20%20%5Cmathbf%7BL%7D%5Cmathbf%7Bz%7D%20%3D%20%5Clambda%20%5Cmathbf%7BD%7D%5Cmathbf%7Bz%7D%0A%20%20%20%20%24%24%0A%0A%20%20%20%20-%20The%20minimization%20of%20this%20objective%20is%20given%20by%20eigenvector%20correspond%20to%20the%20second%20smallest%20eigenvalue%0A%20%20%20%20-%20Assuming%20a%20connected%20graph.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Closing%20perspective%0A%0A%20%20%20%20Let%20%24%5Cmathbf%7BP%7D%20%3D%20%5Cmathbf%7BD%7D%5E%7B-1%7D%20%5Cmathbf%7BW%7D%24.%0A%0A%20%20%20%20**Example%3A**%0A%0A%20%20%20%20%24%24%0A%20%20%20%20%5Cmathbf%7BW%7D%20%3D%0A%20%20%20%20%5Cbegin%7Bbmatrix%7D%0A%20%20%20%202%20%26%203%20%26%201%20%5C%5C%0A%20%20%20%203%20%26%204%20%26%200%20%5C%5C%0A%20%20%20%201%20%26%200%20%26%202%0A%20%20%20%20%5Cend%7Bbmatrix%7D%0A%20%20%20%20%2C%5Cquad%0A%20%20%20%20%5Cmathbf%7BD%7D%20%3D%0A%20%20%20%20%5Cbegin%7Bbmatrix%7D%0A%20%20%20%206%20%26%200%20%26%200%20%5C%5C%0A%20%20%20%200%20%26%207%20%26%200%20%5C%5C%0A%20%20%20%200%20%26%200%20%26%203%0A%20%20%20%20%5Cend%7Bbmatrix%7D%0A%20%20%20%20%24%24%0A%0A%20%20%20%20%24%24%0A%20%20%20%20%5Cmathbf%7BD%7D%5E%7B-1%7D%20%3D%0A%20%20%20%20%5Cbegin%7Bbmatrix%7D%0A%20%20%20%20%5Cfrac%7B1%7D%7B6%7D%20%26%200%20%26%200%20%5C%5C%0A%20%20%20%200%20%26%20%5Cfrac%7B1%7D%7B7%7D%20%26%200%20%5C%5C%0A%20%20%20%200%20%26%200%20%26%20%5Cfrac%7B1%7D%7B3%7D%0A%20%20%20%20%5Cend%7Bbmatrix%7D%0A%20%20%20%20%24%24%0A%0A%20%20%20%20%24%24%0A%20%20%20%20%5Cmathbf%7BP%7D%20%3D%0A%20%20%20%20%5Cbegin%7Bbmatrix%7D%0A%20%20%20%20%5Cfrac%7B2%7D%7B6%7D%20%26%20%5Cfrac%7B3%7D%7B6%7D%20%26%20%5Cfrac%7B1%7D%7B6%7D%20%5C%5C%0A%20%20%20%20%5Cfrac%7B3%7D%7B7%7D%20%26%20%5Cfrac%7B4%7D%7B7%7D%20%26%200%20%5C%5C%0A%20%20%20%20%5Cfrac%7B1%7D%7B3%7D%20%26%200%20%26%20%5Cfrac%7B2%7D%7B3%7D%0A%20%20%20%20%5Cend%7Bbmatrix%7D%0A%20%20%20%20%24%24%0A%0A%20%20%20%20Probabilities%20of%20a%20%22walk%22%20from%20%24x_i%24%20to%20%24x_j%24.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A