clustering eval

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.10%22%0A%23%20dependencies%20%3D%20%5B%0A%23%20%20%20%20%20%22marimo%22%2C%0A%23%20%20%20%20%20%22numpy%22%2C%0A%23%20%20%20%20%20%22matplotlib%22%2C%0A%23%20%5D%0A%23%20%2F%2F%2F%0A%23%0A%23%20Marimo%20version%20of%20the%20Clustering%20evaluation%20lecture.%0A%23%20Same%20content%20as%20notebooks%2F13%2Fclustering_eval.ipynb%2C%20but%20authored%20as%20a%0A%23%20reactive%20Marimo%20app%20(one%20slide%20per%20concept%2C%20matching%20the%0A%23%20density_estimation%20notebook's%20structure).%0A%23%20Run%20locally%20with%20%60marimo%20edit%20notebooks%2F13%2Fclustering_eval.py%60%0A%23%20or%20export%20to%20WASM%20for%20GitHub%20Pages%20(see%20.github%2Fworkflows%2Fpublish-slides.yml).%0A%23%0A%23%20NOTE%20on%20scoping%3A%20in%20Jupyter%20the%20same%20name%20(e.g.%20%60clusters1%60)%20can%20be%0A%23%20redefined%20in%20any%20number%20of%20cells%2C%20but%20Marimo%20requires%20each%20name%20to%0A%23%20be%20owned%20by%20exactly%20one%20cell.%20Below%2C%20the%20two%20motivating%20figures%20use%0A%23%20the%20%60_motivation_a%60%20and%20%60_motivation_b%60%20suffixes%20so%20they%20stay%0A%23%20independent%20of%20any%20future%20cells%20that%20might%20want%20similar%20names.%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.23.13%22%0Aapp%20%3D%20marimo.App(%0A%20%20%20%20width%3D%22medium%22%2C%0A%20%20%20%20layout_file%3D%22data%3Aapplication%2Fjson%3Bbase64%2CewogICJ0eXBlIjogInNsaWRlcyIsCiAgImRhdGEiOiB7fQp9Cg%3D%3D%22%2C%0A)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20os%0A%20%20%20%20from%20pathlib%20import%20Path%0A%0A%20%20%20%20%23%20Make%20%60mo.image(src%3D%22media%2Ffoo.png%22)%60%20resolve%20regardless%20of%20which%0A%20%20%20%20%23%20directory%20%60marimo%20edit%60%20is%20launched%20from.%20We%20chdir%20to%20the%20notebook's%0A%20%20%20%20%23%20own%20directory%20so%20the%20relative%20%60media%2F%60%20path%20works%20the%20same%20way%20it%0A%20%20%20%20%23%20does%20for%20the%20deployed%20WASM%20build%20(where%20the%20page%20sits%20next%20to%0A%20%20%20%20%23%20%60media%2F%60).%20In%20WASM%2C%20%60__file__%60%20may%20not%20be%20set%20and%20the%20chdir%20becomes%0A%20%20%20%20%23%20a%20no-op%20%E2%80%94%20the%20browser%20still%20fetches%20the%20images%20via%20the%20page%20URL.%0A%20%20%20%20if%20%22__file__%22%20in%20globals()%20and%20__file__%3A%0A%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20os.chdir(Path(__file__).resolve().parent)%0A%20%20%20%20%20%20%20%20except%20OSError%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20pass%0A%0A%20%20%20%20import%20marimo%20as%20mo%0A%0A%20%20%20%20return%20(mo%2C)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20import%20matplotlib.pyplot%20as%20plt%0A%0A%20%20%20%20return%20np%2C%20plt%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Clustering%204%20-%20Evaluating%20clustering%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Introduction%0A%0A%20%20%20%20-%20During%20the%20last%20couple%20of%20weeks%20we%20have%20learned%20about%20different%20methods%20for%20clustering%20data.%0A%20%20%20%20-%20But%20how%20do%20we%20know%20if%20the%20clusters%20we%20obtain%20are%20good%3F%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Motivation%0A%0A%20%20%20%20-%20Consider%20the%20following%20examples%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20np%2C%20plt)%3A%0A%20%20%20%20%23%20Motivating%20example%20(well-separated%20clusters)%3A%20same%20three%20Gaussian%0A%20%20%20%20%23%20clusters%2C%20plotted%20with%20two%20different%20colour%20assignments.%20The%0A%20%20%20%20%23%20accuracy%20of%20a%20clustering%20should%20be%20invariant%20to%20the%20colour%0A%20%20%20%20%23%20permutation.%0A%20%20%20%20rng_mot_a%20%3D%20np.random.default_rng(42)%0A%20%20%20%20n_per_mot_a%20%3D%2060%0A%20%20%20%20means_mot_a%20%3D%20np.array(%5B%5B0.0%2C%200.0%5D%2C%20%5B5.0%2C%200.0%5D%2C%20%5B2.5%2C%204.0%5D%5D)%0A%20%20%20%20covs_mot_a%20%3D%20%5B0.4%20*%20np.eye(2)%2C%200.6%20*%20np.eye(2)%2C%200.35%20*%20np.eye(2)%5D%0A%20%20%20%20clusters_mot_a%20%3D%20%5Brng_mot_a.multivariate_normal(mean%2C%20cov%2C%20size%3Dn_per_mot_a)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20mean%2C%20cov%20in%20zip(means_mot_a%2C%20covs_mot_a)%5D%0A%0A%20%20%20%20colors_mot_a%20%3D%20%5B%22tab%3Ablue%22%2C%20%22tab%3Aorange%22%2C%20%22tab%3Agreen%22%5D%0A%20%20%20%20colors_cluster_mot_a%20%3D%20%5B%22tab%3Aorange%22%2C%20%22tab%3Ablue%22%2C%20%22tab%3Agreen%22%5D%0A%0A%20%20%20%20fig_mot_a%2C%20axes_mot_a%20%3D%20plt.subplots(1%2C%202%2C%20figsize%3D(6%2C%204)%2C%20sharex%3DTrue%2C%20sharey%3DTrue)%0A%20%20%20%20ax_mot_a_left%20%3D%20axes_mot_a%5B0%5D%0A%20%20%20%20for%20k_mot_a%20in%20range(3)%3A%0A%20%20%20%20%20%20%20%20ax_mot_a_left.scatter(clusters_mot_a%5Bk_mot_a%5D%5B%3A%2C%200%5D%2C%20clusters_mot_a%5Bk_mot_a%5D%5B%3A%2C%201%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20c%3Dcolors_mot_a%5Bk_mot_a%5D%2C%20s%3D40%2C%20edgecolor%3D%22k%22)%0A%20%20%20%20ax_mot_a_left.set_aspect(%22equal%22%2C%20%22box%22)%0A%20%20%20%20ax_mot_a_left.grid(alpha%3D0.25)%0A%0A%20%20%20%20ax_mot_a_right%20%3D%20axes_mot_a%5B1%5D%0A%20%20%20%20for%20k_mot_a%20in%20range(3)%3A%0A%20%20%20%20%20%20%20%20ax_mot_a_right.scatter(clusters_mot_a%5Bk_mot_a%5D%5B%3A%2C%200%5D%2C%20clusters_mot_a%5Bk_mot_a%5D%5B%3A%2C%201%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20c%3Dcolors_cluster_mot_a%5Bk_mot_a%5D%2C%20s%3D40%2C%20edgecolor%3D%22k%22)%0A%20%20%20%20ax_mot_a_right.set_aspect(%22equal%22%2C%20%22box%22)%0A%20%20%20%20ax_mot_a_right.grid(alpha%3D0.25)%0A%0A%20%20%20%20fig_mot_a.tight_layout(rect%3D%5B0%2C%200.03%2C%201%2C%200.95%5D)%0A%0A%20%20%20%20mo.as_html(fig_mot_a)%0A%20%20%20%20plt.close(fig_mot_a)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20np%2C%20plt)%3A%0A%20%20%20%20%23%20Same%20idea%20but%20with%20overlapping%20clusters%3A%20shows%20that%20the%0A%20%20%20%20%23%20colour-permutation%20invariance%20matters%20even%20more%20when%20the%0A%20%20%20%20%23%20clusters%20are%20noisy.%0A%20%20%20%20rng_mot_b%20%3D%20np.random.default_rng(42)%0A%20%20%20%20n_per_mot_b%20%3D%2060%0A%0A%20%20%20%20means_mot_b%20%3D%20np.array(%5B%5B1.5%2C%200.5%5D%2C%20%5B4.0%2C%20-0.2%5D%2C%20%5B2.7%2C%202.2%5D%5D)%0A%20%20%20%20covs_mot_b%20%3D%20%5B2.0%20*%20np.eye(2)%2C%201.7%20*%20np.eye(2)%2C%201.5%20*%20np.eye(2)%5D%0A%20%20%20%20clusters_mot_b%20%3D%20%5Brng_mot_b.multivariate_normal(mean%2C%20cov%2C%20size%3Dn_per_mot_b)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20mean%2C%20cov%20in%20zip(means_mot_b%2C%20covs_mot_b)%5D%0A%0A%20%20%20%20colors_mot_b%20%3D%20%5B%22tab%3Ablue%22%2C%20%22tab%3Aorange%22%2C%20%22tab%3Agreen%22%5D%0A%20%20%20%20colors_cluster_mot_b%20%3D%20%5B%22tab%3Aorange%22%2C%20%22tab%3Ablue%22%2C%20%22tab%3Agreen%22%5D%0A%0A%20%20%20%20fig_mot_b%2C%20axes_mot_b%20%3D%20plt.subplots(1%2C%202%2C%20figsize%3D(6%2C%204)%2C%20sharex%3DTrue%2C%20sharey%3DTrue)%0A%20%20%20%20ax_mot_b_left%20%3D%20axes_mot_b%5B0%5D%0A%20%20%20%20for%20k_mot_b%20in%20range(3)%3A%0A%20%20%20%20%20%20%20%20ax_mot_b_left.scatter(clusters_mot_b%5Bk_mot_b%5D%5B%3A%2C%200%5D%2C%20clusters_mot_b%5Bk_mot_b%5D%5B%3A%2C%201%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20c%3Dcolors_mot_b%5Bk_mot_b%5D%2C%20s%3D40%2C%20edgecolor%3D%22k%22%2C%20alpha%3D0.75)%0A%20%20%20%20ax_mot_b_left.set_aspect(%22equal%22%2C%20%22box%22)%0A%20%20%20%20ax_mot_b_left.grid(alpha%3D0.25)%0A%0A%20%20%20%20ax_mot_b_right%20%3D%20axes_mot_b%5B1%5D%0A%20%20%20%20for%20k_mot_b%20in%20range(3)%3A%0A%20%20%20%20%20%20%20%20ax_mot_b_right.scatter(clusters_mot_b%5Bk_mot_b%5D%5B%3A%2C%200%5D%2C%20clusters_mot_b%5Bk_mot_b%5D%5B%3A%2C%201%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20c%3Dcolors_cluster_mot_b%5Bk_mot_b%5D%2C%20s%3D40%2C%20edgecolor%3D%22k%22%2C%20alpha%3D0.75)%0A%20%20%20%20ax_mot_b_right.set_aspect(%22equal%22%2C%20%22box%22)%0A%20%20%20%20ax_mot_b_right.grid(alpha%3D0.25)%0A%0A%20%20%20%20fig_mot_b.tight_layout(rect%3D%5B0%2C%200.03%2C%201%2C%200.95%5D)%0A%0A%20%20%20%20mo.as_html(fig_mot_b)%0A%20%20%20%20plt.close(fig_mot_b)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Clustering%20accuracy%0A%0A%20%20%20%20-%20Standard%20accuracy%20is%20computed%20as%3A%0A%20%20%20%20-%20Index%20for%20a%20particular%20class%20is%20(usually)%20arbitrary!%0A%20%20%20%20%20%20%20%20-%20No%20reason%20the%20cluster%20predictions%20should%20have%20the%20same%20value%20as%20the%20true%20labels.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20An%20assignment%20problem%0A%0A%20%20%20%20-%20A%20fundamental%20combinatorial%20optimization%20problem%3A%0A%20%20%20%20%20%20%20%20-%20%3A%0A%20%20%20%20-%20Standard%20approach%20in%20clustering%3A%20%5B**Hungarian%20algorithm**%5D(https%3A%2F%2Fen.wikipedia.org%2Fwiki%2FHungarian_algorithm)%0A%20%20%20%20-%20%5B**Scipy%20implementation**%5D(https%3A%2F%2Fdocs.scipy.org%2Fdoc%2Fscipy%2Freference%2Fgenerated%2Fscipy.optimize.linear_sum_assignment.html)%0A%20%20%20%20-%20General%20procedure%3A%0A%20%20%20%20%20%20%20%20-%20Solve%20assignment%20problem%20with%20Hungarian%20algorithm.%0A%20%20%20%20%20%20%20%20-%20Compute%20accuracy%20as%20usual.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Normalized%20mutual%20information%0A%0A%20%20%20%20-%20An%20alternative%20quality%20measure%20is%20normalized%20mutual%20information%3A%20%24%20NMI(Y%2C%20%5Chat%7BY%7D)%3D%5Cfrac%7B2%20I(Y%2C%20%5Chat%7BY%7D)%7D%7BH(Y)%20%2B%20H(%5Chat%7BY%7D)%7D%24%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Normalized%20mutual%20information%0A%0A%20%20%20%20-%20Understanding%20%24I(Y%2C%20%5Chat%7BY%7D)%24%3A%0A%20%20%20%20-%20%5B**Scikit%20learn%20implementation**%5D(https%3A%2F%2Fscikit-learn.org%2Fstable%2Fmodules%2Fgenerated%2Fsklearn.metrics.normalized_mutual_info_score.html)%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Silhouette%20score%0A%0A%20%20%20%20-%20Both%20clustering%20accuracy%20and%20normalized%20mutual%20information%20assumes%20access%20to%20the%20true%20labels.%0A%20%20%20%20-%20What%20if%20that%20is%20not%20available%3F%0A%20%20%20%20-%20Several%20options%2C%20but%20the%20Silhouette%20score%20is%20widely%20used.%0A%20%20%20%20-%20Measure%20how%20similar%20an%20object%20is%20to%20its%20own%20cluster%20compare%20to%20other%20clusters.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Silhouette%20score%0A%0A%20%20%20%20-%20Computation%3A%0A%20%20%20%20-%20%5B**Scikit%20learn%20implementation**%5D(https%3A%2F%2Fscikit-learn.org%2Fstable%2Fmodules%2Fgenerated%2Fsklearn.metrics.silhouette_score.html)%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A