rbf networks

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.10%22%0A%23%20dependencies%20%3D%20%5B%0A%23%20%20%20%20%20%22marimo%22%2C%0A%23%20%20%20%20%20%22numpy%22%2C%0A%23%20%20%20%20%20%22matplotlib%22%2C%0A%23%20%5D%0A%23%20%2F%2F%2F%0A%23%0A%23%20Marimo%20version%20of%20the%20RBF%20Networks%20and%20Prototypical%20Learning%20lecture.%0A%23%20Same%20content%20as%20notebooks%2F05%2Frbf_networks.ipynb%2C%20but%20authored%20as%20a%0A%23%20reactive%20Marimo%20app%20so%20each%20matplotlib%20figure%20stays%20tied%20to%20the%20data%0A%23%20generation%20that%20produced%20it%20(one%20slide%20per%20concept%2C%20matching%20the%0A%23%20density_estimation%20notebook's%20structure).%0A%23%20Run%20locally%20with%20%60marimo%20edit%20notebooks%2F05%2Frbf_networks.py%60%0A%23%20or%20export%20to%20WASM%20for%20GitHub%20Pages%20(see%20.github%2Fworkflows%2Fpublish-slides.yml).%0A%23%0A%23%20NOTE%20on%20scoping%3A%20in%20Jupyter%20the%20same%20name%20(e.g.%20%60X%60)%20can%20be%20redefined%0A%23%20in%20any%20number%20of%20cells%2C%20but%20Marimo%20requires%20each%20name%20to%20be%20owned%20by%0A%23%20exactly%20one%20cell.%20Below%2C%20the%20cell-local%20dataset%20and%20figure%20use%20the%0A%23%20%60_xor%60%20suffix%20so%20they%20stay%20independent%20of%20any%20future%20cells%20that%0A%23%20might%20want%20similar%20names.%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.23.13%22%0Aapp%20%3D%20marimo.App(%0A%20%20%20%20width%3D%22medium%22%2C%0A%20%20%20%20layout_file%3D%22data%3Aapplication%2Fjson%3Bbase64%2CewogICJ0eXBlIjogInNsaWRlcyIsCiAgImRhdGEiOiB7fQp9Cg%3D%3D%22%2C%0A)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20os%0A%20%20%20%20from%20pathlib%20import%20Path%0A%0A%20%20%20%20%23%20Make%20%60mo.image(src%3D%22media%2Ffoo.png%22)%60%20resolve%20regardless%20of%20which%0A%20%20%20%20%23%20directory%20%60marimo%20edit%60%20is%20launched%20from.%20We%20chdir%20to%20the%20notebook's%0A%20%20%20%20%23%20own%20directory%20so%20the%20relative%20%60media%2F%60%20path%20works%20the%20same%20way%20it%0A%20%20%20%20%23%20does%20for%20the%20deployed%20WASM%20build%20(where%20the%20page%20sits%20next%20to%0A%20%20%20%20%23%20%60media%2F%60).%20In%20WASM%2C%20%60__file__%60%20may%20not%20be%20set%20and%20the%20chdir%20becomes%0A%20%20%20%20%23%20a%20no-op%20%E2%80%94%20the%20browser%20still%20fetches%20the%20images%20via%20the%20page%20URL.%0A%20%20%20%20if%20%22__file__%22%20in%20globals()%20and%20__file__%3A%0A%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20os.chdir(Path(__file__).resolve().parent)%0A%20%20%20%20%20%20%20%20except%20OSError%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20pass%0A%0A%20%20%20%20import%20marimo%20as%20mo%0A%0A%20%20%20%20return%20(mo%2C)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20import%20matplotlib.pyplot%20as%20plt%0A%0A%20%20%20%20return%20np%2C%20plt%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20RBF%20Networks%20and%20Prototypical%20Learning%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Introduction%0A%0A%20%20%20%20-%20We%20have%20learned%20how%20neural%20networks%20transform%20data%20into%20new%20representation%20to%20solve%20non-linear%20problems.%0A%20%20%20%20-%20We%20will%20now%20look%20at%20non-linear%20classification%20from%20the%20perspective%20of%20function%20approximation.%0A%20%20%20%20-%20Key%20idea%3A%0A%20%20%20%20%20%20%20%20-%20Transform%20data%20in%20terms%20of%20a%20preselected%20class%20of%20interpolation%20functions.%0A%20%20%20%20-%20We%20will%20also%20see%20how%20RBF%20networks%20relate%20to%20the%20field%20of%20prototypical%20learning.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Function%20approximation%0A%0A%20%20%20%20-%20Recall%20the%20XOR%20example%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20np%2C%20plt)%3A%0A%20%20%20%20%23%20XOR%20dataset%3A%20four%20small%20Gaussian%20blobs%20at%20the%20corners%20of%20the%0A%20%20%20%20%23%20unit%20square%20with%20labels%20%7B0%2C%201%2C%201%2C%200%7D.%20Used%20here%20as%20a%20small%2C%0A%20%20%20%20%23%20already-familiar%20running%20example%20to%20motivate%20the%20function-%0A%20%20%20%20%23%20approximation%20framing%20of%20RBF%20networks.%0A%20%20%20%20np.random.seed(42)%0A%0A%20%20%20%20n_samples_xor%20%3D%2050%0A%20%20%20%20std_xor%20%3D%200.15%0A%0A%20%20%20%20centers_xor%20%3D%20np.array(%5B%5B0%2C%200%5D%2C%20%5B0%2C%201%5D%2C%20%5B1%2C%200%5D%2C%20%5B1%2C%201%5D%5D)%0A%20%20%20%20labels_xor%20%3D%20np.array(%5B0%2C%201%2C%201%2C%200%5D)%0A%0A%20%20%20%20X_xor%20%3D%20%5B%5D%0A%20%20%20%20y_xor%20%3D%20%5B%5D%0A%20%20%20%20for%20center_xor%2C%20label_xor%20in%20zip(centers_xor%2C%20labels_xor)%3A%0A%20%20%20%20%20%20%20%20X_xor.append(center_xor%20%2B%20std_xor%20*%20np.random.randn(n_samples_xor%2C%202))%0A%20%20%20%20%20%20%20%20y_xor.append(np.full(n_samples_xor%2C%20label_xor))%0A%20%20%20%20X_xor%20%3D%20np.vstack(X_xor)%0A%20%20%20%20y_xor%20%3D%20np.concatenate(y_xor)%0A%0A%20%20%20%20fig_xor%2C%20(ax_xor_1%2C%20ax_xor_2)%20%3D%20plt.subplots(1%2C%202%2C%20figsize%3D(8%2C%204))%0A%20%20%20%20ax_xor_1.scatter(X_xor%5By_xor%20%3D%3D%200%2C%200%5D%2C%20X_xor%5By_xor%20%3D%3D%200%2C%201%5D%2C%20color%3D%22blue%22%2C%20label%3D%22Class%200%22)%0A%20%20%20%20ax_xor_1.scatter(X_xor%5By_xor%20%3D%3D%201%2C%200%5D%2C%20X_xor%5By_xor%20%3D%3D%201%2C%201%5D%2C%20color%3D%22red%22%2C%20label%3D%22Class%201%22)%0A%20%20%20%20ax_xor_1.set_xlabel(%22x1%22)%0A%20%20%20%20ax_xor_1.set_ylabel(%22x2%22)%0A%20%20%20%20ax_xor_2.set_ylim(-0.5%2C%201.5)%0A%20%20%20%20ax_xor_2.set_xlim(-0.5%2C%201.5)%0A%20%20%20%20ax_xor_2.set_xlabel(%22x1%22)%0A%20%20%20%20ax_xor_2.set_ylabel(%22x2%22)%0A%0A%20%20%20%20mo.as_html(fig_xor)%0A%20%20%20%20plt.close(fig_xor)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20General%20idea%0A%0A%20%20%20%20-%20Let%20(non-linear)%20%24f_i%3A%20%5Cmathbb%7BR%7D%5Ed%20%5Crightarrow%20%5Cmathbb%7BR%7D%2C%20i%3D1%2C%5Ccdots%2Ck%24%0A%20%20%20%20-%20Look%20at%20%24%5Cmathbf%7Bx%7D%20%5Cin%20%5Cmathbb%7BR%7D%5Ed%24.%20(Usually%20%24k%3El%24)%0A%20%20%20%20-%20Draw%20example%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Network%0A%0A%20%20%20%20-%20The%20function%20approximation%20setup%20described%20above%20can%20be%20thought%20of%20as%20a%20network%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Radial%20basis%20function%20(RBF)%20networks%0A%0A%20%20%20%20-%20General%20idea%3A%0A%0A%20%20%20%20%24%24f(%5C%7C%5Cmathbf%7Bx%7D%20-%20%5Cmathbf%7Bc%7D_i%5C%7C)%24%24%0A%0A%20%20%20%20-%20RBF%20network%3A%0A%0A%20%20%20%20%24%24f(%5Cmathbf%7Bx%7D)%20%3D%20%5Cexp%5C!%5Cleft(-%5Cfrac%7B1%7D%7B2%5Csigma_i%5E2%7D%5C%7C%5Cmathbf%7Bx%7D%20-%20%5Cmathbf%7Bc%7D_i%5C%7C%5E2%5Cright)%24%24%0A%0A%20%20%20%20-%20Activation%20at%20node%20%24f_i%24%20given%20by%20distance%20to%20%24%5Cmathbf%7Bc%7D_i%24.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Estimating%20the%20weights%0A%0A%20%20%20%20-%20Any%20linear%20method%20will%20do!%0A%20%20%20%20-%20Let%20%24%5Cmathbf%7By%7D%24%20be%20the%20desired%20outputs.%20Construct%20matrix%20%24%5Cmathbf%7BG%7D%24%3A%0A%0A%20%20%20%20%24%24%5Cmathbf%7BG%7D%20%3D%20%5Cbegin%7Bbmatrix%7D%20%5Cphi(%5Cmathbf%7Bx%7D_1%2C%20%5Cmathbf%7Bc%7D_1)%20%26%20%5Ccdots%20%26%20%5Cphi(%5Cmathbf%7Bx%7D_1%2C%20%5Cmathbf%7Bc%7D_k)%20%5C%5C%20%5Cvdots%20%26%20%26%20%5Cvdots%20%5C%5C%20%5Cphi(%5Cmathbf%7Bx%7D_N%2C%20%5Cmathbf%7Bc%7D_1)%20%26%20%5Ccdots%20%26%20%5Cphi(%5Cmathbf%7Bx%7D_N%2C%20%5Cmathbf%7Bc%7D_k)%20%5Cend%7Bbmatrix%7D_%7BN%20%5Ctimes%20k%7D%24%24%0A%0A%20%20%20%20-%20So%3A%0A%0A%20%20%20%20%24%24%5Cmathbf%7Bg%7D%20%3D%20%5Cmathbf%7BG%7D%5Cmathbf%7Bw%7D%20%3D%20%5Cbegin%7Bbmatrix%7D%20g(%5Cmathbf%7Bx%7D_1)%20%5C%5C%20%5Cvdots%20%5C%5C%20g(%5Cmathbf%7Bx%7D_N)%20%5Cend%7Bbmatrix%7D%24%24%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Estimating%20the%20weights%0A%0A%20%20%20%20-%20Choose%20%24%5Cmathbf%7Bw%7D%24%20such%20that%20%24J%20%3D%20%5C%7C%5Cmathbf%7By%7D%20-%20%5Cmathbf%7BG%7D%5Cmathbf%7Bw%7D%5C%7C%5E2%24%20is%20minimized.%0A%0A%20%20%20%20%24%24%5Cfrac%7B%5Cpartial%20J%7D%7B%5Cpartial%20%5Cmathbf%7Bw%7D%7D%20%3D%200%20%5Cimplies%20%5Cboxed%7B%5Cmathbf%7Bw%7D%20%3D%20(%5Cmathbf%7BG%7D%5E%5Ctop%20%5Cmathbf%7BG%7D)%5E%7B-1%7D%20%5Cmathbf%7BG%7D%5E%5Ctop%20%5Cmathbf%7By%7D%7D%24%24%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20How%20to%20choose%20the%20centers%3F%0A%0A%20%20%20%20-%20**Fixed%20centres%3A**%20Centres%20selected%20randomly%20from%20the%20training%20set.%0A%20%20%20%20%20%20%20-%20Simple%2C%20but%20not%20optimum!%0A%20%20%20%20-%20**Training%20of%20the%20centres%3A**%20Let%20%24%5Csigma_i%5E2%24%2C%20%24%5Cmathbf%7Bc%7D_i%24%2C%20%24w_i%24%2C%20%24i%3D1%2C%5Cldots%2Ck%24%2C%20be%20free%20parameters%20learned%20from%20the%20training%20set.%0A%0A%20%20%20%20%24%24%5Cfrac%7B%5Cpartial%20J%7D%7B%5Cpartial%20%5Cmathbf%7Bc%7D_i%7D%20%3D%200%20%5Cimplies%20%5Cmathbf%7Bc%7D_i%5E%7B(%5Ctext%7Bnew%7D)%7D%20%3D%20%5Cmathbf%7Bc%7D_i%5E%7B(%5Ctext%7Bold%7D)%7D%20%2B%20%5Cmu%20%5Cfrac%7B%5Cpartial%20J%7D%7B%5Cpartial%20%5Cmathbf%7Bc%7D_i%7D%24%24%0A%20%20%20%20-%20Choose%20centres%20according%20to%20how%20the%20data%20are%20distributed%20in%20space.%20Draw%20-%3E%0A%20%20%20%20%20%20%20-%20More%20about%20this%20later.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Prototypical%20learning%0A%0A%20%20%20%20-%20Consider%20the%20following%20example%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20%23%20Uncertainty%20figure%3A%20motivates%20why%20prototypes%20%2F%20typical%20examples%0A%20%20%20%20%23%20help%20when%20a%20single%20decision%20boundary%20isn't%20enough%20to%20communicate%0A%20%20%20%20%23%20what%20the%20model%20has%20learned.%0A%20%20%20%20mo.image(src%3D%22media%2Funcertaintyex.jpg%22%2C%20width%3D%22400px%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Prototypical%20learning%0A%0A%20%20%20%20-%20Define%20%2F%20learn%20prototypes%20and%20classify%20new%20samples%20based%20on%20similarity.%0A%20%20%20%20-%20Prototypes%20can%20be%20defined%20in%20input%20space%20or%20in%20latent%20space!%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20%23%20ProtoVAE%20figure%3A%20prototypes%20learned%20in%20the%20latent%20space%20of%20a%0A%20%20%20%20%23%20variational%20autoencoder.%0A%20%20%20%20mo.image(src%3D%22media%2Fprotovae.png%22%2C%20width%3D%22700px%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Prototypical%20learning%0A%0A%20%20%20%20-%20Using%20prototypes%20can%20make%20it%20easier%20to%20understand%20the%20behaviour%20of%20your%20model.%0A%20%20%20%20-%20Prototypes%20represent%20%22typical%22%20examples%20in%20the%20data.%0A%20%20%20%20-%20Example%20from%20Kingma%20and%20Welling%2C%202016.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20%23%20VAE%20figure%3A%20original%20Kingma%20%26%20Welling%20VAE%20diagram%20that%20the%0A%20%20%20%20%23%20ProtoVAE%20builds%20on.%0A%20%20%20%20mo.image(src%3D%22media%2Fvae.png%22%2C%20width%3D%22700px%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Prototypical%20learning%0A%0A%20%20%20%20-%20Using%20prototypes%20can%20make%20it%20easier%20to%20understand%20the%20behaviour%20of%20your%20model.%0A%20%20%20%20-%20Prototypes%20represent%20%22typical%22%20examples%20in%20the%20data.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20%23%20Archetype%20figure%3A%20an%20alternative%20way%20of%20summarising%20a%20class%20with%0A%20%20%20%20%23%20a%20single%20%22typical%22%20example%20rather%20than%20a%20centroid.%0A%20%20%20%20mo.image(src%3D%22media%2Farchetype.png%22%2C%20width%3D%22400px%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Challenges%20with%20prototypical%20learning%0A%0A%20%20%20%20-%20Curse%20of%20dimensionality.%0A%20%20%20%20%20%20%20%20-%20Need%20many%20prototypes%20in%20high%20dimensional%20space.%20Can%20be%20computationally%20expensive.%0A%20%20%20%20-%20Optimization%20can%20be%20slow%2C%20and%20can%20be%20memory%20intensive.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A