neural networks 3

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.10%22%0A%23%20dependencies%20%3D%20%5B%0A%23%20%20%20%20%20%22marimo%22%2C%0A%23%20%20%20%20%20%22numpy%22%2C%0A%23%20%20%20%20%20%22matplotlib%22%2C%0A%23%20%20%20%20%20%22scikit-learn%22%2C%0A%23%20%5D%0A%23%20%2F%2F%2F%0A%23%0A%23%20Marimo%20version%20of%20the%20Neural%20Networks%20III%20lecture.%0A%23%20Same%20content%20as%20notebooks%2F04%2Fneural_networks_3.ipynb%2C%20but%20authored%20as%0A%23%20a%20reactive%20Marimo%20app%20so%20each%20matplotlib%20figure%20stays%20tied%20to%20the%20data%0A%23%20generation%20that%20produced%20it%20(one%20slide%20per%20concept%2C%20matching%20the%0A%23%20density_estimation%20notebook's%20structure).%0A%23%20Run%20locally%20with%20%60marimo%20edit%20notebooks%2F04%2Fneural_networks_3.py%60%0A%23%20or%20export%20to%20WASM%20for%20GitHub%20Pages%20(see%20.github%2Fworkflows%2Fpublish-slides.yml).%0A%23%0A%23%20NOTE%20on%20scoping%3A%20in%20Jupyter%20the%20same%20name%20(e.g.%20%60x_inner%60)%20can%20be%0A%23%20redefined%20in%20any%20number%20of%20cells%2C%20but%20Marimo%20requires%20each%20name%20to%20be%0A%23%20owned%20by%20exactly%20one%20cell.%20Below%2C%20the%20cell-local%20dataset%20and%20figure%0A%23%20use%20the%20%60_polar%60%20suffix%20so%20they%20stay%20independent%20of%20any%20future%0A%23%20cells%20that%20might%20want%20similar%20names.%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.23.13%22%0Aapp%20%3D%20marimo.App(%0A%20%20%20%20width%3D%22medium%22%2C%0A%20%20%20%20layout_file%3D%22data%3Aapplication%2Fjson%3Bbase64%2CewogICJ0eXBlIjogInNsaWRlcyIsCiAgImRhdGEiOiB7fQp9Cg%3D%3D%22%2C%0A%20%20%20%20css_file%3D%22..%2F_shared%2Fmath.css%22%2C%0A)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20os%0A%20%20%20%20from%20pathlib%20import%20Path%0A%0A%20%20%20%20%23%20Make%20%60mo.image(src%3D%22media%2Ffoo.png%22)%60%20resolve%20regardless%20of%20which%0A%20%20%20%20%23%20directory%20%60marimo%20edit%60%20is%20launched%20from.%20We%20chdir%20to%20the%20notebook's%0A%20%20%20%20%23%20own%20directory%20so%20the%20relative%20%60media%2F%60%20path%20works%20the%20same%20way%20it%0A%20%20%20%20%23%20does%20for%20the%20deployed%20WASM%20build%20(where%20the%20page%20sits%20next%20to%0A%20%20%20%20%23%20%60media%2F%60).%20In%20WASM%2C%20%60__file__%60%20may%20not%20be%20set%20and%20the%20chdir%20becomes%0A%20%20%20%20%23%20a%20no-op%20%E2%80%94%20the%20browser%20still%20fetches%20the%20images%20via%20the%20page%20URL.%0A%20%20%20%20if%20%22__file__%22%20in%20globals()%20and%20__file__%3A%0A%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20os.chdir(Path(__file__).resolve().parent)%0A%20%20%20%20%20%20%20%20except%20OSError%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20pass%0A%0A%20%20%20%20import%20marimo%20as%20mo%0A%0A%20%20%20%20return%20(mo%2C)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20import%20matplotlib.pyplot%20as%20plt%0A%0A%20%20%20%20%23%20Seed%20once%20so%20the%20same%20samples%20back%20every%20figure%20in%20this%20notebook%20%E2%80%94%0A%20%20%20%20%23%20otherwise%20the%20slides%20re-roll%20data%20on%20each%20render%20and%20the%20figures%0A%20%20%20%20%23%20change%20between%20class%20sessions.%0A%20%20%20%20np.random.seed(0)%0A%20%20%20%20return%20np%2C%20plt%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Neural%20Networks%20III%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Introduction%0A%0A%20%20%20%20-%20You%20have%20now%20learned%20about%20the%20fundamentals%20of%20neural%20networks.%0A%20%20%20%20-%20The%20goal%20of%20this%20lecture%20it%20to%20elevate%20your%20understanding%20of%20neural%20networks.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20The%20core%20idea%20of%20neural%20networks%20-%20transform%20data%20into%20a%20new%20representation.%0A%0A%20%20%20%20-%20Neural%20networks%20belong%20to%20the%20field%20of%20research%20called%20representation%20learning.%0A%20%20%20%20-%20Very%20useful%20in%20cases%20where%20the%20original%20representation%20is%20difficult%20to%20work%20with.%0A%20%20%20%20%20%20%20%20-%20Images%2C%20text%2C%20graphs%2C%20etc.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20np%2C%20plt)%3A%0A%20%20%20%20%23%20Two%20noisy%20concentric%20circles%20in%20Cartesian%20space%20and%20the%20same%0A%20%20%20%20%23%20samples%20in%20polar%20coordinates.%20The%20polar%20view%20collapses%20each%0A%20%20%20%20%23%20circle%20onto%20a%20thin%20horizontal%20band%20of%20radii%2C%20making%20the%20two%0A%20%20%20%20%23%20classes%20trivially%20separable%20%E2%80%94%20a%20concrete%20illustration%20of%0A%20%20%20%20%23%20representation%20learning.%0A%20%20%20%20n_samples_polar%20%3D%20200%0A%0A%20%20%20%20r_inner_polar%20%3D%201%0A%20%20%20%20theta_inner_polar%20%3D%202%20*%20np.pi%20*%20np.random.rand(n_samples_polar%20%2F%2F%202)%0A%20%20%20%20x_inner_polar%20%3D%20r_inner_polar%20*%20np.cos(theta_inner_polar)%20%2B%200.2%20*%20np.random.randn(n_samples_polar%20%2F%2F%202)%0A%20%20%20%20y_inner_polar%20%3D%20r_inner_polar%20*%20np.sin(theta_inner_polar)%20%2B%200.2%20*%20np.random.randn(n_samples_polar%20%2F%2F%202)%0A%20%20%20%20r_inner_polar_calc%20%3D%20np.sqrt(x_inner_polar%20**%202%20%2B%20y_inner_polar%20**%202)%0A%20%20%20%20theta_inner_polar_calc%20%3D%20np.arctan2(y_inner_polar%2C%20x_inner_polar)%0A%0A%20%20%20%20r_outer_polar%20%3D%202.5%0A%20%20%20%20theta_outer_polar%20%3D%202%20*%20np.pi%20*%20np.random.rand(n_samples_polar%20%2F%2F%202)%0A%20%20%20%20x_outer_polar%20%3D%20r_outer_polar%20*%20np.cos(theta_outer_polar)%20%2B%200.2%20*%20np.random.randn(n_samples_polar%20%2F%2F%202)%0A%20%20%20%20y_outer_polar%20%3D%20r_outer_polar%20*%20np.sin(theta_outer_polar)%20%2B%200.2%20*%20np.random.randn(n_samples_polar%20%2F%2F%202)%0A%20%20%20%20r_outer_polar_calc%20%3D%20np.sqrt(x_outer_polar%20**%202%20%2B%20y_outer_polar%20**%202)%0A%20%20%20%20theta_outer_polar_calc%20%3D%20np.arctan2(y_outer_polar%2C%20x_outer_polar)%0A%0A%20%20%20%20fig_polar%2C%20(ax_polar_xy%2C%20ax_polar_rt)%20%3D%20plt.subplots(1%2C%202%2C%20figsize%3D(12%2C%204))%0A%20%20%20%20ax_polar_xy.scatter(x_inner_polar%2C%20y_inner_polar%2C%20color%3D%22blue%22%2C%20edgecolor%3D%22k%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20s%3D80%2C%20label%3D%22Class%201%22)%0A%20%20%20%20ax_polar_xy.scatter(x_outer_polar%2C%20y_outer_polar%2C%20color%3D%22red%22%2C%20edgecolor%3D%22k%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20s%3D80%2C%20label%3D%22Class%202%22)%0A%20%20%20%20ax_polar_xy.set_xlabel(%22x%22)%0A%20%20%20%20ax_polar_xy.set_ylabel(%22y%22)%0A%20%20%20%20ax_polar_xy.set_aspect(%22equal%22)%0A%20%20%20%20ax_polar_xy.legend()%0A%20%20%20%20ax_polar_rt.scatter(r_inner_polar_calc%2C%20theta_inner_polar_calc%2C%20color%3D%22blue%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20edgecolor%3D%22k%22%2C%20s%3D80%2C%20label%3D%22Class%201%22)%0A%20%20%20%20ax_polar_rt.scatter(r_outer_polar_calc%2C%20theta_outer_polar_calc%2C%20color%3D%22red%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20edgecolor%3D%22k%22%2C%20s%3D80%2C%20label%3D%22Class%202%22)%0A%20%20%20%20ax_polar_rt.set_xlabel(%22r%22)%0A%20%20%20%20ax_polar_rt.set_ylabel(%22%CE%B8%22)%0A%20%20%20%20ax_polar_rt.legend()%0A%20%20%20%20fig_polar.tight_layout()%0A%0A%20%20%20%20mo.as_html(fig_polar)%0A%20%20%20%20plt.close(fig_polar)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20The%20core%20idea%20of%20neural%20networks%20-%20transform%20data%20into%20a%20new%20representation%0A%0A%20%20%20%20-%20Show%20video%0A%20%20%20%20-%20%5BVisualizing%20Neural%20Networks%20with%20the%20Grand%20Tour%5D(https%3A%2F%2Fdistill.pub%2F2020%2Fgrand-tour%2F)%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20From%20scalars%20and%20sum%20to%20vectors%20and%20matrix%20multiplication%0A%0A%20%20%20%20-%20Our%20derivation%20of%20Backpropagation%20two%20lectures%20back%20looked%20at%20scalar%20derivatives.%0A%20%20%20%20-%20Very%20little%20linear%20algebra%20and%20vector%20calculus.%0A%20%20%20%20-%20Simple%20operation%2C%20but%20leads%20to%20complicated%20computations%0A%20%20%20%20%20%20%20%20-%20A%20lot%20of%20indices%20and%20sums.%0A%20%20%20%20-%20We%20will%20now%20continue%20the%20representation%20perspective%20to%20derive%20a%20much%20cleaner%20version%20of%20Backpropagation.%0A%20%20%20%20%20%20%20%20-%20Bonus%3A%20also%20aligns%20much%20more%20closely%20to%20how%20the%20code%20should%20look!%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20A%20new%20perspective%20of%20neural%20networks%20-%20modules%20of%20computation%0A%0A%20%20%20%20-%20Draw%20example.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Forward%20pass%20with%20linear%20algebra%0A%0A%20%20%20%20-%20Before%20we%20looked%20at%20the%20pre-activation%20of%20one%20neuron%3A%20%24z_j%5El%20%3D%20%5Cmathbf%7Bw%7D_j%5El%20%5Cmathbf%7Ba%7D%5E%7Bl-1%7D%24%0A%20%20%20%20-%20Note%3A%20augmented%20space!%0A%20%20%20%20-%20Now%20we%20look%20at%20the%20pre-activations%20of%20the%20whole%20layer%3A%20%24%5Cmathbf%7Bz%7D%5El%20%3D%24%0A%0A%20%20%20%20---%0A%0A%20%20%20%20-%20Reminder%3A%20%24%5Cmathbf%7Ba%7D%5E%7Bl-1%7D%20%3D%24%0A%0A%20%20%20%20---%0A%0A%20%20%20%20-%20And%20%3A%20%24%5Cmathbf%7BW%7D%5El%20%3D%24%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Forward%20pass%20with%20linear%20algebra%0A%0A%20%20%20%20-%20Usually%20want%20to%20process%20a%20batch%20of%20samples.%0A%20%20%20%20-%20Can%20also%20be%20done%20efficiently!%0A%20%20%20%20-%20Let%20a%20batch%20of%20inputs%20be%20represented%20as%20%24%5Cmathbf%7BA%7D%5E%7Bl-1%7D%20%3D%20%5Cbegin%7Bbmatrix%7D%20a_%7B1%2C1%7D%5E%7Bl-1%7D%20%26%20a_%7B1%2C2%7D%5E%7Bl-1%7D%20%26%20%5Ccdots%20%26%20a_%7B1%2Ck_%7Bl-1%7D%7D%5E%7Bl-1%7D%20%26%201%20%5C%5C%20a_%7B2%2C1%7D%5E%7Bl-1%7D%20%26%20a_%7B2%2C2%7D%5E%7Bl-1%7D%20%26%20%5Ccdots%20%26%20a_%7B2%2Ck_%7Bl-1%7D%7D%5E%7Bl-1%7D%20%26%201%20%5C%5C%20%5Cvdots%20%20%20%20%20%20%20%20%26%20%5Cvdots%20%20%20%20%20%20%20%20%26%20%5Cddots%20%26%20%5Cvdots%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5C%5C%20a_%7BN%2C1%7D%5E%7Bl-1%7D%20%26%20a_%7BN%2C2%7D%5E%7Bl-1%7D%20%26%20%5Ccdots%20%26%20a_%7BN%2Ck_%7Bl-1%7D%7D%5E%7Bl-1%7D%20%26%201%20%5Cend%7Bbmatrix%7D%24%0A%0A%20%20%20%20---%0A%0A%20%20%20%20-%20Then%3A%0A%0A%20%20%20%20---%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Backward%20pass%20with%20linear%20algebra%20and%20vector%20calculus%0A%0A%20%20%20%20-%20Previously%2C%20for%20the%20output%20layer%3A%20%24%5Cfrac%7B%5Cpartial%7D%7B%5Cpartial%20%5Cmathbf%7Bw%7D_j%5EL%7D%20E%20(i)%20%3D%20%5Cfrac%7B%5Cpartial%7D%7B%5Cpartial%20%5Cmathbf%7Bw%7D_j%5EL%7D%20z_j%5EL%20(i)%20%5Cfrac%7B%5Cpartial%7D%7B%5Cpartial%20z_j%5EL%20(i)%20%7DE%20(i)%24%0A%20%20%20%20-%20Want%3A%20%24%5Cfrac%7B%5Cpartial%20J%7D%7B%5Cpartial%20%5Cmathbf%7BW%7D%5El%7D%24%0A%20%20%20%20-%20Difficult%2C%20ends%20up%20with%20a%20vector%20by%20matrix%20derivate.%0A%20%20%20%20-%20Start%20simpler%3A%20%24%5Cfrac%7B%5Cpartial%7D%7B%5Cpartial%20%5Cmathbf%7Bw%7D_j%5EL%7D%20%5Cmathbf%7Bz%7D%5EL%20%5Cfrac%7B%5Cpartial%7D%7B%5Cpartial%20%5Cmathbf%7Bz%7D%5EL%7D%5Cmathbf%7Be%7D%5ET%5Cmathbf%7Be%7D%5Cfrac%7B1%7D%7B2%7D%24%0A%20%20%20%20-%20Where%20we%20assume%20one-hot%20encoded%20labels%20and%20%24%5Cmathbf%7Be%7D%3D(%5Cmathbf%7Ba%7D%5EL-%5Cmathbf%7By%7D)%24%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Finding%20%24%5Cdelta%24%20for%20output%20layer%0A%0A%20%20%20%20-%20We%20have%20dealt%20with%20the%20following%20term%20before%20%24%5Cfrac%7B%5Cpartial%7D%7B%5Cpartial%20%5Cmathbf%7Bz%7D%5EL%7D%5Cmathbf%7Be%7D%5ET%5Cmathbf%7Be%7D%5Cfrac%7B1%7D%7B2%7D%3D%5Cmathbf%7Be%7D%5Cfrac%7B%5Cpartial%7D%7B%5Cpartial%20%5Cmathbf%7Bz%7D%5EL%7D(%5Cmathbf%7Ba%7D%5EL-%5Cmathbf%7By%7D)%24%0A%20%20%20%20-%20%24%5Cmathbf%7By%7D%24%20does%20not%20depend%20on%20%24%5Cmathbf%7Bz%7D%5EL%24%2C%20and%20we%20keep%20the%20derivative%20of%20%24%5Cmathbf%7Ba%7D%5EL%3Df(%5Cmathbf%7Bz%7D%5EL)%24%20general.%0A%20%20%20%20-%20We%20have%20a%20vector%20by%20vector%20derivative%20%24%5CRightarrow%24%20Jacobian%3A%20%24%5Cfrac%7B%5Cpartial%20%5Cmathbf%7Ba%7D%5EL%7D%7B%5Cpartial%20%5Cmathbf%7Bz%7D%5EL%7D%20%3D%24%0A%0A%20%20%20%20---%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Finding%20%24%5Cdelta%24%20for%20output%20layer%0A%0A%20%20%20%20-%20Can%20be%20compatctly%20represented%20as%20%24%5Cfrac%7B%5Cpartial%7D%7B%5Cpartial%20%5Cmathbf%7Bz%7D%5EL%7D%5Cmathbf%7Be%7D%5ET%5Cmathbf%7Be%7D%5Cfrac%7B1%7D%7B2%7D%20%3D%24%0A%0A%20%20%20%20---%0A%0A%20%20%20%20-%20%24%5Codot%24%20is%20the%20Hadamard%20product%20or%20elementwise%20multiplication.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Backward%20pass%20with%20linear%20algebra%20and%20vector%20calculus%0A%0A%20%20%20%20-%20Now%2C%20we%20turn%20to%3A%20%24%5Cfrac%7B%5Cpartial%7D%7B%5Cpartial%20%5Cmathbf%7Bw%7D_j%5EL%7D%20%5Cmathbf%7Bz%7D%5EL%24%0A%20%20%20%20-%20Vector%20by%20vector%20derivatve%20%24%5CRightarrow%24%20Jacobian%20matrix%3A%0A%0A%20%20%20%20---%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Derivative%20of%20one%20element%20in%20Jacobian%0A%0A%20%20%20%20-%20Reminder%3A%20%24z%5EL_1%20%3D%20w_%7B1%2C1%7D*a%5E%7BL-1%7D_1%20%2B%20w_%7B1%2C2%7D*a%5E%7BL-1%7D_2%20%2B%20%5Ccdots%20w_%7B1%2Ck_%7BL-1%7D%7D*a%5E%7BL-1%7D_%7Bk_%7BL-1%7D%7D%20%2B%201*w_%7B1%2C0%7D%24%0A%20%20%20%20-%20Therefore%3A%20%24%5Cfrac%7B%5Cpartial%7D%7B%5Cpartial%20w_%7B1%2C1%7D%7Dz%5EL_1%20%3D%24%0A%0A%20%20%20%20---%0A%0A%20%20%20%20-%20Back%20to%20Jacobian%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Putting%20it%20all%20together%0A%0A%20%20%20%20-%20Combing%20both%20derivatives%20give%3A%0A%0A%20%20%20%20---%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Putting%20it%20all%20together%0A%0A%20%20%20%20-%20Take%20a%20step%20back.%20Derivative%20of%20loss%20with%20respect%20to%20neuron%201%20gave%20non-zero%20elements%20in%20column%201.%0A%20%20%20%20-%20If%20we%20repeat%20process%20of%20derivative%20with%20resepct%20to%20neuron%20%24j%24%2C%20coulmn%20%24j%24%20will%20be%20non-zero.%0A%20%20%20%20-%20We%20can%20get%20all%20derivatives%20with%20one%20matrix%20operation%3A%0A%20%20%20%20-%20%24%5Cfrac%7B%5Cpartial%20J%7D%7B%5Cpartial%20%5Cmathbf%7BW%7D%5EL%7D%20%3D%24%0A%0A%20%20%20%20---%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20What%20have%20we%20gained%3F%0A%0A%20%20%20%20-%20A%20lot%20of%20work%2C%20but%20clean%20result%20with%20simple%20rule.%0A%20%20%20%20-%20To%20find%20gradients%20of%20loss%20with%20respect%20to%20weights%20in%20layer%20%24l%24%2C%20look%20at%20%24%5Cdelta%24%20from%20current%20layer%20and%20output%20from%20previous%20layer.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20A%20final%20touch%20on%20neural%20networks%0A%0A%20%20%20%20-%20Many%20nice%20results%20for%20linear%20classifiers.%0A%20%20%20%20%20%20%20%20-%20Optimal%20in%20terms%20of%20e.g.%20maximum%20likelihood.%0A%20%20%20%20%20%20%20%20-%20Guarantueed%20unique%20solution%20for%20SVM.%0A%20%20%20%20-%20Hard%20to%20obtain%20similar%20results%20for%20neural%20networks%20due%20to%20their%20complexity.%0A%20%20%20%20-%20However%2C%20work%20is%20ongoing!%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Connecting%20SVMs%20and%20neural%20networks%0A%0A%20%20%20%20-%20The%20big%20question%20in%20neural%20network%20research%3A%0A%20%20%20%20%20%20%20%20-%20Why%20do%20they%20generalize%20so%20well%3F%0A%20%20%20%20%20%20%20%20-%20Seems%20to%20defy%20traditional%20statistics.%0A%20%20%20%20-%20One%20of%20many%20directions%20to%20answer%20this%20question%3A%0A%20%20%20%20%20%20%20%20-%20Generalization%20due%20to%20implicit%20bias%20in%20gradient%20descent%20algorithm.%0A%20%20%20%20-%20%5BInteresting%20work%20by%20Soundry%20et%20al%20(2018)%5D(https%3A%2F%2Fwww.jmlr.org%2Fpapers%2Fvolume19%2F18-188%2F18-188.pdf)%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%23%20Connecting%20SVMs%20and%20neural%20networks%0A%0A%20%20%20%20%20%20%20%20-%20Setting%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20-%20Neural%20network%20with%20one%20layer.%0A%20%20%20%20%20%20%20%20%20%20%20%20-%20Binary%20classification.%0A%20%20%20%20%20%20%20%20%20%20%20%20-%20Separable%20classes%20(similar%20results%20have%20been%20shown%20for%20non-separable%20classes).%0A%20%20%20%20%20%20%20%20%20%20%20%20-%20Also%20some%20assumptions%20on%20loss%20function.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Setting%20figure%20from%20Soudry%20et%20al.%20%E2%80%94%20the%20optimisation%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20trajectory%20in%20the%20(w%E2%82%81%2C%20w%E2%82%82)%20plane%20that%20motivates%20the%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20gradient-descent%20%2F%20hard-margin-SVM%20equivalence%20below.%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.image(src%3D%22media%2Fsoundry.png%22%2C%20width%3D%22700px%22)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20gap%3D1%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%23%20Connecting%20SVMs%20and%20neural%20networks%0A%0A%20%20%20%20%20%20%20%20-%20What%20happens%20when%20we%20let%20the%20number%20of%20iterations%20tend%20towards%20infinity%3F%0A%20%20%20%20%20%20%20%20-%20Remarkably%2C%20we%20obtain%20the%20weights%20of%20the%20hard%20margin%20SVM!%0A%20%20%20%20%20%20%20%20-%20They%20also%20show%20how%20the%20KKT%20conditions%20%22naturally%22%20fall%20out%20of%20this%20analysis.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Companion%20figure%20%E2%80%94%20same%20setting%20after%20many%20iterations%3B%20the%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20weight%20vector%20aligns%20with%20the%20max-margin%20SVM%20solution%20and%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20the%20KKT-supporting%20samples%20are%20highlighted%20on%20the%20data.%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.image(src%3D%22media%2Fsoundry2.png%22%2C%20width%3D%22700px%22)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20gap%3D1%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Wrapping%20up%20neural%20networks%0A%0A%20%20%20%20-%20Neural%20networks%20are%20powerful%20and%20versatile%20tools.%0A%20%20%20%20-%20You%20have%20now%20learned%20the%20fundamentals.%20A%20lot%20more%20to%20be%20said.%0A%20%20%20%20%20%20%20%20-%20However%2C%20this%20foundation%20often%20applies%20also%20for%20bigger%20and%20more%20modern%20neural%20networks.%0A%20%20%20%20-%20This%20course%20is%20your%20chance%20to%20code%20a%20neural%20network%20from%20scratch%2C%20take%20that%20opportunity!%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A