neural networks 2

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.10%22%0A%23%20dependencies%20%3D%20%5B%0A%23%20%20%20%20%20%22marimo%22%2C%0A%23%20%20%20%20%20%22numpy%22%2C%0A%23%20%20%20%20%20%22matplotlib%22%2C%0A%23%20%20%20%20%20%22scikit-learn%22%2C%0A%23%20%5D%0A%23%20%2F%2F%2F%0A%23%0A%23%20Marimo%20version%20of%20the%20Neural%20Networks%20II%20lecture.%0A%23%20Same%20content%20as%20notebooks%2F04%2Fneural_networks_2.ipynb%2C%20but%20authored%20as%0A%23%20a%20reactive%20Marimo%20app%20so%20each%20matplotlib%20figure%20stays%20tied%20to%20the%20data%0A%23%20generation%20that%20produced%20it%20(one%20slide%20per%20concept%2C%20matching%20the%0A%23%20density_estimation%20notebook's%20structure).%0A%23%20Run%20locally%20with%20%60marimo%20edit%20notebooks%2F04%2Fneural_networks_2.py%60%0A%23%20or%20export%20to%20WASM%20for%20GitHub%20Pages%20(see%20.github%2Fworkflows%2Fpublish-slides.yml).%0A%23%0A%23%20NOTE%20on%20scoping%3A%20in%20Jupyter%20the%20same%20name%20(e.g.%20%60x%60)%20can%20be%20redefined%0A%23%20in%20any%20number%20of%20cells%2C%20but%20Marimo%20requires%20each%20name%20to%20be%20owned%20by%0A%23%20exactly%20one%20cell.%20Below%2C%20every%20cell-local%20dataset%20and%20figure%20is%20given%0A%23%20a%20unique%20suffix%20(%60_step%60%2C%20%60_sigmoid_tanh%60%2C%20%60_moons%60)%20so%20the%20slides%0A%23%20stay%20independent%20and%20the%20data%20each%20figure%20displays%20is%20reproducible.%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.23.13%22%0Aapp%20%3D%20marimo.App(%0A%20%20%20%20width%3D%22medium%22%2C%0A%20%20%20%20layout_file%3D%22data%3Aapplication%2Fjson%3Bbase64%2CewogICJ0eXBlIjogInNsaWRlcyIsCiAgImRhdGEiOiB7fQp9Cg%3D%3D%22%2C%0A)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20os%0A%20%20%20%20from%20pathlib%20import%20Path%0A%0A%20%20%20%20%23%20Make%20%60mo.image(src%3D%22media%2Ffoo.png%22)%60%20resolve%20regardless%20of%20which%0A%20%20%20%20%23%20directory%20%60marimo%20edit%60%20is%20launched%20from.%20We%20chdir%20to%20the%20notebook's%0A%20%20%20%20%23%20own%20directory%20so%20the%20relative%20%60media%2F%60%20path%20works%20the%20same%20way%20it%0A%20%20%20%20%23%20does%20for%20the%20deployed%20WASM%20build%20(where%20the%20page%20sits%20next%20to%0A%20%20%20%20%23%20%60media%2F%60).%20In%20WASM%2C%20%60__file__%60%20may%20not%20be%20set%20and%20the%20chdir%20becomes%0A%20%20%20%20%23%20a%20no-op%20%E2%80%94%20the%20browser%20still%20fetches%20the%20images%20via%20the%20page%20URL.%0A%20%20%20%20if%20%22__file__%22%20in%20globals()%20and%20__file__%3A%0A%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20os.chdir(Path(__file__).resolve().parent)%0A%20%20%20%20%20%20%20%20except%20OSError%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20pass%0A%0A%20%20%20%20import%20marimo%20as%20mo%0A%0A%20%20%20%20return%20(mo%2C)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20import%20matplotlib.pyplot%20as%20plt%0A%0A%20%20%20%20return%20np%2C%20plt%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Neural%20Networks%20II%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Introduction%0A%0A%20%20%20%20-%20We%20continue%20our%20work%20on%20neural%20networks.%0A%20%20%20%20-%20This%20lecture%20focuses%20on%20some%20key%20components%20and%20challenges.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Activation%20functions%0A%0A%20%20%20%20-%20McCulloch%20-%20Pitts%20neuron%20and%20the%20Perceptron%20was%20motivated%20by%20neurons%20in%20the%20brain.%0A%20%20%20%20-%20Utilised%20a%20step%20function%20to%20mimic%20a%20neuron%20%22firing%22.%0A%20%20%20%20-%20Not%20good%20for%20gradient%20descent%20%24%5CRightarrow%24%20replace%20with%20a%20differentiable%20approximation%20of%20the%20step%20function.%0A%20%20%20%20-%20The%20%22classic%22%20activation%20function%20is%20the%20sigmoid%20activation%20function%3A%20%24f_%7B%5Ctext%7Bs%7D%7D(x)%20%3D%20%5Cdfrac%7B1%7D%7B1%2B%5Cexp(-x)%7D%24%0A%20%20%20%20-%20Nice%20derivative%3A%20%24%5Cfrac%7Bd%20f_%7B%5Ctext%7Bs%7D%7D(x)%7D%7Bdx%7D%3Df_%7B%5Ctext%7Bs%7D%7D(x)(1-f_%7B%5Ctext%7Bs%7D%7D(x))%24%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20np%2C%20plt)%3A%0A%20%20%20%20%23%20Side-by-side%3A%20step%20activation%2C%20sigmoid%20activation%2C%20and%20the%0A%20%20%20%20%23%20sigmoid's%20derivative.%20Anchors%20the%20discussion%20of%20why%20a%20smooth%0A%20%20%20%20%23%20alternative%20to%20the%20step%20function%20is%20needed%20for%20gradient-based%0A%20%20%20%20%23%20training.%0A%20%20%20%20x_step%20%3D%20np.linspace(-6%2C%206%2C%20400)%0A%0A%20%20%20%20step_step%20%3D%20np.where(x_step%20%3E%3D%200%2C%201%2C%200)%0A%20%20%20%20sigmoid_step%20%3D%201%20%2F%20(1%20%2B%20np.exp(-x_step))%0A%0A%20%20%20%20fig_step%2C%20(ax_step_step%2C%20ax_step_sig%2C%20ax_step_deriv)%20%3D%20plt.subplots(1%2C%203%2C%20figsize%3D(15%2C%204))%0A%20%20%20%20ax_step_step.plot(x_step%2C%20step_step%2C%20color%3D%22blue%22)%0A%20%20%20%20ax_step_step.set_title(%22Step%20Activation%20Function%22)%0A%20%20%20%20ax_step_sig.plot(x_step%2C%20sigmoid_step%2C%20color%3D%22red%22)%0A%20%20%20%20ax_step_sig.set_title(%22Sigmoid%20Activation%20Function%22)%0A%20%20%20%20sigmoid_derivative_step%20%3D%20sigmoid_step%20*%20(1%20-%20sigmoid_step)%0A%20%20%20%20ax_step_deriv.plot(x_step%2C%20sigmoid_derivative_step%2C%20color%3D%22green%22)%0A%20%20%20%20ax_step_deriv.set_title(%22Sigmoid%20Derivative%22)%0A%20%20%20%20fig_step.tight_layout()%0A%0A%20%20%20%20mo.as_html(fig_step)%0A%20%20%20%20plt.close(fig_step)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Backpropagation%20for%20MLP%20with%20one%20neuron%20in%20each%20layer%0A%0A%20%20%20%20-%20Consider%20MLP%20with%204%20layers%20and%201%20neuron%20in%20each%20layer.%0A%20%20%20%20-%20Let%20us%20do%20Backpropagation%20with%20this%20network.%0A%0A%20%20%20%20%3Cimg%20src%3D%22media%2Fsimple_nn.png%22%20width%3D%221000px%22%20%2F%3E%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20The%20vanishing%20gradient%20problem%0A%0A%20%20%20%20-%20As%20the%20number%20of%20layers%20increase%2C%20the%20number%20of%20%24%3C1%24%20numbers%20get%20multiplied.%0A%20%20%20%20-%20Gradients%20%22vanish%22%2C%20training%20lower%20layers%20becomes%20difficult.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20What%20about%20other%20activation%20functions%3F%0A%0A%20%20%20%20-%20Another%20classical%20choice%3A%0A%0A%20%20%20%20%24%24f_%7B%5Ctext%7Bt%7D%7D(x)%20%3D%20%5Ctext%7Btanh%7D(x)%20%3D%20%5Cfrac%7Be%5Ex-e%5E%7B-x%7D%7D%7Be%5Ex%2Be%5E%7B-x%7D%7D%24%24%0A%0A%20%20%20%20-%20Also%20nice%20derivative%3A%0A%0A%20%20%20%20%24%24%5Cfrac%7Bd%20f_%7B%5Ctext%7Bt%7D%7D(x)%20%7D%7Bdx%7D%3D1-f_%7B%5Ctext%7Bt%7D%7D(x)%5E2%24%24%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20np%2C%20plt)%3A%0A%20%20%20%20%23%20Sigmoid%20and%20tanh%20plotted%20with%20their%20derivatives%2C%20side%20by%20side%2C%0A%20%20%20%20%23%20so%20students%20can%20compare%20magnitudes%20%E2%80%94%20tanh%20is%20centred%20around%20zero%0A%20%20%20%20%23%20which%20matters%20for%20the%20vanishing-gradient%20story%20later.%0A%20%20%20%20x_st%20%3D%20np.linspace(-6%2C%206%2C%20400)%0A%0A%20%20%20%20sigmoid_st%20%3D%201%20%2F%20(1%20%2B%20np.exp(-x_st))%0A%20%20%20%20sigmoid_derivative_st%20%3D%20sigmoid_st%20*%20(1%20-%20sigmoid_st)%0A%0A%20%20%20%20tanh_st%20%3D%20np.tanh(x_st)%0A%20%20%20%20tanh_derivative_st%20%3D%201%20-%20tanh_st%20**%202%0A%0A%20%20%20%20fig_st%2C%20(ax_st_sig%2C%20ax_st_tanh)%20%3D%20plt.subplots(1%2C%202%2C%20figsize%3D(12%2C%204))%0A%20%20%20%20ax_st_sig.plot(x_st%2C%20sigmoid_st%2C%20label%3D%22Sigmoid%22%2C%20color%3D%22red%22)%0A%20%20%20%20ax_st_sig.plot(x_st%2C%20sigmoid_derivative_st%2C%20label%3D%22Sigmoid'%22%2C%20color%3D%22green%22%2C%20linestyle%3D%22--%22)%0A%20%20%20%20ax_st_sig.set_title(%22Sigmoid%20Activation%20%26%20Derivative%22)%0A%20%20%20%20ax_st_sig.legend()%0A%20%20%20%20ax_st_tanh.plot(x_st%2C%20tanh_st%2C%20label%3D%22Tanh%22%2C%20color%3D%22blue%22)%0A%20%20%20%20ax_st_tanh.plot(x_st%2C%20tanh_derivative_st%2C%20label%3D%22Tanh'%22%2C%20color%3D%22orange%22%2C%20linestyle%3D%22--%22)%0A%20%20%20%20ax_st_tanh.set_title(%22Tanh%20Activation%20%26%20Derivative%22)%0A%20%20%20%20ax_st_tanh.legend()%0A%0A%20%20%20%20mo.as_html(fig_st)%0A%20%20%20%20plt.close(fig_st)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20What%20about%20other%20activation%20functions%3F%0A%0A%20%20%20%20-%20Tanh%20has%20slightly%20better%20behavior%20than%20sigmoid%2C%20but%20still%20issues.%0A%20%20%20%20-%20Modern%20activation%20functions%20handle%20this%20problem%20much%20better%20(covered%20in%20FYS3033).%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Gradient%20descent%20with%20momentum%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Momentum%0A%0A%20%20%20%20-%20Standard%20gradient%20descent%20can%20have%20slow%20convergence%0A%20%20%20%20%20%20%20%20-%20Slow%20to%20train!%20Draw%20example%20%24%5CRightarrow%24%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(np)%3A%0A%20%20%20%20%23%20Two%20loss%20functions%20for%20the%20momentum%20motivation.%0A%20%20%20%20%23%20%20%20Smooth%20bowl%3A%20a%20clean%20convex%20parabola%20%E2%80%94%20plain%20SGD%20converges%20in%20a%0A%20%20%20%20%23%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20few%20steps.%0A%20%20%20%20%23%20%20%20Long%20plateau%3A%20gradient%20is%20small%20and%20constant%20across%20a%20wide%20range%2C%0A%20%20%20%20%23%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20then%20drops%20sharply.%20Plain%20SGD%20stalls%20here%2C%20which%20is%0A%20%20%20%20%23%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20exactly%20why%20we%20want%20momentum%20(introduced%20next%20slide).%0A%20%20%20%20def%20loss_smooth_mom(w)%3A%0A%20%20%20%20%20%20%20%20return%20(w%20-%203.0)%20**%202%0A%0A%20%20%20%20def%20grad_smooth_mom(w)%3A%0A%20%20%20%20%20%20%20%20return%202.0%20*%20(w%20-%203.0)%0A%0A%20%20%20%20def%20loss_plateau_mom(w)%3A%0A%20%20%20%20%20%20%20%20return%20np.where(%0A%20%20%20%20%20%20%20%20%20%20%20%20w%20%3C%3D%201.0%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20-0.05%20*%20w%20%2B%202.05%2C%0A%20%20%20%20%20%20%20%20%20%20%20%200.5%20*%20(w%20-%203.0)%20**%202%2C%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20def%20grad_plateau_mom(w)%3A%0A%20%20%20%20%20%20%20%20return%20np.where(w%20%3C%3D%201.0%2C%20-0.05%2C%20w%20-%203.0)%0A%0A%20%20%20%20gamma_mom%20%3D%200.3%0A%20%20%20%20gamma_plateau_mom%20%3D%202.0%0A%20%20%20%20w_init_mom%20%3D%20-5.0%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20gamma_mom%2C%0A%20%20%20%20%20%20%20%20gamma_plateau_mom%2C%0A%20%20%20%20%20%20%20%20grad_plateau_mom%2C%0A%20%20%20%20%20%20%20%20grad_smooth_mom%2C%0A%20%20%20%20%20%20%20%20loss_plateau_mom%2C%0A%20%20%20%20%20%20%20%20loss_smooth_mom%2C%0A%20%20%20%20%20%20%20%20w_init_mom%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20w_init_mom)%3A%0A%20%20%20%20%23%20Reactive%20state%20shared%20by%20the%20buttons%20and%20the%20plot%20cell.%20The%20setter%0A%20%20%20%20%23%20triggers%20every%20cell%20that%20reads%20%60state_mom()%60%20to%20re-execute%2C%20which%0A%20%20%20%20%23%20is%20how%20the%20%22Next%20step%22%20button%20actually%20advances%20the%20trajectory.%0A%20%20%20%20state_mom%2C%20set_state_mom%20%3D%20mo.state(%0A%20%20%20%20%20%20%20%20%7B%22w1%22%3A%20w_init_mom%2C%20%22w2%22%3A%20w_init_mom%2C%20%22step%22%3A%200%7D%0A%20%20%20%20)%0A%20%20%20%20return%20set_state_mom%2C%20state_mom%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20gamma_mom%2C%0A%20%20%20%20gamma_plateau_mom%2C%0A%20%20%20%20grad_plateau_mom%2C%0A%20%20%20%20grad_smooth_mom%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20set_state_mom%2C%0A%20%20%20%20state_mom%2C%0A%20%20%20%20w_init_mom%2C%0A)%3A%0A%20%20%20%20def%20_step_mom(_%3DNone)%3A%0A%20%20%20%20%20%20%20%20s%20%3D%20state_mom()%0A%20%20%20%20%20%20%20%20s%5B%22w1%22%5D%20%3D%20s%5B%22w1%22%5D%20-%20gamma_mom%20*%20grad_smooth_mom(s%5B%22w1%22%5D)%0A%20%20%20%20%20%20%20%20s%5B%22w2%22%5D%20%3D%20s%5B%22w2%22%5D%20-%20gamma_plateau_mom%20*%20grad_plateau_mom(s%5B%22w2%22%5D)%0A%20%20%20%20%20%20%20%20s%5B%22step%22%5D%20%2B%3D%201%0A%20%20%20%20%20%20%20%20set_state_mom(s)%0A%0A%20%20%20%20def%20_reset_mom(_%3DNone)%3A%0A%20%20%20%20%20%20%20%20set_state_mom(%7B%22w1%22%3A%20w_init_mom%2C%20%22w2%22%3A%20w_init_mom%2C%20%22step%22%3A%200%7D)%0A%0A%20%20%20%20btn_step_mom%20%3D%20mo.ui.button(%0A%20%20%20%20%20%20%20%20label%3D%22Next%20step%22%2C%20kind%3D%22primary%22%2C%20on_click%3D_step_mom%0A%20%20%20%20)%0A%20%20%20%20btn_reset_mom%20%3D%20mo.ui.button(label%3D%22Reset%22%2C%20on_click%3D_reset_mom)%0A%0A%20%20%20%20mo.hstack(%5Bbtn_step_mom%2C%20btn_reset_mom%5D%2C%20justify%3D%22start%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20gamma_mom%2C%0A%20%20%20%20gamma_plateau_mom%2C%0A%20%20%20%20grad_plateau_mom%2C%0A%20%20%20%20grad_smooth_mom%2C%0A%20%20%20%20loss_plateau_mom%2C%0A%20%20%20%20loss_smooth_mom%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20np%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20state_mom%2C%0A%20%20%20%20w_init_mom%2C%0A)%3A%0A%20%20%20%20s_mom%20%3D%20state_mom()%0A%20%20%20%20w1_mom%2C%20w2_mom%2C%20step_mom%20%3D%20s_mom%5B%22w1%22%5D%2C%20s_mom%5B%22w2%22%5D%2C%20s_mom%5B%22step%22%5D%0A%0A%20%20%20%20%23%20Replay%20the%20trajectory%20from%20the%20initial%20weight.%20Cheap%20(%E2%89%A4%20a%20few%0A%20%20%20%20%23%20hundred%20iterations)%20and%20avoids%20storing%20the%20full%20path%20in%20state.%0A%20%20%20%20w_grid_mom%20%3D%20np.linspace(-5.5%2C%205.5%2C%20400)%0A%20%20%20%20traj1_mom%20%3D%20%5Bw_init_mom%5D%0A%20%20%20%20traj2_mom%20%3D%20%5Bw_init_mom%5D%0A%20%20%20%20ww1_mom%2C%20ww2_mom%20%3D%20w_init_mom%2C%20w_init_mom%0A%20%20%20%20for%20_%20in%20range(int(step_mom))%3A%0A%20%20%20%20%20%20%20%20ww1_mom%20%3D%20ww1_mom%20-%20gamma_mom%20*%20grad_smooth_mom(ww1_mom)%0A%20%20%20%20%20%20%20%20ww2_mom%20%3D%20ww2_mom%20-%20gamma_plateau_mom%20*%20grad_plateau_mom(ww2_mom)%0A%20%20%20%20%20%20%20%20traj1_mom.append(ww1_mom)%0A%20%20%20%20%20%20%20%20traj2_mom.append(ww2_mom)%0A%20%20%20%20traj1_mom%20%3D%20np.array(traj1_mom)%0A%20%20%20%20traj2_mom%20%3D%20np.array(traj2_mom)%0A%0A%20%20%20%20fig_mom%2C%20(ax_mom_s%2C%20ax_mom_p)%20%3D%20plt.subplots(1%2C%202%2C%20figsize%3D(13%2C%204.5))%0A%0A%20%20%20%20ax_mom_s.plot(w_grid_mom%2C%20loss_smooth_mom(w_grid_mom)%2C%20color%3D%22steelblue%22)%0A%20%20%20%20ax_mom_s.plot(%0A%20%20%20%20%20%20%20%20traj1_mom%2C%20loss_smooth_mom(traj1_mom)%2C%20%22o-%22%2C%0A%20%20%20%20%20%20%20%20color%3D%22orangered%22%2C%20markersize%3D4%2C%0A%20%20%20%20)%0A%20%20%20%20ax_mom_s.scatter(%0A%20%20%20%20%20%20%20%20%5Bw1_mom%5D%2C%20%5Bloss_smooth_mom(w1_mom)%5D%2C%20s%3D80%2C%20color%3D%22orangered%22%2C%20zorder%3D5%2C%0A%20%20%20%20)%0A%20%20%20%20ax_mom_s.set_title(f%22Smooth%20bowl%20%20(step%20%7Bstep_mom%7D)%22)%0A%20%20%20%20ax_mom_s.set_xlabel(%22w%22)%0A%20%20%20%20ax_mom_s.set_ylabel(%22J(w)%22)%0A%20%20%20%20ax_mom_s.annotate(%0A%20%20%20%20%20%20%20%20f%22w%20%3D%20%7Bw1_mom%3A.3f%7D%5Cn%E2%88%87J%20%3D%20%7Bgrad_smooth_mom(w1_mom)%3A%2B.3f%7D%22%2C%0A%20%20%20%20%20%20%20%20xy%3D(0.03%2C%200.95)%2C%20xycoords%3D%22axes%20fraction%22%2C%0A%20%20%20%20%20%20%20%20ha%3D%22left%22%2C%20va%3D%22top%22%2C%0A%20%20%20%20%20%20%20%20bbox%3Ddict(boxstyle%3D%22round%22%2C%20fc%3D%22white%22%2C%20ec%3D%22gray%22)%2C%0A%20%20%20%20)%0A%0A%20%20%20%20ax_mom_p.plot(w_grid_mom%2C%20loss_plateau_mom(w_grid_mom)%2C%20color%3D%22steelblue%22)%0A%20%20%20%20ax_mom_p.plot(%0A%20%20%20%20%20%20%20%20traj2_mom%2C%20loss_plateau_mom(traj2_mom)%2C%20%22o-%22%2C%0A%20%20%20%20%20%20%20%20color%3D%22orangered%22%2C%20markersize%3D4%2C%0A%20%20%20%20)%0A%20%20%20%20ax_mom_p.scatter(%0A%20%20%20%20%20%20%20%20%5Bw2_mom%5D%2C%20%5Bloss_plateau_mom(w2_mom)%5D%2C%20s%3D80%2C%20color%3D%22orangered%22%2C%20zorder%3D5%2C%0A%20%20%20%20)%0A%20%20%20%20ax_mom_p.set_title(f%22Long%20flat%20plateau%20%20(step%20%7Bstep_mom%7D)%22)%0A%20%20%20%20ax_mom_p.set_xlabel(%22w%22)%0A%20%20%20%20ax_mom_p.set_ylabel(%22J(w)%22)%0A%20%20%20%20ax_mom_p.annotate(%0A%20%20%20%20%20%20%20%20f%22w%20%3D%20%7Bw2_mom%3A.3f%7D%5Cn%E2%88%87J%20%3D%20%7Bgrad_plateau_mom(w2_mom)%3A%2B.3f%7D%22%2C%0A%20%20%20%20%20%20%20%20xy%3D(0.03%2C%200.95)%2C%20xycoords%3D%22axes%20fraction%22%2C%0A%20%20%20%20%20%20%20%20ha%3D%22left%22%2C%20va%3D%22top%22%2C%0A%20%20%20%20%20%20%20%20bbox%3Ddict(boxstyle%3D%22round%22%2C%20fc%3D%22white%22%2C%20ec%3D%22gray%22)%2C%0A%20%20%20%20)%0A%0A%20%20%20%20mo.as_html(fig_mom)%0A%20%20%20%20plt.close(fig_mom)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Momentum%0A%0A%20%20%20%20-%20Idea%3A%20incorporate%20information%20from%20previous%20iteration.%20Keep%20the%20%22momentum%22.%0A%20%20%20%20-%20Reminder%3A%20%24%5Cmathbf%7Bw%7D_j%5El%20(t%2B1)%20%3D%20%5Cmathbf%7Bw%7D_j%5El%20(t)%20-%20%5Cgamma%20%5Cfrac%7B%5Cpartial%7D%7B%5Cpartial%20%20%5Cmathbf%7Bw%7D_j%5El%7D%20J%24%0A%20%20%20%20-%20Now%2C%20with%20momentum%3A%20%24%5CDelta%20%5Cmathbf%7Bw%7D_j%5El%20%3D%20%5Calpha%20%5Cmathbf%7Bw%7D_j%5El%20(t)%20-%20%5Cgamma%20%5Cfrac%7B%5Cpartial%7D%7B%5Cpartial%20%20%5Cmathbf%7Bw%7D_j%5El%7D%20J%24%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Momentum%20for%20T%20succesive%20iteration%20steps%0A%0A%20%20%20%20-%20Momentum%20effectively%20increases%20the%20learning%20constant.%0A%20%20%20%20-%20Let%20%24%5Cfrac%7B%5Cpartial%7D%7B%5Cpartial%20%20%5Cmathbf%7Bw%7D_j%5El%7D%20J%20%3D%20%5Cmathbf%7Bg%7D(t)%24%0A%20%20%20%20-%20%24%5CDelta%20%5Cmathbf%7Bw%7D_j%5El%20(T)%20%3D%20-%5Cgamma%20%5Csum_%7Bt%3D0%7D%5E%7BT-1%7D%20%5Calpha%5Et%20%5Cmathbf%7Bg%7D(T-t)%2B%5Calpha%5ET%20%5CDelta%20%5Cmathbf%7Bw%7D_j%5El%20(0)%24%0A%20%20%20%20-%20Now%2C%20assume%20we%20are%20in%20a%20low%20curvature%20point%20of%20the%20loss%20function%20%24%5CRightarrow%24%20gradient%20approximately%20constant!%0A%20%20%20%20-%20%24%5CDelta%20%5Cmathbf%7Bw%7D_j%5El%20(T)%20%5Capprox%20-%5Cgamma(1%2B%5Calpha%2B%5Calpha%5E2%2B%20%5Ccdots%20%5Calpha%5E%7BT-1%7D)%5Cmathbf%7Bg%7D%24%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Beyond%20binary%20classification%0A%0A%20%20%20%20-%20So%20far%2C%20we%20have%20focused%20on%20binary%20classification%20(2%20classes).%0A%20%20%20%20-%20Fits%20well%20with%20sigmoid.%0A%20%20%20%20-%20However%2C%20we%20often%20have%20more%20than%202%20classes.%20In%20these%20cases%2C%20the%20sigmoid%20is%20less%20suitable.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20The%20softmax%20function%0A%0A%20%20%20%20-%20The%20standard%20choice%20for%20multiclass%20classification%20is%20to%20use%20a%20softmax%20function%20in%20the%20output%20layer.%0A%20%20%20%20-%20%24%5Cdisplaystyle%20%5Chat%7By%7D_k%20%3D%20%5Cdfrac%7B%5Cexp(z_k%5EL)%7D%7B%5Csum_%7Bk'%7D%20%5Cexp(z_%7Bk'%7D%5EL)%7D%24%0A%20%20%20%20-%20Guarantees%20that%20the%20output%20lies%20in%20the%20interval%20%24%5B0%2C%201%5D%24%20and%20sums%20to%201.%0A%20%20%20%20-%20Note%3A%20**one-hot%20encoding**%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Derivative%20of%20the%20softmax%20function%0A%0A%20%20%20%20-%20Need%20to%20know%20derivative%20of%20softmax%20function%20for%20Backpropagation%20and%20gradient%20descent.%0A%20%20%20%20-%20Need%20to%20compute%20%24%5Cdisplaystyle%20%5Cdfrac%7B%5Cpartial%7D%7B%5Cpartial%20z%5EL_m%7D%20%5Chat%7By%7D_k%20%3D%20%5Cdfrac%7B%5Cpartial%7D%7B%5Cpartial%20z%5EL_m%7D%20%5Cdfrac%7B%5Cexp(z_k%5EL)%7D%7B%5Csum_%7Bk'%7D%20%5Cexp(z_%7Bk'%7D%5EL)%7D.%24%0A%20%20%20%20-%20Key%20is%20to%20realize%20that%20we%20have%20two%20cases%3A%20%24m%3Dk%24%20and%20%24m%5Cneq%20k%24%0A%20%20%20%20-%20For%20%24m%3Dk%24%3A%20%24%5Cdisplaystyle%20%5Cdfrac%7B%5Cexp(z_k%5EL)%20%5Csum_%7Bk'%7D%20%5Cexp(z_%7Bk'%7D%5EL)-%5Cexp(z_k%5EL)%5Cexp(z_m%5EL)%7D%7B%5Cleft(%5Csum_%7Bk'%7D%20%5Cexp(z_%7Bk'%7D%5EL)%5Cright)%5E2%7D%24%0A%20%20%20%20-%20For%20%24m%5Cneq%20k%24%3A%20%24%5Cdisplaystyle%20%5Cdfrac%7B-%5Cexp(z_k%5EL)%5Cexp(z_m%5EL)%7D%7B%5Cleft(%5Csum_%7Bk'%7D%20%5Cexp(z_%7Bk'%7D%5EL)%5Cright)%5E2%7D%24%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Cross-entropy%20loss%0A%0A%20%20%20%20-%20Can%20use%20a%20squared%20error%20like%20we%20have%20done%20in%20the%20past.%0A%20%20%20%20-%20However%2C%20using%20the%20cross-entropy%20loss%20function%20is%20much%20more%20common%3A%20%24J_%7Bce%7D%20-%5Csum_%7Bk%3D1%7D%5E%7Bk_L%7D%20y_k(i)%20%5Clog%20(%5Chat%7By%7D_k)%24%0A%20%20%20%20-%20Fits%20nicely%20with%20softmax%2C%20derivative%20of%20cross-entropy%20loss%20assuming%20softmax%20loss%20function%20and%20one-hot%20encoded%20labels.%0A%20%20%20%20-%20Take%20derivative%20with%20respect%20to%20preactivation%20%24z%5EL_m%24.%20Key%20idea%20again%2C%20split%20sum%20into%20%24m%3Dk%24%20and%20%24m%5Cneq%20k%24%3A%0A%20%20%20%20-%20%24%5Cfrac%7B%5Cpartial%7D%7B%5Cpartial%20z%5EL_m%7D%20J_%7Bce%7D%20%3D%20-%5Cfrac%7B%5Cpartial%7D%7B%5Cpartial%20z%5EL_m%7D%20y_k(i)%20%5Clog%20(%5Chat%7By%7D_k)%20-%5Cfrac%7B%5Cpartial%7D%7B%5Cpartial%20z%5EL_m%7D%20%5Csum_%7Bk'%5Cneq%20m%7D%5E%7Bk_L%7Dy_%7Bk'%7D(i)%20%5Clog%20(%5Chat%7By%7D_%7Bk'%7D)%24%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Cross-entropy%20loss%0A%0A%20%20%20%20-%20Other%20benefits%20associated%20with%20the%20cross-entropy%20loss.%0A%20%20%20%20-%20%5BSee%20this%20book%20for%20a%20very%20nice%20and%20detailed%20explanation.%5D(http%3A%2F%2Fneuralnetworksanddeeplearning.com%2Fchap3.html)%0A%20%20%20%20-%20Can%20also%20be%20used%20for%20binary%20classification.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Weight%20initialization%0A%0A%20%20%20%20-%20Need%20a%20starting%20point%20for%20our%20parameters.%0A%20%20%20%20-%20Many%20heuristics.%20Different%20choices%20for%20different%20activation%20functions.%20Will%20focus%20on%20sigmoid%20and%20tanh.%0A%20%20%20%20-%20Key%20paper%3A%20Glorot%20and%20Bengio%2C%20Understanding%20the%20difficulty%20of%20training%20deep%20feedforward%20neural%20networks%2C%202010.%0A%20%20%20%20-%20Avoid%20symmetry!%0A%20%20%20%20-%20Xavier%20initialization%3A%0A%0A%20%20%20%20%24%24w_%7Bjm%7D%5El%20%5Csim%20%5Cmathcal%7BU%7D%5Cleft(-%5Csqrt%7B%5Cfrac%7B6%7D%7Bk_%7Bl%2B1%7D%2Bk_%7Bl-1%7D%7D%7D%2C%20%5Csqrt%7B%5Cfrac%7B6%7D%7Bk_%7Bl%2B1%7D%2Bk_%7Bl-1%7D%7D%7D%5Cright)%24%24%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A