bayes decision theory

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.10%22%0A%23%20dependencies%20%3D%20%5B%0A%23%20%20%20%20%20%22marimo%22%2C%0A%23%20%20%20%20%20%22numpy%22%2C%0A%23%20%20%20%20%20%22matplotlib%22%2C%0A%23%20%20%20%20%20%22scipy%22%2C%0A%23%20%20%20%20%20%22plotly%22%2C%0A%23%20%5D%0A%23%20%2F%2F%2F%0A%23%0A%23%20Marimo%20version%20of%20the%20Bayes%20decision%20theory%20lecture.%0A%23%20Same%20content%20as%20notebooks%2F01%2Fbayes_decision_theory.ipynb%2C%20but%20authored%20as%0A%23%20a%20reactive%20Marimo%20app%20so%20the%20interactive%20figures%20use%20real%20widgets%0A%23%20(sliders%2C%20dropdowns)%20instead%20of%20Plotly's%20baked-in%20animation%20frames.%0A%23%20Run%20locally%20with%20%60marimo%20edit%20notebooks%2F01%2Fbayes_decision_theory.py%60%0A%23%20or%20export%20to%20WASM%20for%20GitHub%20Pages%20(see%20.github%2Fworkflows%2Fpublish-slides.yml).%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.23.13%22%0Aapp%20%3D%20marimo.App(%0A%20%20%20%20width%3D%22medium%22%2C%0A%20%20%20%20layout_file%3D%22data%3Aapplication%2Fjson%3Bbase64%2CewogICJ0eXBlIjogInNsaWRlcyIsCiAgImRhdGEiOiB7fQp9Cg%3D%3D%22%2C%0A)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20os%0A%20%20%20%20from%20pathlib%20import%20Path%0A%0A%20%20%20%20%23%20Make%20%60mo.image(src%3D%22media%2Ffoo.png%22)%60%20and%20the%20spambase%20fetch%20work%0A%20%20%20%20%23%20regardless%20of%20which%20directory%20%60marimo%20edit%60%20is%20launched%20from.%20We%20chdir%0A%20%20%20%20%23%20to%20the%20notebook's%20own%20directory%20so%20the%20relative%20%60media%2F%60%20path%20resolves%0A%20%20%20%20%23%20the%20same%20way%20it%20does%20for%20the%20deployed%20WASM%20build%20(where%20the%20page%20sits%0A%20%20%20%20%23%20next%20to%20%60media%2F%60).%20In%20WASM%2C%20%60__file__%60%20may%20not%20be%20set%20and%20the%20chdir%0A%20%20%20%20%23%20becomes%20a%20no-op%20%E2%80%94%20the%20browser%20still%20fetches%20the%20images%20via%20the%20page%20URL.%0A%20%20%20%20if%20%22__file__%22%20in%20globals()%20and%20__file__%3A%0A%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20os.chdir(Path(__file__).resolve().parent)%0A%20%20%20%20%20%20%20%20except%20OSError%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20pass%0A%0A%20%20%20%20import%20marimo%20as%20mo%0A%0A%20%20%20%20return%20(mo%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Bayes%20decision%20theory%0A%0A%20%20%20%20%23%23%20Introduction%0A%0A%20%20%20%20-%20In%20this%20lecture%20we%20will%20cover%20the%20following%20topics%3A%0A%20%20%20%20%20%20%20%20-%20Bayesian%20decision%20theory%0A%20%20%20%20%20%20%20%20-%20The%20na%C3%AFve%20Bayes%20assumption%0A%20%20%20%20%20%20%20%20-%20Bayes%20classifier%20minimizes%20probability%20of%20error%0A%20%20%20%20%20%20%20%20-%20Risk%20minimization%0A%20%20%20%20%20%20%20%20-%20Discriminant%20functions%20and%20decision%20surfaces%0A%0A%20%20%20%20%3Cdiv%20style%3D%22position%3Afixed%3Bbottom%3A12px%3Bleft%3A16px%3Bfont-size%3A13px%3Bcolor%3A%23888%3Bfont-family%3Asystem-ui%2Csans-serif%3B%22%3E1%20%2F%2029%3C%2Fdiv%3E%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.hstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%23%23%20Spam%0A%0A%20%20%20%20-%20It's%20the%20early%202000%2C%20and%20spam%20emails%20offering%20you%20to%20buy%20Viagra%20are%20flourishing.%0A%20%20%20%20-%20Cannot%20just%20filter%20on%20keywords.%0A%20%20%20%20-%20Mathematically%2C%20we%20want%20to%20find%20%24P(%5Ctext%7Bspam%7D%7C%5Ctext%7Bcontent%7D)%24.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.image(src%3D%22media%2Fendingspam.png%22%2C%20style%3D%7B%22max-width%22%3A%20%2269%25%22%2C%20%22height%22%3A%20%22auto%22%7D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.image(src%3D%22media%2Fspam_example.png%22%2C%20style%3D%7B%22max-width%22%3A%20%2269%25%22%2C%20%22height%22%3A%20%22auto%22%7D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20gap%3D2%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20justify%3D%22start%22%2C%0A%20%20%20%20%20%20%20%20align%3D%22start%22%2C%0A%20%20%20%20%20%20%20%20gap%3D2%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Tokenization%20and%20learning%0A%0A%20%20%20%20-%20Break%20email%20into%20words%20%24W_i%24%0A%20%20%20%20-%20Discrete%20events%3A%20%24P(W_i)%5Cgeq%200%24%0A%20%20%20%20-%20Notation%0A%20%20%20%20%20%20%20%20-%20%24S%24%3A%20Spam%20(illegitimate%20messages)%0A%20%20%20%20%20%20%20%20-%20%24H%24%3A%20Ham%20(legitimate%20messages)%0A%20%20%20%20-%20How%20to%20get%20an%20expression%20for%20%24P(%5Ctext%7Bspam%7D%7C%5Ctext%7Bcontent%7D)%24%3F%0A%20%20%20%20-%20Bayes'%20rule%3A%0A%20%20%20%20%20%20%20%20-%20%24P(S%7CW_i)%3D%5Cdfrac%7BP(W_i%7CS)P(S)%7D%7BP(W_i)%7D%24%0A%20%20%20%20-%20where%3A%0A%20%20%20%20%20%20%20%20-%20%24P(W_i)%3DP(W_i%7CS)P(S)%2BP(W_i%7CH)P(H)%24%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20How%20to%20learn%20from%20data%0A%0A%20%20%20%20-%20Collect%20Spam%20and%20Ham%20and%20learn%20(estimate)%20%24P(W_i%7CS)%24%20and%20%24P(W_i%7CH)%24!%0A%20%20%20%20-%20Example%3A%20%24W_i%20%3D%20%5Ctext%7B%22Money%22%7D%24%0A%20%20%20%20-%20Let%20us%20look%20at%20the%20data%20%E2%80%94%20pick%20which%20word%20to%20inspect%20below.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20import%20matplotlib.pyplot%20as%20plt%0A%20%20%20%20from%20scipy.stats%20import%20norm%0A%0A%20%20%20%20return%20norm%2C%20np%2C%20plt%0A%0A%0A%40app.cell%0Adef%20_(np)%3A%0A%20%20%20%20import%20base64%0A%20%20%20%20import%20io%0A%0A%20%20%20%20%23%20Load%20the%20Spambase%20columns%20we%20visualize%20from%20data%20embedded%20directly%0A%20%20%20%20%23%20in%20the%20notebook.%20Fetching%20the%20dataset%20from%20UCI%20at%20runtime%20intermittently%0A%20%20%20%20%23%20fails%20in%20the%20WASM%2FPyodide%20environment%2C%20and%20shipping%20a%20sidecar%20file%0A%20%20%20%20%23%20like%20%60media%2Fspambase_subset.npz%60%20does%20not%20work%20either%20%E2%80%94%20Pyodide's%0A%20%20%20%20%23%20virtual%20filesystem%20does%20not%20have%20access%20to%20files%20placed%20next%20to%20the%0A%20%20%20%20%23%20HTML%20page%2C%20so%20%60np.load(...)%60%20raises%20FileNotFoundError.%0A%20%20%20%20data_bytes%20%3D%20base64.b64decode(%0A%20%20%20%20%20%20%20%20%22UEsDBBQAAAAIAAAAIQD550E6UQgAAGRIAAAJABQAbW9uZXkubnB5AQAQAGRIAAAAAAAAUQgAAAAAAADtXF9oHEUYj0IpHEIpHEihXCIFk2AplbQipbtzETRB4p8UixSCEmxOQWkvqfqQUIjISfHfIepDCoqSlPp0FFQ4RFHSB19SQVDOB324Fx9MHnxJEZ%2Bc3%2B7%2B9r6dnd3cJZeYtvuDYWdnZ76Z%2Beab7%2Fvm27378MnTTzx95q6e13vm%2Bs9OXXhhpv9EX%2F%2FJ0rH%2Bw339pfMzr85Mnnv%2B%2FMzZKZQ%2FNvnKhSldfuGlyfKUvh849tDRBw8PHu672LdZ5Ho0bg787laXX3N6LLi8cMC1lQNOrhF5Vhu5TyXVBeqF00VcS6X7w3rTztuJ9P2xHYzRvLywEI53bbzu1gsVYxyfp46jt%2FJyrM%2Fq8rpL2mltfRQj9BuLf0fa9FZW3YnqsuvTbfF1Ll9zwaMkPlVWf26jbzv0%2BL1%2BbqyMuUgsF%2Fdhn9fXv%2FCeO7l7lez3xsqKtX%2FWN%2FLKVmdt%2FGGFNc3XfkxdA1N2JE7VC5G2ldX9ql7Yo3KNRauM1kaaIS3wGAkyLcu55vnaXsmHMC9pJ%2FVTL1yJjCtfu6rYP%2Fq0tdG0TgYpIgfTTk5pHrm63EsT1UdS197JPWsdq9%2F%2FpCuepdLJNQ65jcWjCkmWY%2F0GJ%2Fa5cq1b9MnHeZf3krftQuuSmExgf1Beh4a%2B1Hw84nKtgjUP%2B9GyFctvNF%2F2Ie%2BxbmiPlN5%2B3rregF4vq3yDniknGwFtMEZJP6mevNd8c%2BJlKzFdJMev%2B1EBrZAn6BsJcwL%2FTfnCusn59lYeUJIu1k3WB43mbD4yF0lTyo6UN%2BwJ%2F3lLnieqdyt5nwbOjXByLxaZXypfjPFW0j1V%2F9RFX%2B30Y%2BLmwLdeO9iipDpJciZ19Wjz31APsFzyTa9tuFe0zQvHCn3ZnP0oledBGyELe9Wp%2BnNe%2FaGhIb3uNS%2Bf5AcAet0cPUcnyIe6wNzXNjtSKpWMtWkE87xHl48OIw8%2ByjFK2w%2FZgA68vj6AsWoZfVPrzxHvuZY3lbaPoUfMMqx1Y%2FFamFpjv4dr6SAvn5l23pTLyuoHkX4wZ%2ByNaefxYJywEfORNtXl4wp9lUp%2F0gZ7ee6vNNnHmuMKuTGf0Y8xfQ3aEWmvTFuseVOU92vj%2F1j3RWOxrG6svBs%2Bg52Otqu7pdJbpkzG%2FLXWs0Oh7GH8uOd4Iff1wqPQ2wp7FfNK0sEEeAn9Mpc%2Fp5BHO9O%2FM%2B%2BXyo4K9qEy1xvQzxTsE%2F072RdsKxLLYN%2BjdcYc%2BL56Th3bTmn7gMGJangPmuwbuhdl5LEcT6vND8Z%2BHYvsaXv%2FdUfW5T1APqEsWn7NW6vq8sdK0qHPj33r9zvpRvXcwWLSGFBP67nwOWRucOIpBZtkjpW4vn4pfAadQpky62EN5XxwpV6RepowfTZZx%2Bbjsz78LPBgqfydd48r8wGdcFyY10a%2BYcC%2FtmwXbRR8f%2Bln%2Bz77VWX6IHIPSLmFPqZ%2BNttIXUz%2FdqNxmfvJBHgi%2BWKDPFfCJgV9J7aR9dN8tqXyJ4FtPB6rA9mj3yLB%2FWryRtalvLWDyuq4Zye4RtLm1gvvFZGi%2FfuyDf2GJPyKyF6HTjDHQb%2Bb%2FGMbeV4iAp%2FdyjvqVvJArh%2F9DJw9dd416ybJA%2FS5nIsZP4C%2BMc9i2B%2BwlXqung1A4ljQv6yP%2BSLBv6I%2FRX9G6sek8yvjCABkgOsE2UFej0ORN0jYh7D1KGeZjE%2BAN0g80yJxXNzL%2Fnj3KPAmONNY5QoyIfnKPHUPZAw2F9fq8tfhmkr%2BmDEK%2BFGMPSSdgWU568LOgh%2FyHGH6MWacBnwwaWMtcU3aS%2Bxb0qLfZKOj56%2BYfLpjrqSTFuPC3Ei7t%2FKO1cbYAJ8GNglX9mXTNYR5dvfHueLwSh8gGH94z7lgnEjYt%2ByTdTke%2Bi6gZ%2Fox7aA5%2B4x3luS%2BNu0nzwOwL7Dh0ndEO8gZdCX975Y%2BHVE2OdN09Nnh16J5NetJ3vh0685oc1Yh4X60%2BY0y9wnOPYJHoW%2BOPPaa8I1ieoT3pg23%2BexJOsV2foEPYZ5328O8i%2FOeWWqefeV4k%2FYW5wd9BN8ceVPeeSaCDqUupN%2BO%2BUofBPpZzgl8pvxgX%2Fk6NDk%2Bq22RJVbs9wk7Z%2Bq%2Blm%2B3AnsQ87P8WOIRlzFDbROKuEIufZ17hft1U3ED6Zt3CluczrautnoA%2BSh9MxljxFowj71IvYZ5z%2BXfZwzJiwPCJpn0bTJrg7bfyh%2FnJWt9ylVgkxP5xbWVMcPBie%2BLbO%2FP%2BYCSVwB2CLJBPwL1IZ%2BoI9vymR9nidsP2HE8Jy8uL5yJ%2BTHkr%2Ba9WirvHzb4EKGJPuR6EDIeYMYGfN%2FgKz2ffYHPsQ7fLRabgUyL86M1dkJbCzmx6Vvsa%2FaPdaF%2FgmvSOjGmIm2%2BnC%2FHBNrwK3E165qxRtCU68GxpslKEqCT%2BU5Egn6ZOd5OaLP9XP4nJe69PGTQf3bEpf8o9Sj1BJ7BDsr4mth7gU6NygzObLWRN2IxXwB6XfpziJMg9gT9lnYeg98gbQLiW6zfyZmmU6S9M8rQGZLOCDbfshvYzWsnfeDthhmjz7C70M55LUOGDLcHTB%2B%2F20BMJe2d6p0O%2BR57t8CMEXUb2kfedXPOkI52v0HJkOFOwEbvYrsBvivaBront4Nut2DGbOuFPduie7YzVgMslf%2FI7FyGDLcgtvJuqhPwXcVOYTPvsjPsHth%2Bu5MG%2BR4zQ4Z2sdmYje2dbXP2l8wPypAhwy0P83uS3Qzb96K7AfzeI8OtC%2F5eK8PWwO%2Fhb1d08xw97fzVEa9w1o3%2FpvizLfN7bfy3VBr8jk%2F%2BFmIj8LeoO4HNxhxs3y1uDQeHN65ze6P1G5T9w6PNEzuqC5K%2Bjbb950g3kfabtJ2C%2FL1hhv8fSf%2B90g38B1BLAwQUAAAACAAAACEAgRZQgYAJAABkSAAACgAUAGdlb3JnZS5ucHkBABAAZEgAAAAAAACACQAAAAAAAO1af4gcVx2%2FtgRxKdHQxfrz7kqwt2dDSNi2hJLZ9ybF7ippdYMhBJa2R5Oh0NJeEhW5pXAqa6WFrqEV3cWWbe%2BK0sqoRHEtbWkviIfsVUFlFfqHi9JSblH%2F8A4pCr7Pe%2FOdefP2zf5Ik%2F5iPrA3M2%2Fej%2B%2F7vu%2FvuUdvO3rrF49fNvXVqerciZNn7jo9d9Ps3EHv%2Brk9s3Pe%2Fae%2FfHrhvjvuP33iJNpvWbj3zEnRfubuhcWT4jl3%2FY379u%2BZ3zP7wOyFIjOVIkWKFO8B9MsHCrb7C53rrc6RIkWKFCkuPTY6h1Nb%2FT5HprvC3mkaUqS4GEhjyxQpUqRIkSJFihSXEtu5V9N4M8W7Cv3yjkO4zlfqTqV%2BOXcyx2L5fX3tK2PJbKX%2BFOstPSbHdlf%2B9ZZrBKVec8Qcy7zUe4jrLX6x5%2BCa6a4cTBqV6e5O3M9G516e9O7tRn1tK3EPk2Kjc9jRn%2F3ifj6sfzXrS97n8%2FkLOke%2FeFbMv%2B7O1D7B1TznYvO0p3cUxDkEZ7XbqW2eZdXsbUNp0nHKyWjztfiR9u3yuVL%2FRtheqa8NpV3IinjPmZB52c%2FzvsX65e%2FHxpR6z7Ht3CfDtmr2kYE5xd5CefK8a2Pv%2B%2BUc94s1t7vy%2B7Bd6Bn6B%2Fw9x%2Bprn%2BbRvh4aSnOlfogpOnby3tKJYFzLFX%2FkveArx5rt6V%2FLeavZvUzoYkhfNfuP8Nkv7uLRvJfz%2BcpPJj7rrP8Bpp8t1ou%2Ff52d3%2FqRXE%2FoZCiD4Mm4e8b%2B0J9sS7%2FclvNApsk2zdTuYWoNpduCjkLAl5FoTz%2FN%2FOLXmaK3yKmd1rFj3VU09K2019f2J66dz58JxwiehGez0dkj1x5t94aD7PkokEw2G78SsvJdVurdFK7bnq7FaJipXcfUma0H%2B1pmq4svFGqbuwJ53BYy9ye%2Buvi%2FcJw4m6H7IF0r9TKc7C7oEGtzS3dbm7Gfn%2Bo6xpLG%2BMUFyfONzpWGrka631v6o7wPaKGf7ENnSzbHBGQSvKxm72O1TZcLO%2B50V%2FaxrP8b4R%2F%2Fzez%2BZ30sWSXoOr2d%2BwGDDE8yXgfZAdBJOir24JR6bxbwGzY20um%2FyvV7S3%2FniqbnQ3r65QNCdhZi9JH%2B62c2DO3pzwbzPzaUHrGHgfdZ%2F0GmaLqS28Y4me%2BxwJYk6vtG58cxOvP5P8SePc9j5G%2F65a8xskc6jrRfhO2VcqF8j%2BI5%2Beb5yj8Z%2BAY7HMjvWFC62nLxXaZf%2FrOY%2B2UGPujnqc7xw3L%2Fme7NVj5EuFP4071c7TPPmo0G2e%2BCoI%2FXNt8QfmWnPD88ry7ucqH%2FzcbPOK5op6uQdUHPk7pPLihe2HVHjY18CPwVrvAzZj9TpvQ2PWbdzlXCfrDv1ewr8EnM824BjfId4gndJ0Xr%2B0z3I83GXzQbAf%2F7krCbbyLuLSi%2B3wA9L8COqXl%2Fy%2FBrNo4z8A8ygBiht5S17h99wTMVc0xiE1ouYh9hn7S4QNornjxmGPaF4xRf7L4Utkd%2Fhr83%2B2gx5EQ2yi8edecrXxD8%2BoikBT7IYrO5iB%2FCsz6%2FlQveT2ZPR0HIH4cs0LkiXsKVvnfPVz5Ezw7yKBon2kPaEHOf3%2Fo2v1g04Zwpdh33nEGDLWbB3pzM1bH23tLPYUdkG3TcNp%2BIN0eeKWICPY%2BAnCL%2Bt8UpFJO0p49y852Zh6r4Yjmcl3wOeCF0KMyd9NyH4jzVvxKuAf2M5t0auafuyneS%2BoRzIq7RX2zn%2Fhv4sC%2BFug1bhKsw1EEce50mv%2BvuMDlGbEH3Zu5k6kmp93mZF%2BjnsLr4QGArfyHsxoHYeDPvM%2FPsJJB%2B6KCcBXbY827kyNdqm2X4OIfydOS68L%2FNxufCdXBufvGyoesiFrPF2quLn5LjTjnPMNiQ%2BNvWiLzwrHVNknU9RyB%2FNjhH3DchPsBV7JdTfC%2F8ahD%2FKt4i30D9AnwYzNdVrop7su%2F98kc5eGmuDVul51qIO%2Bnedj66fwSczC%2Fl80an40BmbPsjkH82octmEnSdO9KeTjijZR7FR3XJF123bdjOvcrww73iUZgPyJpAs%2FGxRNpsZ0%2B1kHGAWJfulc%2FYW0AshfiCzsHUTQD6htgBuTRyDMQJ9E70lzTpdsnGd1v%2BTufnea9p%2BdBsuEfoB2wu6jSUx%2Bv%2BQfgrbc7lkXVAFb%2FWL0GN%2B0L8OepP9xQQi0JP%2FeIOV6eNfDj2hZgdd9AFPScHVO3hhKvuXx7gMd75xWti7Xr%2BMymSYkOCkH9JN%2BwH5ZKoQcF%2BoJYGHSGdMe048gPE3rTfhFx7Kor3FN%2BjfGS8mgp8nIpJVFwqbGbA3%2Bc5cuCInv9oOfvvwjgBMbRtXoq%2Focel3mdC2ofFP7DFqIed37qbmXYV%2BmG2we6NU0fezh2Ua45j6%2BLzH2YqBlDyRmcR7EPeC33V%2F4eeUR6Osw9yEhafs5%2BYJ41CkgxQDUQH%2FBjxWtlSyOAVHNdq9nau8o%2BodgI%2BKl7G5Qb%2BSdnylYGcW7d9VKcmO4Tc0PRXAMnN6uLjjGJHnLltX6jzmm1mnYNqcYrW3dzsD9hqEaYN1scO%2Fm%2FsoO%2BeHHdOMMd60FfpNPJ1%2BChdflGfQL5O8q%2FbIuitiE24OsuSC59G%2FhW%2BKev%2FMLZ3im9gc5GXqZpsHLp9MmvHTuZY2D%2BisWWNiY2xPLptuZQ%2FRnQdN3Sn4%2BBnk%2FdBes8xsx%2FqS2r9ZZ6kSxTzmTkBIcqvlJ6Qv1HPLS3%2FbsXaVb%2BWkZ%2FrY5LemTDXMMeY97b5bevaaFeAX41qLsPGTvobxYPB9xG%2FB%2Bm8mECeRvVIE6gxQu9gE4MaAtffC12UcQxiGjxDr%2BBHzHgYNlP%2F3mQCdULovt5G%2BQlAsbP2HOjhrMaXdRc1WRUrLQffkwbrccpf7eRmuwnURM022PJ4n%2Fi3N%2BRNJi%2FpG5ENZI%2BApO%2FTen2AMK5%2Fx16j%2FN0OyiEpdoAt8bxr5T3FSLYxR9pPhLZQ%2F96onuMxHs4eMQY9Q27MORHPod6TlN9R%2FRb8pG8NVC%2Bh2rU5f21zF0eMBf9ri9%2Fw3SWpjmCTEWGTE%2FMI8JnqVSq%2Fb7moJyEe1nUZMkRzNxsf5PjODP1CbRx5dnAv9Yf4CL%2BGOsXqosNOOR%2Fn%2BjcKxGXiLJheO7Ll1CYo5qDvGCaGye1M7Vlm6kKlfiiBN8vc3j4I%2Bg42U3tYi7fstQ%2BFQTsOWxHVXMcDfCTkQH3DL7lKxqZ4pvvNcJ5M92%2Fa%2FW6RF1wl6crnrwjpU98dHhn4H5AUKVKkSJEiRYr3Cv4PUEsDBBQAAAAIAAAAIQAsFnqPaQAAAHkSAAAKABQAbGFiZWxzLm5weQEAEAB5EgAAAAAAAGkAAAAAAAAAm%2BwX6hsQychQxlCtnpJanFykbqWgXpNpqK6joJ6WX1RSlJgXn1%2BUkgoSd0vMKU4FihdnJBakAvkaJmYGhjqaOgq1CuQCLsZRMApGwSgYBaNgFEAAwygYBaNgFIyCUTAKRsEoGAXDDAAAUEsBAhQDFAAAAAgAAAAhAPnnQTpRCAAAZEgAAAkAAAAAAAAAAAAAAIABAAAAAG1vbmV5Lm5weVBLAQIUAxQAAAAIAAAAIQCBFlCBgAkAAGRIAAAKAAAAAAAAAAAAAACAAYwIAABnZW9yZ2UubnB5UEsBAhQDFAAAAAgAAAAhACwWeo9pAAAAeRIAAAoAAAAAAAAAAAAAAIABSBIAAGxhYmVscy5ucHlQSwUGAAAAAAMAAwCnAAAA7RIAAAAA%22%0A%20%20%20%20)%0A%20%20%20%20data%20%3D%20np.load(io.BytesIO(data_bytes))%0A%20%20%20%20labels%20%3D%20data%5B%22labels%22%5D%0A%20%20%20%20columns%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22money%20(idx%2023)%22%3A%20data%5B%22money%22%5D%2C%0A%20%20%20%20%20%20%20%20%22george%20(idx%2026)%22%3A%20data%5B%22george%22%5D%2C%0A%20%20%20%20%7D%0A%0A%20%20%20%20ham_indices%20%3D%20np.where(labels%20%3D%3D%200)%5B0%5D%0A%20%20%20%20spam_indices%20%3D%20np.where(labels%20%3D%3D%201)%5B0%5D%0A%20%20%20%20word_index_map%20%3D%20%7Bname%3A%20i%20for%20i%2C%20name%20in%20enumerate(columns.keys())%7D%0A%20%20%20%20X%20%3D%20np.stack(list(columns.values())%2C%20axis%3D1)%0A%20%20%20%20return%20columns%2C%20ham_indices%2C%20spam_indices%0A%0A%0A%40app.cell%0Adef%20_(columns%2C%20ham_indices%2C%20mo%2C%20plt%2C%20spam_indices)%3A%0A%20%20%20%20%23%20Pre-compute%20one%20figure%20per%20word%20and%20bundle%20them%20into%20tabs%20so%20the%20widget%0A%20%20%20%20%23%20and%20the%20visualization%20live%20in%20a%20single%20cell%20(one%20slide%20in%20slides%20view).%0A%20%20%20%20word_tabs%20%3D%20%7B%7D%0A%20%20%20%20for%20word_label%2C%20column%20in%20columns.items()%3A%0A%20%20%20%20%20%20%20%20word_name%20%3D%20word_label.split(%22%20%22)%5B0%5D%0A%20%20%20%20%20%20%20%20ham_mean%20%3D%20float(column%5Bham_indices%5D.mean())%0A%20%20%20%20%20%20%20%20spam_mean%20%3D%20float(column%5Bspam_indices%5D.mean())%0A%0A%20%20%20%20%20%20%20%20fig_words%2C%20axes_words%20%3D%20plt.subplots(1%2C%202%2C%20figsize%3D(10%2C%203.5))%0A%0A%20%20%20%20%20%20%20%20axes_words%5B0%5D.bar(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B0%2C%201%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5Bham_mean%2C%20spam_mean%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3D%5B%22%234c72b0%22%2C%20%22%23c44e52%22%5D%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20axes_words%5B0%5D.set_xticks(%5B0%2C%201%5D)%0A%20%20%20%20%20%20%20%20axes_words%5B0%5D.set_xticklabels(%5B%22Ham%22%2C%20%22Spam%22%5D)%0A%20%20%20%20%20%20%20%20axes_words%5B0%5D.set_ylabel(f%22Avg.%20frequency%20of%20'%7Bword_name%7D'%22)%0A%20%20%20%20%20%20%20%20axes_words%5B0%5D.set_title(%22Spambase%20%E2%80%94%20mean%20occurrence%22)%0A%0A%20%20%20%20%20%20%20%20axes_words%5B1%5D.hist(%0A%20%20%20%20%20%20%20%20%20%20%20%20column%5Bspam_indices%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20bins%3D30%2C%20alpha%3D0.6%2C%20color%3D%22%23c44e52%22%2C%20label%3D%22Spam%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20axes_words%5B1%5D.hist(%0A%20%20%20%20%20%20%20%20%20%20%20%20column%5Bham_indices%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20bins%3D30%2C%20alpha%3D0.6%2C%20color%3D%22%234c72b0%22%2C%20label%3D%22Ham%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20axes_words%5B1%5D.set_xlabel(f%22Frequency%20of%20'%7Bword_name%7D'%22)%0A%20%20%20%20%20%20%20%20axes_words%5B1%5D.set_ylabel(%22%23%20emails%22)%0A%20%20%20%20%20%20%20%20axes_words%5B1%5D.legend()%0A%20%20%20%20%20%20%20%20axes_words%5B1%5D.set_title(%22Distribution%22)%0A%0A%20%20%20%20%20%20%20%20fig_words.tight_layout()%0A%0A%20%20%20%20%20%20%20%20word_tabs%5Bword_name%5D%20%3D%20mo.vstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Spam%20mean%3A**%20%7Bspam_mean%3A.3f%7D%20%26nbsp%3B%26nbsp%3B%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Ham%20mean%3A**%20%7Bham_mean%3A.3f%7D%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.as_html(fig_words)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20plt.close(fig_words)%0A%0A%20%20%20%20mo.ui.tabs(word_tabs)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%23%23%23%20Detection%0A%0A%20%20%20%20-%20Need%20%24P(W_1%20%5Ccap%20W_2%20%5Ccap%20%5Ccdots%20%5Ccap%20W_K%7CS)%24%0A%20%20%20%20-%20Difficult!%0A%20%20%20%20%20%20%20%20-%20Think%20about%20what%20this%20term%20is%20actually%20saying.%0A%20%20%20%20-%20Need%20to%20simplify.%0A%20%20%20%20-%20Note%3A%20modern%20large%20language%20models%20are%20modeling%20something%20very%20similar%20to%20the%20expression%20above.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.image(src%3D%22media%2Fgpt.png%22%2C%20style%3D%7B%22max-width%22%3A%20%2269%25%22%2C%20%22height%22%3A%20%22auto%22%7D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20**References%3A**%0A%0A%20%20%20%20-%20Radford%20et%20al.%20%E2%80%94%20*Improving%20Language%20Understanding%20by%20Generative%20Pre-Training*%2C%202018.%0A%20%20%20%20-%20Bengio%20et%20al.%20%E2%80%94%20*A%20Neural%20Probabilistic%20Language%20Model*%2C%202003.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20gap%3D2%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Na%C3%AFve%20Bayes%20assumption%0A%0A%20%20%20%20-%20Assume%20independence!%0A%20%20%20%20-%20%24P(A%20%5Ccap%20B)%3DP(A)P(B)%24%0A%20%20%20%20-%20Then%20we%20can%20compute%20%24P(S%7CW_1%20%5Ccap%20W_2%20%5Ccap%20%5Ccdots%20%5Ccap%20W_K)%24%3A%0A%0A%20%20%20%20%24%24P(S%7CW_1%2C%5Cdots%2CW_K)%20%3D%20%5Cfrac%7BP(S)%5Cprod_i%20P(W_i%7CS)%7D%7BP(W_1%2C%5Cdots%2CW_K)%7D%24%24%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Bayes%20classifier%0A%0A%20%20%20%20-%20Shifting%20focus%20a%20bit.%0A%20%20%20%20-%20How%20can%20we%20think%20more%20generally%20about%20classification%20using%20Bayes'%20rule%3F%0A%20%20%20%20-%20First%3A%20think%20continuous%20random%20variables%20%24%5Crightarrow%24%0A%20%20%20%20-%20Let%20us%20start%20with%20considering%20two%20classes%20%24w_1%24%20and%20%24w_2%24.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Core%20idea%20of%20Bayes%20classifier%0A%0A%20%20%20%20-%20Given%20a%20new%20sample%20%24%5Cmathbf%7Bx%7D%24%2C%20how%20can%20we%20decide%20if%20we%20want%20to%20classify%20it%20as%20belonging%20to%20class%20%24w_1%24%3F%0A%20%20%20%20-%20What%20about%3A%0A%20%20%20%20%20%20%20%20-%20%24P(w_1%7C%5Cmathbf%7Bx%7D)%20%3E%20P(w_2%7C%5Cmathbf%7Bx%7D)%24%3F%0A%20%20%20%20-%20else%20class%20%24w_2%24.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Leveraging%20Bayes'%20rule%0A%0A%20%20%20%20-%20%24P(w_1%7C%5Cmathbf%7Bx%7D)%24%20is%20not%20straightforward%20to%20model.%0A%20%20%20%20-%20Bayes'%20rule%20to%20the%20rescue%3A%0A%20%20%20%20%20%20%20%20-%20%24P(w_1)P(%5Cmathbf%7Bx%7D%7Cw_1)%20%3E%20P(w_2)P(%5Cmathbf%7Bx%7D%7Cw_2)%24%0A%20%20%20%20-%20Much%20easier%20to%20work%20with%20%24%5Crightarrow%24%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Example%20with%20balanced%20dataset%0A%0A%20%20%20%20-%20Consider%20the%20case%20where%20%24P(w_1)%3DP(w_2)%3D0.5%24.%0A%20%20%20%20-%20Draw%20%24%5Crightarrow%24%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Example%20with%20unbalanced%20dataset%0A%0A%20%20%20%20-%20Consider%20the%20case%20where%20%24P(w_1)%3D0.25%24%20and%20%24P(w_2)%3D0.75%24.%0A%20%20%20%20-%20Draw%20%24%5Crightarrow%24%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Example%20with%20overlapping%20Gaussians%0A%0A%20%20%20%20-%20Each%20tab%20is%20a%20different%20parameter%20setting%20%E2%80%94%20read%20the%20label%20to%20see%20exactly%0A%20%20%20%20%20%20which%20parameters%20are%20in%20play.%20Means%2C%20standard%20deviations%2C%20and%20(in%20the%20last%0A%20%20%20%20%20%20tab)%20the%20prior%20can%20all%20change.%0A%20%20%20%20-%20Click%20the%20**%22decision%20boundary%22**%20entry%20in%20the%20legend%20to%20toggle%20it%20on%20or%0A%20%20%20%20%20%20off.%20It%20starts%20**off**%20so%20the%20densities%20stand%20alone%20first%3B%20turn%20it%20on%20to%0A%20%20%20%20%20%20see%20where%20the%20Bayes%20classifier%20would%20assign%20each%20%24x%24.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20%23%20Four%20parameter%20settings.%20Each%20one%20varies%20a%20single%20quantity%20from%20the%0A%20%20%20%20%23%20baseline%20(%CE%BC%E2%82%81%3D0%2C%20%CE%BC%E2%82%82%3D1%2C%20%CF%83%3D0.5%2C%20P(w%E2%82%81)%3D0.5)%20so%20students%20can%20isolate%20its%0A%20%20%20%20%23%20effect.%20Tab%20labels%20state%20the%20exact%20parameter%20values%20used%20in%20that%20figure.%0A%20%20%20%20%23%20Format%3A%20(label%2C%20mu1%2C%20mu2%2C%20sigma1%2C%20sigma2%2C%20prior_w1)%0A%20%20%20%20settings%20%3D%20%5B%0A%20%20%20%20%20%20%20%20(%22%CE%BC%E2%82%81%3D0%2C%20%CE%BC%E2%82%82%3D1%2C%20%CF%83%E2%82%81%3D%CF%83%E2%82%82%3D0.5%22%2C%200.0%2C%201.0%2C%200.5%2C%200.5%2C%200.5)%2C%0A%20%20%20%20%20%20%20%20(%22%CE%BC%E2%82%81%3D0%2C%20%CE%BC%E2%82%82%3D2%2C%20%CF%83%E2%82%81%3D%CF%83%E2%82%82%3D0.5%22%2C%200.0%2C%202.0%2C%200.5%2C%200.5%2C%200.5)%2C%0A%20%20%20%20%20%20%20%20(%22%CE%BC%E2%82%81%3D0%2C%20%CE%BC%E2%82%82%3D1%2C%20%CF%83%E2%82%81%3D0.5%2C%20%CF%83%E2%82%82%3D0.6%22%2C%200.0%2C%201.0%2C%200.5%2C%200.6%2C%200.5)%2C%0A%20%20%20%20%20%20%20%20(%22%CE%BC%E2%82%81%3D0%2C%20%CE%BC%E2%82%82%3D1%2C%20%CF%83%3D0.5%2C%20P(w%E2%82%81)%3D0.1%22%2C%200.0%2C%201.0%2C%200.5%2C%200.5%2C%200.1)%2C%0A%20%20%20%20%5D%0A%20%20%20%20return%20(settings%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20norm%2C%20np%2C%20settings)%3A%0A%20%20%20%20import%20plotly.graph_objects%20as%20go%0A%0A%20%20%20%20x_grid%20%3D%20np.linspace(-5%2C%206%2C%20600)%0A%0A%20%20%20%20sample_tabs%20%3D%20%7B%7D%0A%20%20%20%20for%20label%2C%20mu1%2C%20mu2%2C%20sigma1%2C%20sigma2%2C%20prior_w1%20in%20settings%3A%0A%20%20%20%20%20%20%20%20p1%20%3D%20norm.pdf(x_grid%2C%20mu1%2C%20sigma1)%0A%20%20%20%20%20%20%20%20p2%20%3D%20norm.pdf(x_grid%2C%20mu2%2C%20sigma2)%0A%0A%20%20%20%20%20%20%20%20%23%20Bayes%20decision%20boundary%3A%20where%20P(w%E2%82%81)%C2%B7P(x%7Cw%E2%82%81)%20%3D%3D%20P(w%E2%82%82)%C2%B7P(x%7Cw%E2%82%82).%0A%20%20%20%20%20%20%20%20%23%20With%20equal%20priors%20this%20is%20just%20the%20crossing%20of%20the%20likelihoods.%0A%20%20%20%20%20%20%20%20%23%20With%20a%20skewed%20prior%20the%20boundary%20shifts%20toward%20the%20class%20that%20has%0A%20%20%20%20%20%20%20%20%23%20the%20lower%20prior%20%E2%80%94%20more%20evidence%20is%20needed%20before%20we%20assign%20to%20it.%0A%20%20%20%20%20%20%20%20post1%20%3D%20prior_w1%20*%20p1%0A%20%20%20%20%20%20%20%20post2%20%3D%20(1.0%20-%20prior_w1)%20*%20p2%0A%20%20%20%20%20%20%20%20diff%20%3D%20post1%20-%20post2%0A%20%20%20%20%20%20%20%20crossings%20%3D%20np.where(np.diff(np.sign(diff)))%5B0%5D%0A%20%20%20%20%20%20%20%20boundary%20%3D%20float(x_grid%5Bcrossings%5B0%5D%5D)%20if%20len(crossings)%20else%20None%0A%0A%20%20%20%20%20%20%20%20fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dx_grid%2C%20y%3Dp1%2C%20mode%3D%22lines%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3D%22P(x%7Cw%E2%82%81)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3D%22royalblue%22%2C%20width%3D2.5)%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dx_grid%2C%20y%3Dp2%2C%20mode%3D%22lines%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3D%22P(x%7Cw%E2%82%82)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3D%22crimson%22%2C%20width%3D2.5)%2C%0A%20%20%20%20%20%20%20%20))%0A%0A%20%20%20%20%20%20%20%20%23%20Decision%20boundary%20as%20a%20toggleable%20trace%20%E2%80%94%20the%20%22decision%20boundary%22%0A%20%20%20%20%20%20%20%20%23%20legend%20entry%20starts%20hidden%20(visible%3D%22legendonly%22)%20so%20the%20densities%0A%20%20%20%20%20%20%20%20%23%20read%20cleanly%20first%3B%20clicking%20the%20legend%20entry%20toggles%20it%20on.%0A%20%20%20%20%20%20%20%20if%20boundary%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20max_y%20%3D%20float(max(p1.max()%2C%20p2.max()))%0A%20%20%20%20%20%20%20%20%20%20%20%20fig.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3D%5Bboundary%2C%20boundary%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3D%5B0%2C%20max_y%20*%201.05%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mode%3D%22lines%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3D%22black%22%2C%20dash%3D%22dash%22%2C%20width%3D2)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20name%3D%22decision%20boundary%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20visible%3D%22legendonly%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20))%0A%0A%20%20%20%20%20%20%20%20fig.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20height%3D440%2C%20width%3D950%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20margin%3Ddict(t%3D10%2C%20b%3D40%2C%20l%3D40%2C%20r%3D20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20xaxis%3Ddict(title%3D%22x%22%2C%20showgrid%3DFalse%2C%20zeroline%3DFalse)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20yaxis%3Ddict(showgrid%3DFalse%2C%20zeroline%3DFalse)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20legend%3Ddict(orientation%3D%22h%22%2C%20yanchor%3D%22bottom%22%2C%20y%3D1.02%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20xanchor%3D%22center%22%2C%20x%3D0.5%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font%3Ddict(size%3D16))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20paper_bgcolor%3D%22white%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20plot_bgcolor%3D%22white%22%2C%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20sample_tabs%5Blabel%5D%20%3D%20fig%0A%0A%20%20%20%20mo.ui.tabs(sample_tabs)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Probability%20of%20error%0A%0A%20%20%20%20-%20Want%3A%0A%20%20%20%20%20%20%20%20-%20Algorithm%20that%20can%20solve%20task%20with%20high%20performance.%0A%20%20%20%20%20%20%20%20-%20Think%20spam%20filter%20that%20removes%20all%20spam%20and%20keeps%20all%20ham.%0A%20%20%20%20-%20Problem%3A%0A%20%20%20%20%20%20%20%20-%20Real%20data%20is%20complicated%2C%20we%20will%20make%20mistakes!%0A%20%20%20%20%20%20%20%20-%20What%20is%20the%20probability%20of%20making%20an%20error%20with%20a%20Bayes%20classifier%3F%0A%20%20%20%20-%20The%20probability%20of%20error%20can%20be%20modelled%20as%20follows%3A%0A%0A%20%20%20%20%24%24%0A%20%20%20%20%5Cbegin%7Baligned%7D%0A%20%20%20%20P_e%20%26%3D%20P(%5Cmathbf%7Bx%7D%5Cin%20R_1%2C%20w_2)%20%2B%20P(%5Cmathbf%7Bx%7D%5Cin%20R_2%2C%20w_1)%20%5C%5C%0A%20%20%20%20%20%20%20%20%26%3D%20P(%5Cmathbf%7Bx%7D%5Cin%20R_1(w_2))P(w_2)%20%2B%20P(%5Cmathbf%7Bx%7D%5Cin%20R_2(w_1))P(w_1)%0A%20%20%20%20%5Cend%7Baligned%7D%0A%20%20%20%20%24%24%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Bayes%20classifier%20minimizes%20%24P_e%24%0A%0A%20%20%20%20-%20Note%20that%20%24P_e%24%20can%20also%20be%20expressed%20in%20terms%20of%20an%20integral%3A%0A%0A%20%20%20%20%24%24P_e%20%3D%20%5Cdisplaystyle%5Cint_%7BR_1%7D%20P(w_2)P(%5Cmathbf%7Bx%7D%7Cw_2)%5C%2Cd%5Cmathbf%7Bx%7D%20%2B%20%5Cint_%7BR_2%7D%20P(w_1)P(%5Cmathbf%7Bx%7D%7Cw_1)%5C%2Cd%5Cmathbf%7Bx%7D%24%24%0A%0A%20%20%20%20-%20Visual%20proof%20%24%5Crightarrow%24%0A%20%20%20%20-%20Formal%20proof%20as%20extra%20exercise.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Going%20beyond%20the%20two-class%20setting%0A%0A%20%20%20%20-%20Given%20a%20new%20sample%20%24%5Cmathbf%7Bx%7D%24%2C%20how%20can%20we%20decide%20if%20we%20want%20to%20classify%20it%20as%20belonging%20to%20class%20%24w_i%24%3F%0A%20%20%20%20-%20%24P(w_i)P(%5Cmathbf%7Bx%7D%7Cw_i)%20%3E%20P(w_j)P(%5Cmathbf%7Bx%7D%7Cw_j)%24%20for%20all%20%24j%20%5Cneq%20i%24.%0A%20%20%20%20-%20Assign%20%24%5Cmathbf%7Bx%7D%24%20to%20the%20largest%20%24P(w_i)P(%5Cmathbf%7Bx%7D%7Cw_i)%24.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Dealing%20with%20risk%20in%20the%20Bayes%20classifier%0A%0A%20%20%20%20-%20In%20many%20cases%2C%20certain%20types%20of%20errors%20have%20bigger%20consequences%20than%20others.%0A%20%20%20%20-%20**Example%201%3A**%0A%20%20%20%20%20%20%20%20-%20A%20spam%20email%20getting%20through%20the%20spam%20filter%3F%0A%20%20%20%20%20%20%20%20%20%20%20%20-%20Annoying%2C%20but%20manageable.%0A%20%20%20%20%20%20%20%20-%20A%20legitimate%20email%20with%20an%20important%20message%20getting%20caught%20in%20the%20filter%3F%0A%20%20%20%20%20%20%20%20%20%20%20%20-%20Potentially%20very%20damaging.%0A%20%20%20%20-%20**Example%202%3A**%0A%20%20%20%20%20%20%20%20-%20A%20benign%20tumor%20being%20classified%20as%20malignant%20in%20breast%20cancer%20screening%3F%0A%20%20%20%20%20%20%20%20%20%20%20%20-%20Not%20good%3B%20increases%20workload%20and%20chance%20of%20unnecessary%20treatment.%20But%2C%20%22better%20safe%20than%20sorry%22.%0A%20%20%20%20%20%20%20%20-%20A%20malignant%20tumor%20being%20missed%3F%0A%20%20%20%20%20%20%20%20%20%20%20%20-%20Potentially%20fatal.%0A%20%20%20%20-%20Can%20we%20incorporate%20this%20into%20the%20classifier%3F%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Introducing%20risk%20factors%20to%20the%20Bayes%20classifier%0A%0A%20%20%20%20-%20Define%3A%0A%20%20%20%20%20%20%20%20-%20%24%5Clambda_%7B12%7D%24%3A%20penalty%20for%20wrongly%20classifying%20%24w_2%24%20as%20%24w_1%24%0A%20%20%20%20%20%20%20%20-%20%24%5Clambda_%7B21%7D%24%3A%20penalty%20for%20wrongly%20classifying%20%24w_1%24%20as%20%24w_2%24%0A%20%20%20%20-%20Consider%20the%20two-class%20setting%20again%3A%0A%20%20%20%20%20%20%20%20-%20%24%5Clambda_%7B12%7DP(w_1)P(%5Cmathbf%7Bx%7D%7Cw_1)%20%3E%20%5Clambda_%7B21%7DP(w_2)P(%5Cmathbf%7Bx%7D%7Cw_2)%24%0A%20%20%20%20-%20Rewrite%20as%20a%20ratio%3A%0A%0A%20%20%20%20%24%24%5Cfrac%7BP(%5Cmathbf%7Bx%7D%7Cw_1)%7D%7BP(%5Cmathbf%7Bx%7D%7Cw_2)%7D%20%3E%20%5Cfrac%7B%5Clambda_%7B21%7DP(w_2)%7D%7B%5Clambda_%7B12%7DP(w_1)%7D%24%24%0A%0A%20%20%20%20-%20Need%20to%20know%20class-conditional%20distributions.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Investigating%20the%20simplest%20case%20%E2%80%94%20one-dimensional%20normal%20distributions%0A%0A%20%20%20%20-%20Let%20%24P(%5Cmathbf%7Bx%7D%7Cw_i)%24%20follow%20a%20normal%20probability%20density%20function.%0A%20%20%20%20-%20One-dimensional%20case%3A%0A%0A%20%20%20%20%24%24P(x%7Cw_i)%20%3D%20%5Cfrac%7B1%7D%7B%5Csqrt%7B2%5Cpi%5Csigma_i%5E2%7D%7D%5Cexp%5C!%5Cleft(-%5Cfrac%7B(x-%5Cmu_i)%5E2%7D%7B2%5Csigma_i%5E2%7D%5Cright)%24%24%0A%0A%20%20%20%20-%20General%20(multivariate)%20case%3A%0A%0A%20%20%20%20%24%24P(%5Cmathbf%7Bx%7D%7Cw_i)%20%3D%20%5Cfrac%7B1%7D%7B(2%5Cpi)%5E%7Bd%2F2%7D%7C%5Cmathbf%7B%5CSigma%7D_i%7C%5E%7B1%2F2%7D%7D%5Cexp%5C!%5Cleft(-%5Ctfrac%7B1%7D%7B2%7D(%5Cmathbf%7Bx%7D-%5Cboldsymbol%7B%5Cmu%7D_i)%5E%7B%5C!%5Ctop%7D%5Cmathbf%7B%5CSigma%7D_i%5E%7B-1%7D(%5Cmathbf%7Bx%7D-%5Cboldsymbol%7B%5Cmu%7D_i)%5Cright)%24%24%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Example%20with%20two-class%20problem%0A%0A%20%20%20%20-%20Consider%20a%20balanced%20dataset%20with%20class-conditional%20distributions%20%24P(%5Cmathbf%7Bx%7D%7Cw_1)%5Csim%20%5Cmathcal%7BN%7D(%5Cmu_1%2C%20%5Csigma)%24%20and%20%24P(%5Cmathbf%7Bx%7D%7Cw_2)%5Csim%20%5Cmathcal%7BN%7D(%5Cmu_2%2C%20%5Csigma)%24.%0A%20%20%20%20-%20Let%20%24P(w_1)%3DP(w_2)%24%20%E2%80%94%20balanced%20dataset%20(equiprobable%20classes).%0A%20%20%20%20-%20Expression%20for%20the%20ratio%3A%0A%0A%20%20%20%20%24%24%5Cfrac%7BP(%5Cmathbf%7Bx%7D%7Cw_1)%7D%7BP(%5Cmathbf%7Bx%7D%7Cw_2)%7D%20%3D%20%5Cexp%5C!%5Cleft(-%5Cfrac%7B%5C%7C%5Cmathbf%7Bx%7D-%5Cboldsymbol%7B%5Cmu%7D_1%5C%7C%5E2%20-%20%5C%7C%5Cmathbf%7Bx%7D-%5Cboldsymbol%7B%5Cmu%7D_2%5C%7C%5E2%7D%7B2%5Csigma%5E2%7D%5Cright)%24%24%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Discriminant%20functions%0A%0A%20%20%20%20-%20Take%20a%20step%20back%3A%0A%20%20%20%20%20%20%20%20-%20What%20is%20actually%20going%20on%3F%0A%20%20%20%20-%20Input%20space%20is%20partitioned%20into%20regions.%20Two%20regions%20are%20separated%20by%20a%20decision%20surface.%0A%20%20%20%20-%20Often%20mathematically%20convenient%20to%20describe%20the%20decision%20surface%20using%20a%20*discriminant%20function*%3A%0A%20%20%20%20%20%20%20%20-%20%24g_i(%5Cmathbf%7Bx%7D)%20%3D%20f(P(w_i)P(%5Cmathbf%7Bx%7D%7Cw_i))%24%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Example%20for%20Gaussian%20case%0A%0A%20%20%20%20-%20Revisiting%20the%20Gaussian%20likelihood.%0A%20%20%20%20-%20What%20could%20be%20a%20suitable%20choice%20for%20%24f%24%3F%0A%20%20%20%20-%20In%20this%20case%2C%20%24g_i(%5Cmathbf%7Bx%7D)%24%20becomes%3A%0A%0A%20%20%20%20%24%24g_i(%5Cmathbf%7Bx%7D)%20%3D%20-%5Ctfrac%7B1%7D%7B2%7D(%5Cmathbf%7Bx%7D-%5Cboldsymbol%7B%5Cmu%7D_i)%5E%7B%5C!%5Ctop%7D%5Cmathbf%7B%5CSigma%7D_i%5E%7B-1%7D(%5Cmathbf%7Bx%7D-%5Cboldsymbol%7B%5Cmu%7D_i)%20-%20%5Ctfrac%7Bd%7D%7B2%7D%5Cln(2%5Cpi)%20-%20%5Ctfrac%7B1%7D%7B2%7D%5Cln%7C%5Cmathbf%7B%5CSigma%7D_i%7C%20%2B%20%5Cln%20P(w_i)%24%24%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Decision%20surfaces%0A%0A%20%20%20%20-%20Decision%20surface%20is%20where%20the%20discriminant%20functions%20are%20equal%3A%0A%20%20%20%20%20%20%20%20-%20%24g_%7Bij%7D(%5Cmathbf%7Bx%7D)%20%3D%20g_i(%5Cmathbf%7Bx%7D)-g_j(%5Cmathbf%7Bx%7D)%20%3D%200%24%0A%20%20%20%20-%20Quadratic%20surface!%20Draw%20example%20%24%5Crightarrow%24%0A%20%20%20%20-%20Often%20we%20assume%20equal%20covariance%20structure.%20What%20happens%20then%3F%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Continue%20example%20for%20Gaussian%20case%0A%0A%20%20%20%20-%20Remember%3A%20%24g_%7Bij%7D(%5Cmathbf%7Bx%7D)%20%3D%20g_i(%5Cmathbf%7Bx%7D)-g_j(%5Cmathbf%7Bx%7D)%20%3D%200%24%0A%20%20%20%20-%201st%20term%20%24%5Crightarrow%24%0A%20%20%20%20-%202nd%20term%20%24%5Crightarrow%24%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Special%20case%20for%20equiprobable%20classes%20with%20the%20same%20covariance%20matrix%0A%0A%20%20%20%20-%20Assume%20%24%5Cboldsymbol%7B%5CSigma%7D%20%3D%20%5Csigma%20%5Cmathbf%7BI%7D%24%0A%20%20%20%20-%20Then%20the%20discriminant%20function%20%24g_%7Bij%7D(%5Cmathbf%7Bx%7D)%24%20becomes%20%24%5Crightarrow%24%0A%20%20%20%20-%20Draw%20example%20%24%5Crightarrow%24%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A