Podminene_psti_a_Bayes.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Materiály vznikají průběžně a jsou bez záruky - prosím o report chyb :-)**\n",
    "\n",
    "---"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {
    "slideshow": {
     "slide_type": "skip"
    }
   },
   "outputs": [],
   "source": [
    "import numpy as np\n",
    "from scipy.special import comb\n",
    "np.set_printoptions(precision=3)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "# Téma 2: Podmíněná pravděpodobnost\n",
    "\n",
    "> **Definice**\n",
    ">\n",
    "> Buďte $A$ a $B$ jevy a $P(B) > 0$. **Podmíněnou pravděpodobností** $A$ za podmínky $B$ nazýváme\n",
    "> \n",
    ">$$\n",
    "P(A|B) = \\frac{P(A\\cap B)}{P(B)}.\n",
    "$$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## Příklad - ilustrační\n",
    "\n",
    "Máme dvě férové - tedy vyvážené - kostky. Máme spočítat pravděpodobnost, že na první padla 2 za předpokladu (*podmínky*!), že součet čísel na obou kostkách je nejvýše 5.\n",
    "\n",
    "![podminena](img/podminena-2kostky.png)\n",
    "\n",
    "Jak je patrné, je vždy dobré si raději pečlivě rozepsat nebo rozkreslit vše, co známe. Zkušenost nás pak naučí si vybírat, co opravdu potřebujeme."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "Zabývejme se nyní tímto problémem: Máme ze znalosti předchozího určit $P(K_1=2)$, tedy *marginální pravděpodobnost*. Celkem triviálně víme, že to je $\\frac{1}{6}$, ale ukažme si to pomocí podmíněných pravděpodobností, tedy za podmínky že buď byl součet nejvýše pět či více jak pět:\n",
    "\n",
    "$$\n",
    "\\begin{aligned}\n",
    "P(K_1=2) \n",
    "&= P(K_1=2|K_1+K_2\\leq 5) P(K_1+K_2\\leq 5) \\\\ &+  P(K_1=2|K_1+K_2> 5) P(K_1+K_2 > 5) \\\\\n",
    "&= P(\\{K_1\\} \\cap \\{K_1+K_2\\leq 5\\}) + P(\\{K_1\\} \\cap \\{K_1+K_2 > 5\\}) \\\\\n",
    "&= \\frac{3}{36} + \\frac{3}{36} = \\frac{1}{6},\n",
    "\\end{aligned}\n",
    "$$\n",
    "\n",
    "což vidíme odpovídá obrázku. O tom je i věta o úplné pravděpodobnosti."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "> **Věta o úplné pravděpodobnosti**\n",
    ">\n",
    "> Nechť $B_1, \\ldots, B_n$ je rozklad $\\Omega$ takový, že pro každé $i$ je $P(B_i)>0$. Potom pro každý jev $A$ platí\n",
    ">\n",
    ">$$\n",
    "P(A) = \\sum_{i=1}^n P(A|B_i) P(B_i).\n",
    "$$\n",
    "\n",
    "Věta o úplné pravděpodobnosti vlastně napovídá, jak se dostat k pravděpodobnosti jevu $A$. Stačí se prostě vzít v potaz všechny varianty, které jej podmiňují a přes ně vysčítat. To názorně demonstrují následující příklady."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### Příklad\n",
    "\n",
    "Hostujeme zdrojové kódy ve verzovacím systému na serveru, k němuž se můžeme připojit pomocí 3 protokolů - https, ssh a git. Kvůli různým nastavením firewallů apod. u různých ISP se k repozitáři dostaneme (OK) s následujícími pravděpodobnostmi:\n",
    "\n",
    "- $P(OK|https) = 0.99$\n",
    "- $P(OK|ssh) = 0.3$\n",
    "- $P(OK|git) = 0.1$\n",
    "\n",
    "Máme určit pravděpodobnost, že se k repozitáři dostaneme na první pokus, pokud vybíráme protokoly se stejnou pravděpodobností."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "*Řešení: abychom se k repozitáři dostali, musíme být úspěšní s https NEBO ssh NEBO gitem,*\n",
    "\n",
    "$$\n",
    "\\begin{aligned}\n",
    "P(OK) &= P(OK|https)\\cdot P(https) + P(OK|ssh)\\cdot P(ssh) + P(OK|git)\\cdot P(git) \\\\\n",
    "&= 0.99 \\cdot \\frac{1}{3} + 0.3 \\cdot \\frac{1}{3} + 0.1 \\cdot \\frac{1}{3} = 0.463.\n",
    "\\end{aligned}\n",
    "$$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "> **Definice: Nezávislost jevů**\n",
    ">\n",
    "> Jevy $A$ a $B$ se nazývají nezávislé, pokud\n",
    ">\n",
    "> $$\n",
    "P(A\\cap B) = P(A|B)\\cdot P(B) = P(B|A)\\cdot P(A) = P(A) \\cdot P(B).\n",
    "$$\n",
    "\n",
    "Velmi jednoduše řečeno, nezávislost jevů znamená, že jeden jev neovlivňuje pravděpodobnost druhého. Z toho tedy plyne navíc $P(A|B) = P(A)$, viz definice nezávislosti. Z příkladu níže vidíme, že neplatí, že $A, B$ jsou nezávislé, pokud $A\\cap B = \\emptyset$.\n",
    "\n",
    "\n",
    "A vrátíme se tedy ještě jednou ke kostce. Máme nyní určit pravděpodobnost, že na první kostce padla 2 za podmínky, že na druhé kostce padlo liché číslo:\n",
    "\n",
    "$$\n",
    "\\begin{aligned}\n",
    "P(K_1=2|K_2=\\{1,3,5\\}) &= \n",
    "\\frac{P(\\{K_1=2\\} \\cap \\{K_2=\\{1,3,5\\}\\})}{P(\\{K_2=\\{1,3,5\\}\\})} \\\\\n",
    "&= \\frac{\\frac{1}{6} \\cdot \\frac{3}{6}}{\\frac{3}{6}}\n",
    "= \\frac{1}{6} = P(K_1=2).\n",
    "\\end{aligned}\n",
    "$$\n",
    "\n",
    "(Rozepište nebo rozkreslete si to!)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### Příklad na podmíněné pravděpodobnosti\n",
    "Uvažujeme strojové rozpoznávání textu v závislosti na světelných podmínkách. To můžeme popsat podmíněnou pravděpodobností $P(R|S)$, kde R zastupuje \"rozpoznání\" a S \"světelné podmínky\". To je vlastně **model** pro R v závislosti na S. Zapišme pomocí tabulky:\n",
    "\n",
    "$P(R|S)$| Dobré | Přijatelné | Špatné \n",
    "--- | :---: | :---: | :---:\n",
    "Rozpoznáno | 0.99 | 0.6 | 0.3 \n",
    "Nerozpoznáno | 0.01 | 0.4 | 0.7 \n",
    "\n",
    "Uvažujme dále, že pravděpodobnost světelných podmínek $P(S)$ je rozdělena takto:\n",
    "\n",
    "$P(S)$ | Dobré | Přijatelné | Špatné \n",
    "--- | :---: | :---: | :---: \n",
    "$P(S)$ | 0.6 | 0.3 | 0.1 \n",
    "\n",
    "Potom pro průniky jednotlivých jevů dostaneme pravděpodobnosti:\n",
    "\n",
    "$P(R\\cap S)$ | Dobré | Přijatelné | Špatné | $P(R)$\n",
    "--- | :---: | :---: | :---: | :---:\n",
    "Rozpoznáno | 0.594 | 0.18 | 0.03 | 0.804\n",
    "Nerozpoznáno | 0.006 | 0.12 | 0.07 | 0.196\n",
    "$P(S)$ | 0.6 | 0.3 | 0.1 | 1\n",
    "\n",
    "Hodnoty pro $P(S)$ a $P(R)$ dostáváme podle věty o úplné pravděpodobnosti.\n",
    "\n",
    "**Všimněte si jedné důležité vlastnosti, dobře patrné na součtech sloupců: Když sčítáme pravěpodobnost průnikových jevů přes celý prostor jednoho z jevů, tedy používáme větu o úplné pravděpodobnosti, tak vlastně \"vyeliminujeme\" daný jev. Tomu se říká marginalizace a uslyšíme o ní více v problematice náhodných veličin.**"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "> **Věta: Multiplikativní zákon**\n",
    ">\n",
    "> Nechť pro jevy $A_1, \\ldots, A_n$ je $P(A_1\\cap \\cdots \\cap A_n)>0$. Pak platí\n",
    ">\n",
    "> ![multi](img/multiplikativni.jpg)\n",
    "\n",
    "Strom samozřejmě není součástí věty, jen názorně demonstruje, co nám multiplikativní zákon říká: Pravděpodobnost jedné konkrétní cesty v grafu. Až se budeme zabývat náhodnými veličinami, zjistíme, že toto pravidlo se tam jmenuje *řetězové*, neboť zřetězuje proměnné do sdružené pravděpodobnosti."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Příklad\n",
    "Chráníme server portknockingem, který otevírá port 22. Portknocking funguje na portech 1025-2048/tcp, je třeba poslat libovolné pakety v pořadí 1111/tcp, 1234/tcp, 1122/tcp, přičemž nesmí mezi nimi být paket na jiný port. Jaká je pravděpodobnost, že útočník port 22 náhodně otevře, pokud pošle libovolně 3 pakety na uvedený rozsah portů v náhodném pořadí, bez opakování portů?\n",
    "\n",
    "$$\n",
    "\\begin{aligned}\n",
    "P(1111\\cap 1234\\cap 1122) &= P(1111) \\cdot P(1234|1111) \\cdot (1122|1111\\cap 1234) \\\\\n",
    "&= \\frac{1}{1024} \\cdot \\frac{1}{1023} \\cdot \\frac{1}{1022}.\n",
    "\\end{aligned}\n",
    "$$\n",
    "\n",
    "Pokud by na pořadí portů nezáleželo, tak bychom přešli od podmíněných pravděpodobností k nepodmíněným."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "záleží-li na pořadí:  9.340572890064714e-10\n",
      "pokud by nezáleželo:  5.604343734038829e-09\n"
     ]
    }
   ],
   "source": [
    "print(\"záleží-li na pořadí: \", 1/(1024 * 1023 * 1022))\n",
    "print(\"pokud by nezáleželo: \", 1/comb(1024, 3))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "# Bayesova věta\n",
    "\n",
    "> **Bayesova věta**\n",
    ">\n",
    "> Nechť $B_1, \\ldots, B_n$ je rozklad $\\Omega$ takový, že pro každé $j$ je $P(B_j)>0$. Dále nechť $A$ je náhodný jev s $P(A)>0$. Potom platí\n",
    ">\n",
    "> $$\n",
    "P(B_j|A) = \\frac{P(A|B_j) P(B_j)}{P(A)}.\n",
    "$$\n",
    "\n",
    "$P(A)$ ve jmenovateli je právě z věty o úplné pravděpodobnosti, proto\n",
    "\n",
    "$$\n",
    "P(B_j|A) = \\frac{P(A|B_j) P(B_j)}{\\sum_{i=1}^n P(A|B_i) P(B_i)}.\n",
    "$$\n",
    "\n",
    "Bayesovu větu si nemusíme pamatovat, plyne jednoduše z rovnosti\n",
    "\n",
    "$$\n",
    "P(A|B_j) P(B_j) = P(B_j|A) P(A).\n",
    "$$\n",
    "\n",
    "Proto se jí někdy říká inverzní pravděpodobnost, neboť se ptáme na podmíněnou pravděpodobnost s prohozenými argumenty před a za podmínkou."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### Příklad: Palomares B-52 crash & H-bomb - baby version\n",
    "\n",
    "V roce 1966 došlo při tankování za letu ke [srážce B-52 s KC-135 nad Španělskem u města Palomares](https://en.wikipedia.org/wiki/1966_Palomares_B-52_crash). Výsledkem bylo několik mrtvých, 4 rozházené vodíkové bomby, z toho jedna ztracená, u dvou explodovaly iniciační nálože a rozmetaly radioaktivní část bomby po okolí. Při hledání - a úspěšném nalezení - čtvrté byl použit bayesovský aparát. Zkusíme si baby verzi hledání bomby.\n",
    "\n",
    "Máme určit pravděpodobnosti lokace bomby ve třech hrubě rozdělených oblastech $S_1, S_2, S_3$, kterým přidělíme rovnoměrnou apriorní pravděpodobnost, tedy $\\frac{1}{3}$ každé.\n",
    "\n",
    "![Palomares map](img/palomaresmap.jpg)\n",
    "\n",
    "Jelikož se našla součást padáku, předpokládá se, že se úspěšně otevřel. Experti na základě meteo údajů kvantifikovali pravděpodobnosti, že pro každou danou oblast vanul příznivý vítr. Všimněte si, že podmíněné pravděpodobnosti $P(V|S_1)$ pro vítr se nemusí sčítat do jedničky! (Rozmyslete - a poté porovnejte s příkladem o rozpoznávání textu. Všimněte si navíc, že by bylo možné udělat pěkné tabulky i zde a sčítat řádky, sloupce...)\n",
    "\n",
    "|Pravděpodobnost/oblast | $S_1$ | $S_2$ | $S_3$ |\n",
    "|---|---|---|---|\n",
    "|$P(V|S_i)$ | 0.1 | 0.3 | 0.4 |\n",
    "|$P(S_i)$ | 1/3 | 1/3 | 1/3 |\n",
    "\n",
    "**Analýza:**\n",
    "\n",
    "Z uvedených údajů tedy plyne:\n",
    "\n",
    "Ptáme se na inverzní pravděpodobnost k $P(V|S_i)$, tedy na $P(S_i|V)$ - použijeme Bayesovu větu, kterou si nejprve z pohodlnosti odvodíme pro tento konkrétní případ ze vzorce pro pravděpodobnosti průniku podmíněných jevů:\n",
    "\n",
    "$$\n",
    "P(S_i|V) \\cdot P(V) = P(V|S_i) \\cdot P(S_i).\n",
    "$$\n",
    "\n",
    "Tedy\n",
    "\n",
    "$$\n",
    "\\begin{aligned}\n",
    "P(S_i|V) \n",
    "= \\frac{P(V|S_i) \\cdot P(S_i)}{P(V)}\n",
    "= \\frac{P(V|S_i) \\cdot P(S_i)}{\\sum_{i=1}^{3} P(V|S_i)\\cdot  P(S_i)}\n",
    "\\end{aligned}\n",
    "$$\n",
    "\n",
    "Dosazením dostáváme pro jednotlivé oblasti pravděpodobnosti:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "0.26666666666666666\n",
      "Aposteriorní pravděpodobnosti oblastí:  [0.125 0.375 0.5  ]\n",
      "Kontrola - suma přes oblasti:  1.0\n",
      "Kontrola - rozdíl pstí průniků:  0.0\n"
     ]
    }
   ],
   "source": [
    "P_V__Si = np.array([.1, .3, .4])\n",
    "P_Si = np.ones(3) / 3\n",
    "\n",
    "P_V = np.sum(P_V__Si * P_Si)\n",
    "P_Si__V = P_V__Si * P_Si\n",
    "P_Si__V /= P_V\n",
    "print(P_V)\n",
    "print(\"Aposteriorní pravděpodobnosti oblastí: \", P_Si__V)\n",
    "print(\"Kontrola - suma P(Si|V): \", P_Si__V.sum())\n",
    "print(\"Kontrola - rozdíl pstí průniků: \", np.sum(P_Si__V * P_V) - np.sum(P_V__Si * P_Si))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Příklad\n",
    "\n",
    "Stojíme před big data problémem. [HST (Hubble Space Telescope)](https://en.wikipedia.org/wiki/Hubble_Space_Telescope) nasnímkoval část hlubokého vesmíru a je potřeba z nepředzpracovaných dat získat co největší informaci o počtu galaxií v dané oblasti. K tomu použijeme klasifikační metodu, která - jak víme z předchozích experimentů - má následující vlastnosti ($G$ = True Galaxy, $X$ = True non-Galaxy, $T_G$ = Test Galaxy, $T_X$ =  Test non-Galaxy).\n",
    "\n",
    "- $P(T_G|G) = 0.92$\n",
    "- $P(T_X|X) = 0.97$\n",
    "- $P(G) = 0.005$\n",
    "\n",
    "Jaká je pravděpodobnost, že na snímku je galaxie, pokud to klasifikátor tvrdí? A jaká je pravděpodobnost, že tam ta galaxie není?\n",
    "\n",
    "*Řešení:*\n",
    "\n",
    "*Dopíšeme si zbytek pravděpodobností:*\n",
    "\n",
    "- $P(T_G|X) = 0.03$\n",
    "- $P(T_X|G) = 0.08$\n",
    "- $P(X) = 0.995$\n",
    "\n",
    "*Hledáme $P(G|T_G)$, tedy inverzní pravděpodobnost k $P(T_G|G)$. Odvodíme si Bayesův vzorec:*\n",
    "\n",
    "$$\n",
    "P(T_G|G) P(G) = P(G|T_G) P(T_G) \\Rightarrow P(G|T_G) = \\frac{P(T_G|G) P(G)}{P(T_G)},\n",
    "$$\n",
    "\n",
    "kde z věty pro úplnou pravděpodobnost dostaneme\n",
    "\n",
    "$$\n",
    "P(T_G) = P(T_G|G)\\cdot P(G) + P(T_G|X)\\cdot P(X)\n",
    "$$\n",
    "\n",
    "Že na snímku galaxie není je jev opačný, tedy $P(X|T_G) = 1 - P(G|T_G)$. Můžeme ale rovněž spočítat podle Bayesova vzorce pro kontrolu. Stačí jen vyměnit čitatel ve zlomku."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Pravděpodobnost TG: 0.034\n",
      "Pravděpodobnost TG & G: 0.005\n",
      "Pravděpodobnost TG & X: 0.030\n",
      "Pravděpodobnost G|TG: 0.134\n",
      "Pravděpodobnost X|TG: 0.866\n",
      "Kontrola:  1.0\n"
     ]
    }
   ],
   "source": [
    "P_TG__G = 0.92\n",
    "P_TX__X = 0.97\n",
    "P_G = 0.005\n",
    "P_X = 1 - P_G\n",
    "P_TX__G = 1 - P_TG__G\n",
    "P_TG__X = 1 - P_TX__X\n",
    "P_TG = P_TG__G * P_G + P_TG__X * P_X\n",
    "P_G_TG = P_TG__G * P_G\n",
    "P_X_TG = P_TG__X * P_X\n",
    "P_G__TG = P_G_TG / P_TG\n",
    "P_X__TG = P_X_TG / P_TG\n",
    "print(\"Pravděpodobnost TG: {0:.3f}\".format(P_TG))\n",
    "print(\"Pravděpodobnost TG & G: {0:.3f}\".format(P_G_TG))\n",
    "print(\"Pravděpodobnost TG & X: {0:.3f}\".format(P_X_TG))\n",
    "print(\"Pravděpodobnost G|TG: {0:.3f}\".format(P_G__TG))\n",
    "print(\"Pravděpodobnost X|TG: {0:.3f}\".format(P_X__TG))\n",
    "print(\"Kontrola: \", P_G__TG + P_X__TG)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Uvedený problém dopočítávání různých vlastností klasifikátorů je velmi frekventovaný. Dobře vlastnosti shrnuje tzv. [matice záměn - confusion matrix](https://en.wikipedia.org/wiki/Confusion_matrix)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Vášnivým čtenářům je rozhodně nutné doporučit knihu od [S.B. McGrayneho \"_The Theory That Would Not Die: How Bayes' Rule Cracked the Enigma Code, Hunted Down Russian Submarines, and Emerged Triumphant from Two Centuries of Controversy_\"](https://www.amazon.com/Theory-That-Would-Not-Die/dp/0300188226) - beletristicky zpracovaná historie využití bayesovské teorie. A navíc je dost čtivá :-)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "# Pólyúv model (urna)\n",
    "\n",
    "(Základní) Pólyúv model, pojmenovaný po Georgi Pólyovi, popisuje následující proces:\n",
    "\n",
    "- V urně je $r$ červených (R) a $b$ modrých (B) kuliček (red, blue).\n",
    "- Náhodně vybereme jednu kuličku a vrátíme ji zpět (výběr s opakování, vracením).\n",
    "- Do urny přidáme $c$ kuliček téže barvy, jako měla kulička vybraná.\n",
    "\n",
    "Strom jednotlivých tahů a stavů urny vypadá následovně:\n",
    "![Polya](img/polyatree.png)\n",
    "\n",
    "Pólyúv model s kladným $c$ je někdy charakterizován jako \"rich get richer\", nicméně model má celkově velmi zajímavé a současně maličko neintuitivní vlastnosti. Označíme $R_i$ a $B_i$ jev, že v $i$tém tahu byla vytažena kulička červená nebo modrá kulička. Potom:\n",
    "\n",
    "$$\n",
    "P(R_1) = \\frac{r}{r+b}, \\qquad P(B_1)=\\frac{b}{r+b},\\\\\n",
    "P(R_{i}) = \\frac{r}{r+b}, \\qquad P(B_i) = \\frac{b}{r+b}, \\\\\n",
    "P(R_i|R_1) = \\frac{r+c}{r+c+b}, \\qquad P(R_i|B_1) = \\frac{r}{r+c+b},\n",
    "$$\n",
    "\n",
    "analogicky poslední řádek pro $B_i$. Toto lze snadno dokázat indukcí, jež je ovšem poněkud hodně rozepisovací, proto ji vynecháme. Hezké intuitivní vysvětlení je např. na StackExchange [tady](https://math.stackexchange.com/questions/378810/a-problem-on-polyas-urn-scheme) nebo včetně obrázku [tady](https://math.stackexchange.com/questions/1441545/intuitive-heuristic-explanation-of-polyas-urn)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "Použití tohoto modelu, resp. jeho variant, je velmi široké. Například jej lze použít v epidemiologii k modelování šíření infekcí, v informatice k modelování různých algoritmů jako Tree Sort a vyhodnocování jejich vlastností. V neparametrické bayesovské analýze  používáme procesy odvozené od Pólyova modelu k odhadu směsí o neznámém počtu komponent.\n",
    "\n",
    "---\n",
    "\n",
    "![denoising](img/denoising.png)\n",
    "Denoising pomocí neparametrického slovníkového učení - odstranění šumu z obrázku. Zleva: Originál, zašuměný obrázek, odšuměný obrázek, naučený slovník. [M. Zhou et al.: Nonparametric Bayesian dictionary learning for analysis of noisy and incomplete images]\n",
    "\n",
    "---\n",
    "\n",
    "![brain](img/denoisingbrain.png)\n",
    "Denoising MRI obrázku. [Y. Huang et al.: Bayesian nonparametric dictionary learning for compressed sensing MRI]\n",
    "\n",
    "Zájemci se o Pólya modelu mohou dozvědět hodně z knihy od H.M. Mahmouda: Pólya Urn Models."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## Příklady ze slajdů\n",
    "\n",
    "### 2.1: Předpokládejme vyváženou kostku.\n",
    "\n",
    "**a) Jaká je pravděpodobnost, že padne čtyřka?**\n",
    "\n",
    "$$\n",
    "P(4) = \\frac{1}{6}.\n",
    "$$\n",
    "\n",
    "**b) Jaká je pravděpodobnost, že padne čtyřka za předpokladu, že padlo sudé číslo?**\n",
    "\n",
    "* *Víme: $P(sudé) = P(2,4,6) = \\frac{3}{6}=\\frac{1}{2}$. Dále víme, že $\\{4\\}\\cap\\{2,4,6\\} = {4}$. Tedy*\n",
    "\n",
    "$$\n",
    "P(4|sudé) = P(4|\\{2,4,6\\})= \\frac{P(\\{4\\}\\cap\\{2,4,6\\})}{P(\\{2,4,6\\})} = \\frac{\\frac{1}{6}}{\\frac{3}{6}} = \\frac{1}{3}.\n",
    "$$\n",
    "\n",
    "**c) Jak se výsledek změní, pokud vím, že sudá padají 2x častěji než lichá?**\n",
    "\n",
    "* *Víme:*\n",
    "\n",
    "|strana| 1 | 2  | 3 | 4  | 5 | 6  |\n",
    "|---|---|----|---|----|---|----|\n",
    "|P(strana)| p | 2p | p | 2p | p | 2p |\n",
    "\n",
    "$$\n",
    "P(4|sudé) = P(4|\\{2,4,6\\})= \\frac{P(\\{4\\}\\cap\\{2,4,6\\})}{P(\\{2,4,6\\})} = \\frac{\\frac{2p}{9p}}{\\frac{6p}{9p}} = \\frac{1}{3}.\n",
    "$$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### 2.2 O třídě máme následující informace:\n",
    "\n",
    "- **Ve třídě je 70% chlapců (H),**\n",
    "- **10% z chlapců hraje fotbal (F),**\n",
    "- **žádná z dívek (D) fotbal nehraje.**\n",
    "\n",
    "**a) Kolik procent dětí ve třídě hraje fotbal?**\n",
    "\n",
    "*Víme, že:*\n",
    "\n",
    "- $P(H) = 0.7$\n",
    "- $P(D) = 0.3$\n",
    "- $P(F|H) = 0.1$\n",
    "- $P(F|D) = 0$\n",
    "\n",
    "$$\n",
    "\\begin{aligned}\n",
    "P(F) &= P(F\\cap H) + P(F \\cap D) \\\\\n",
    "&= P(F|H)P(H) + P(F|D)P(D) \\\\\n",
    "&= 0.1 \\cdot 0.7 + 0 \\cdot 0.3 = 0.07.\n",
    "\\end{aligned}\n",
    "$$\n",
    "\n",
    "**b) Jak se výsledek změní, pokud 5% dívek začne hrát fotbal?**\n",
    "\n",
    "*Nyní* $P(F|D) = 0.05$\n",
    "\n",
    "$$\n",
    "\\begin{aligned}\n",
    "P(F) &= P(F\\cap H) + P(F \\cap D) \\\\\n",
    "&= P(F|H)P(H) + P(F|D)P(D) \\\\\n",
    "&= 0.1 \\cdot 0.7 + 0.5 \\cdot 0.3 = 0.085.\n",
    "\\end{aligned}\n",
    "$$\n",
    "\n",
    "*Pozn.: zde je krásně vidět aplikace míry, protože vlastně nepočítáme přímo pravděpodobnost, ale míru množin :-)*\n",
    "\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### 2.3 Dvě losovací urny obsahují stejné modré nebo bílé kuličky.\n",
    "\n",
    "- **první urna obsahuje 2 bílé (B) a 3 modré (M),**\n",
    "- **druhá urna obsahuje 3 bílé a 4 modré,**\n",
    "- **z první urny náhodně vytáhneme kuličku a přendáme ji do druhé,**\n",
    "- **potom z druhé urny vytáhneme kuličku a podíváme se na ni.**\n",
    "\n",
    "**Jaká je pravděpodobnost, že kulička vytažená z druhé urny bude mít modrou barvu?**\n",
    "\n",
    "*Kreslit, kreslit, kreslit...*\n",
    "![urny](img/ex-urny.jpg)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### 2.4 Tahání kuliček z urny\n",
    "\n",
    "- **Urna obsahuje $b$ modrých a $r$ červených kuliček.**\n",
    "- **Postupně je náhodně losujeme a nevracíme je zpět.**\n",
    "\n",
    "**Ukažte, že pravděpodobnost toho, že první červená kulička bude vytažena až v $(k+1)$ tahu, se rovná**\n",
    "\n",
    "$$\n",
    "\\frac{\\binom{r+b-k-1}{r-1}}{\\binom{r+b}{b}}.\n",
    "$$\n",
    "\n",
    "**Řešte úlohu pomocí multiplikativního zákona. Lze ji řešit i kombinatoricku úvahou?**\n",
    "\n",
    "*Označme jevy*\n",
    "\n",
    "- $A_1$ - *1. tažená je modrá*\n",
    "- $A_2$ - *2. tažená je modrá*\n",
    "- *atd.*\n",
    "- $A_k$ - *$k$. tažená je modrá*\n",
    "- $A_{k+1}$ - *$(k+1)$. tažená je červená*\n",
    "\n",
    "*Potom podle multiplikativního zákona (zohledňujeme že v každém dalším tahu pravděpodobnost dané kuličky odpovídá pravděpodobnosti zbývajících kuliček dané barvy a daného počtu):*\n",
    "\n",
    "$$\n",
    "\\begin{aligned}\n",
    "P(A_1 \\cup \\cdots \\cap A_k \\cap A_{k+1})\n",
    "&= P(A_1) P(A_2|A_1) P(A_3|A_1\\cap A_2) \\ldots P(A_{k+1}|A_1\\cap\\ldots\\cap A_k)\n",
    "\\end{aligned}\n",
    "$$\n",
    "\n",
    "![ballcomb](img/ballcomb.jpg)\n",
    "*Pokud máte problém najít kombinační čísla pomocí násobení \"jedničkami\", napište si výsledek a snažte se to do něj upravit.*"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### 2.5 Máme balíček 52 whistových karet (barvy: srdce, káry, píky, kříže; hodnoty 2,...,10, J, Q, K, A).\n",
    "\n",
    "**a) Jsou jevy \"vytažení srdcové karty\" (S) a \"vytažení dámy\" (Q) nezávislé?**\n",
    "\n",
    "*Víme, že:*\n",
    "\n",
    "- $P(Q) = \\frac{4}{52}$\n",
    "- $P(S) = \\frac{1}{4}$\n",
    "\n",
    "*Tedy:*\n",
    "$$\n",
    "\\begin{aligned}\n",
    "P(Q\\cap S) &= P(Q) \\cdot P(S)?\\\\\n",
    "\\frac{1}{52} &= \\frac{1}{4} \\frac{4}{52}=\\frac{1}{52} \\qquad\\Rightarrow{ANO, nezávislé}.\n",
    "\\end{aligned}\n",
    "$$\n",
    "\n",
    "**b) Jak se výsledek změní, přidáme-li do balíčku jednoho (více) žolíků?**\n",
    "\n",
    "*Žolík může zastupovat libovolnou kartu, tedy:*\n",
    "\n",
    "- $P(S) = \\frac{14}{53}$\n",
    "- $P(Q) = \\frac{5}{53}$\n",
    "\n",
    "$$\n",
    "\\frac{2}{53} \\ne \\frac{5}{53} \\frac{14}{53} = \\frac{70}{53} \\qquad \\text{NE, nejsou nezávislé}.\n",
    "$$\n",
    "\n",
    "**c) Jak by musel žolík fungovat, aby jevy byly nezávislé?**\n",
    "\n",
    "*Např. žolíky různých barev.*"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### 2.7 Nechť $A$ a $B$ jsou nezávislé jevy. Ukažte, že také $A^C$ a $B$ jsou nezávislé a tudíž i $A^C$ a $B^C$ jsou nezávislé.\n",
    "\n",
    "*Jelikož $A\\cap A^C = \\Omega$, platí*\n",
    "\n",
    "$$\n",
    "P(B) = P((A\\cup A^C)\\cap B) = P(A\\cap B) + P(A^C \\cap B).\n",
    "$$\n",
    "\n",
    "*Tedy*\n",
    "\n",
    "$$\n",
    "P(A^C) P(B) = (1-P(A))P(B) = P(B)-P(A)P(B) = P(B)-P(A\\cap B) = P(A^C\\cap B).\n",
    "$$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### 2.8 Házíme vyváženou kostkou 2x po sobě. Jaká je pravděpodobnost, že součet hodů bude větší než 7, za předpokladu, že v prvním hodu padla čtyřka?\n",
    "\n",
    "*Viz úvodní příklad*\n",
    "$$\n",
    "P(K_1+K_2 \\geq 7|K_1=4) = \\frac{P(\\{K_1+K_2\\geq 7\\}\\cup\\{K_1=4\\}}{P(K_1=4)} = \\frac{3/36}{1/6} = \\frac{1}{2}.\n",
    "$$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### 2.9 Mezi body A, B vedou dvě silnice a mezi body B, C vedou také dvě silnice. V zimě může být nezávisle na ostatních každá z těchto 4 silnic zablokována sněhem s pravděpodobností $p$. Jaká je pravděpodobnost, že je možné se dostat z bodu A do bodu C?\n",
    "\n",
    "*Buď můžeme počítat složitě, nebo si uvědomit, že nemožnost postupu A-B, tedy jevu nemožného, je pravděpodobnost $p$. Tedy opačný jev má pravděpodobnost $(1-p^2)$. Jelikož je v zadání jasně \"nezávisle\", potom pro cestu B-C platí totéž a pro A-B-C vlivem nezávislosti $(1-p^2)^2$.*"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### 2.10 Předpokládejme, že\n",
    "\n",
    "- **pravděpodobnosti, že se narodí chlapec nebo dívka jsou stejné,**\n",
    "- **pohlaví dvou různých dětí (i u téže rodičů) jsou nezávislé.**\n",
    "\n",
    "**Vidím fotku, na které jsou rodiče a dvě děti v kostýmech (není poznat pohlaví). Kamarád mi prozradil, že alespoň jedno z dětí je hoch (H).**\n",
    "\n",
    "**a) Jaká je pravděpodobnost, že i druhé dítě je hoch?**\n",
    "\n",
    "*Víme:*\n",
    "- $P(H) = P(D) = \\frac{1}{2}$\n",
    "- $P(HD) = P(HH) = P(DH) = P(DD) = \\frac{1}{4}$\n",
    "\n",
    "*Tedy:*\n",
    "\n",
    "$$\n",
    "P(HH|\\{HD, DH, HH\\}) = \\frac{P(\\{HH\\}\\cap\\{HH, HD, DH\\})}{P(HH, HD, DH)}\n",
    "= \\frac{\\frac{1}{4}}{\\frac{3}{4}} = \\frac{1}{3}.\n",
    "$$\n",
    "\n",
    "**b) Jestliže nám kamarád prozradí, že alespoň jedno z dětí je hoch narozený v pondělí, a děti se rodí ve všech dnech rovnoměrně, jak se změní odpověď?**\n",
    "\n",
    "*Nyní:*\n",
    "\n",
    "- $P(H_p) = P(D_p) = \\frac{1}{7}$ (hoch či dívka v pondělí)\n",
    "\n",
    "*Bayesovou větou:*\n",
    "\n",
    "$$\n",
    "\\begin{aligned}\n",
    "P(HH|H_p) &= \\frac{P(HH\\cap H_p)}{P(H_p)} \\\\\n",
    "&= \\frac{P(HH) \\cdot P(H_p|HH)}\n",
    "{P(H_p|HH)P(HH) + P(H_p|HD)P(HD) + P(H_p|HH)P(DH) + P(H_p|HH)P(DD)} \\\\\n",
    "&= \\frac{\\frac{1}{4} [1-(1-\\frac{1}{7})^2]}\n",
    "{\\frac{1}{4}[1-(1-\\frac{1}{7})^2] + \\frac{1}{7}\\frac{1}{4} + \\frac{1}{7}\\frac{1}{4} + 0} = \\frac{13}{27}\n",
    "\\end{aligned}\n",
    "$$\n",
    "\n",
    "Tento příklad je znám jako [boy or girl paradox](https://en.wikipedia.org/wiki/Boy_or_Girl_paradox)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### 2.11 Galtonův paradox\n",
    "\n",
    "**Hodíme třemi férovými mincemi. Minimálně dvě ukazují stejný výsledek (hlava H nebo orel O). Je vyrovnaná šance, že třetí bude hlava nebo orel. Takže pravděpodobnost, že budou všechny tři stejné, je $P(HHH) = P(OOO) = \\frac{1}{2}$. Souhlasíte?**\n",
    "\n",
    "*Ne, velmi jednoduše - všech jevů je 8, příznivé jsou 2, tedy 1/4. Pravděpodobnost podmínky je totiž 1!*"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### 2.12 Společnost 5 mužů a 10 žen se náhodně rozdělí na pět skupin po třech osobách. Určete pravděpodobnost, že v každé skupině bude právě jeden muž.\n",
    "\n",
    "*Existuje několik možností, jak tento problém řešit. Můžeme např. uvažovat, že umístíme prvního muže. Následně vybíráme pro druhého ze 14 volných pozic jednu z 12 přípustných. U třetího z 13 volných je 9 přípustných atd.:*\n",
    "\n",
    "$$\n",
    "\\frac{12}{14}\\cdot\\frac{9}{13}\\cdot\\frac{6}{12}\\cdot\\frac{3}{11} = \\frac{3^5}{\\binom{15}{5}}.\n",
    "$$\n",
    "\n",
    "*Alternativně jdeme po mužích postupně a k nim vybíráme ženy s pravděpodobnostmi $\\frac{10}{14}\\frac{9}{13}$ u prvního, $\\frac{8}{11}\\frac{7}{10}$ u druhého atd.*"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### 3.1 Dle odhadu je 90% vyrobených integrovaných obvodů plně funkčních (F). Požadavek zákazníka je, aby 99% obvodů bylo plně funkčních. Vyrobené obvody jsou proto otestovány. Studie ukázala, že testem projde jako \"akceptovatelných (A)\" 80% plně funkčních a 10% vadných (V) obvodů.\n",
    "\n",
    "**a) Spočtěte pravděpodobnost, že vyrobený obvod projde testem jako \"akceptovatelný\"**\n",
    "\n",
    "*Sepíšeme si nejprve, co víme:*\n",
    "\n",
    "- $P(F) = 0.9$\n",
    "- $P(V) = 0.1$ *(doplněk)*\n",
    "- $P(A|F) = 0.8$\n",
    "- $P(A|V) = 0.1$\n",
    "\n",
    "*Ptáme se na $P(A)$:*\n",
    "\n",
    "$$\n",
    "P(A) = P(A|F)P(F) + P(A|V)P(V) = 0.8 \\cdot 0.9 + 0.1 \\cdot 0.1 = 0.73.\n",
    "$$\n",
    "\n",
    "**b) Splní firma požadavek zákazníka? To jest, jaká je podmíněná pravděpodobnost, že obvod je plně funkční za předpokladu, že prošel testem jako akceptovatelný?**\n",
    "\n",
    "*Ptáme se na $P(F|A)$, což je inverzní problém, tuto pravděpodobnost nemám = použiji Bayesovu větu. Jsem-li pohodlný si ji pamatovat, triviálně si odvodím, že*\n",
    "\n",
    "$$\n",
    "P(F|A)P(A) = P(A|F)P(F) \\Rightarrow P(F|A) = \\frac{P(A|F)P(F)}{P(A)}.\n",
    "$$\n",
    "\n",
    "*Jmenovatel už máme vypočtený z předchozího bodu, tak jej rovnou použijeme a uvidíme, že firma požadavek nesplní.*\n",
    "\n",
    "$$\n",
    "P(F|A) = \\frac{0.8 \\cdot 0.9}{0.73} = 0.986 < 0.99.\n",
    "$$\n",
    "\n",
    "**c) Výroba obvodu stojí 2Kč a jeho test 0.2Kč. Obvody, které neprojdou testem, jsou skartovány. Kolik celkem stojí výrobce jeden dodaný obvod?**\n",
    "\n",
    "*Víme, že z $N$ vyrobených kusů za celkem $N\\cdot$ 2.2Kč projde jen $0.73N$. Celkové náklady na dodaný kus jsou tedy*\n",
    "\n",
    "$$\n",
    "\\frac{2.2 \\cdot N}{0.73 \\cdot N} = 3.01\\text{Kč}.\n",
    "$$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### 3.2 Senzitivita testu - pravděpodobnost pozitivního testu (tp) pokud je pacient nemocný (pn) - je 95%. Specificita - pravděpodobnost negativního testu (tn) pokud pacient nemocný není (pz) - je 97%. Danou chorobou trpí 5% populace (pn, tzv. prevalence).\n",
    "\n",
    "**a) Jaká je pravděpodobnost, že pacient je nemocný, pokud test vyšel pozitivní?**\n",
    "\n",
    "*Sepíšeme si, co víme a co můžeme snadno dopočítat z doplňků:*\n",
    "\n",
    "- $P(tp|pn) = 0.95$\n",
    "- $P(tn|pz) = 0.97$\n",
    "- $P(pn) = 0.05$\n",
    "- $P(pz) = 0.95$ *(z doplňku)*\n",
    "- $P(tp|pz) = 0.05$ *(dtto)*\n",
    "- $P(tn|pn) = 0.03$ *(dtto)*\n",
    "\n",
    "*Hledáme $P(pn|tp)$, tedy opět inverzní pravděpodobnost a opět Bayes. Opět z odvodíme lenosti si pamatovat :-)*\n",
    "\n",
    "$$\n",
    "P(pn|tp)\\cdot P(tp) = P(tp|pn)\\cdot P(pn) \\Rightarrow \n",
    "P(pn|tp) = \\frac{P(tp|pn)\\cdot P(pn)}{P(tp)}.\n",
    "$$\n",
    "\n",
    "*Chybí nám jmenovatel, ale víme, že jde o úplnou pravděpodobnost, tedy*\n",
    "\n",
    "$$\n",
    "P(tp) = P(tp|pz) P(pz) + P(tp|pn) P(pn) = 0.05\\cdot 0.95 + 0.95\\cdot 0.03 = 0.95 \\cdot 0.08.\n",
    "$$\n",
    "\n",
    "*A dosadíme do Bayesovy věty,*\n",
    "\n",
    "$$\n",
    "P(pn|tp) = \\frac{P(tp|pn)\\cdot P(pn)}{P(tp)}\n",
    "= \\frac{0.95\\cdot 0.05}{0.95\\cdot 0.08} = \\frac{5}{8}.\n",
    "$$\n",
    "\n",
    "*Nic moc, že?*\n",
    "\n",
    "**b) A naopak, jaká je pravděpodobnost, že pacient je nemocný, pokud test vyšel negativní?**\n",
    "\n",
    "*Řešíme úplně analogicky pro $P(pn|tn)$ a dostaneme 0.0027.*"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### 3.3 Pólyův model: Mějme zásobník a v něm $r$ červených a $b$ modrých kuliček. Ze zásobníku budeme náhodně tahat kuličku. Po vytažení kuličku do zásobníku vrátíme a přidáme dalších $c$ kuliček té barvy, kterou jsme vytáhli.\n",
    "\n",
    "**Některé speciální případy:**\n",
    "\n",
    "- $c=0$ **- Bernoulliho model (opakované tahy s vracením)**\n",
    "- $c = -1$ **- tahy bez vracení, viz př. 2.4.**\n",
    "\n",
    "**a) Určete pravděpodobnost, že v prvních třech po sobě následujících tazích vytáhneme červenou kuličku (r).**\n",
    "\n",
    "*Použijeme vzoreček pro úplnou pravděpodobnost, neboť nám jde o průnik jevů \"v prvním tahu r\" a \"v druhém tahu r\" a \"ve třetím tahu r\", označíme $r_1, r_2, r_3$. Jde o jednoduché podíly počtu příznivých a celkového počtu všech možností:\"\n",
    "\n",
    "$$\n",
    "\\begin{aligned}\n",
    "P(r_1 \\cap r_2 \\cap r_3) \n",
    "&= P(r_1)\\cdot P(r_2|r_1)\\cdot P(r_3|r_1\\cap r_2) \\\\\n",
    "&= \\frac{r}{r+b} \\cdot \\frac{r+c}{r+c+b} \\cdot \\frac{r+2c}{r+2c+b}.\n",
    "\\end{aligned}\n",
    "$$\n",
    "\n",
    "**b) Jaká je pravděpodobnost, že jsme v prvním tahu vytáhli modrou kuličku, jestliže ve třetím tahu vytáhneme červenou kuličku?**\n",
    "\n",
    "\n",
    "$$\n",
    "P(B_1|R_1) = \\frac{P(R_3|B_1) P(B_1)}{P(R_3)} = \\frac{\\frac{r}{r+c+b} \\frac{b}{r+b}}{\\frac{r}{r+b}} = \\frac{b}{r+b+c}.\n",
    "$$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### 3.4 První hokejista ($H_1$) vstřelí při každém pokusu gól s pravděpodobností 4/5. Druhý $H_2$ s pravděpodobností 3/4. Třetí $H_3$ s pravděpodobností 2/3. Samostatných nájezdů ke konci zápasu se účastnili tito tři hráči a padly právě 2 góly. S jakou pravděpodobností se třetí hokejista netrefil?\n",
    "\n",
    "*Pravděpodobnost úspěchu či neúspěchu je mezi hokejisty nezávislá. Můžeme tedy brát jejich pravděpodobnosti jako míru případného úspěchu či neúspěchu. Víme následující:*\n",
    "\n",
    "- $P(H_1) = \\frac{4}{5} \\quad \\Rightarrow \\quad P(H_1^C) = \\frac{1}{5}$,\n",
    "- $P(H_2) = \\frac{3}{4} \\quad \\Rightarrow \\quad P(H_2^C) = \\frac{1}{4}$,\n",
    "- $P(H_3) = \\frac{2}{3} \\quad \\Rightarrow \\quad P(H_3^C) = \\frac{1}{3}$.\n",
    "\n",
    "*Počítat budeme míru dotazovaného jevu $H_1 H_2 H_3^C$ dělenou mírou všech jevů kdy padly dva góly, tj. $H_1^C H_2 H_3, H_1 H_2^C H_3, H_1 H_2 H_3^C$:*\n",
    "\n",
    "$$\n",
    "\\begin{aligned}\n",
    "P(H_2^C | 2\\ góly) \n",
    "&= \\frac{P(H_1 H_2 H_3^C)}{P(H_1^C H_2 H_3) + P(H_1 H_2^C H_3) + P(H_1 H_2 H_3^C)} \\\\\n",
    "&= \\frac{\\frac{4}{5} \\frac{3}{4} \\frac{1}{3}}{\n",
    "\\frac{1}{5} \\frac{3}{4} \\frac{2}{3} +\n",
    "\\frac{4}{5} \\frac{1}{4} \\frac{2}{3} +\n",
    "\\frac{4}{5} \\frac{3}{4} \\frac{1}{3}} \n",
    "= \\frac{6}{13}.\n",
    "\\end{aligned}\n",
    "$$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### 3.5 Při zkoušce z PST, jejíž úspěšnost byla jen 60%, jsme se od studentů zjišťovali, jaké materiály použili při studiu.\n",
    "\n",
    "- **Z těch, kteří uspěli (U), 20% použilo jen fitwiki (F), 75% i své poznámky (p), 5% nepoužilo žádné materiály ($\\emptyset$).**\n",
    "- **Z těch, kteří neuspěli (N), se 60% učilo jen z fitwiki (F), 5% i s jiných materiálů (p) a 35% se neučilo vůbec ($\\emptyset$).**\n",
    "\n",
    "**a) Jaká je pravděpodobnost, že student uspěl při zkoušce, jestliže se učil jen z fitwiki?**\n",
    "\n",
    "*Shrneme si, co víme:*\n",
    "\n",
    "- $P(F|U)=0.2$\n",
    "- $P(F\\cap p|U)=0.75$\n",
    "- $P(\\emptyset|U) = 0.05$\n",
    "- $P(F|N) = 0.6$\n",
    "- $P(F\\cap p|N)=0.05$\n",
    "- $P(\\emptyset|N) = 0.35$\n",
    "- $P(U) = 0.6 \\quad\\Rightarrow P(N) = 0.4$\n",
    "\n",
    "*Ptáme se na úspěch za podmínky fitwiki, tedy $P(U|F)$, což je inverzní pravděpodobnost a budeme tedy potřebovat Bayese. Pro tentokrát jej už napíšeme v celé parádě (zvítězivše nad pohodlností :-))*\n",
    "\n",
    "$$\n",
    "P(U|F) = \\frac{P(F|U) \\cdot P(U)}{P(F|U)\\cdot P(U) + P(F|N)\\cdot P(N)}\n",
    "= \\frac{0.2 \\cdot 0.6}{0.2\\cdot 0.6 + 0.6\\cdot 0.4} = \\frac{1}{3}.\n",
    "$$\n",
    "\n",
    "**b) Jaký podíl studentů se při studiu učil i z jiných poznámek, než jen z fitwiki?**\n",
    "\n",
    "*Ptáme se na úplnou pravděpodobnost (resp. míru) jevu $\\{F\\cap p\\}$, tedy potřebujeme vzorec pro úplnou pravděpodobnost:*\n",
    "\n",
    "$$\n",
    "P(F\\cap p) = P(F\\cap p|U)\\cdot P(U) + P(F\\cap p|N)\\cdot P(N) = 0.75 \\cdot 0.6 + 0.05 \\cdot 0.4 = 0.47.\n",
    "$$"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.5"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}