labs/lab09-autoencoders.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Cvičenie 9: Autoenkódery"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Na dnešnom cvičení sa budeme zaoberať so špeciálnym prípadom nekontrolovaného učenia, ktorým sú autoenkódery. Autoenkódery sú neurónové siete, ktoré slúžia najmä na kompresiu údajov, avšak oproti tradičným metódam kompresie (RAR, ZIP, atď.) ich nepotrebujete vopred naprogramovať. Ich ďalšou vlastnosťou je, že sú špecificky určené na kompresiu údajov podobných dátam, na ktorých bola sieť natrénovaná. Tým pádom kompresia nie je univerzálne použiteľná, ale na druhej strane je často efektívnejšia, aj keď, podobne ako pri všetkých metódach kompresie, dochádza k strate pri kompresii.\n",
    "\n",
    "Z topologického hľadiska sú autoenkódery zvyčajne symetrické (síce to nie je nevyhnutné, ale v praxi takéto siete sa trénujú jednoduchšie). Cieľom autoenkóderov je kopírovať vstup na výstupe tak, že skryté vrstvy majú menej neurónov ako vstup, resp. výstup. Autoenkódery teda majú dve časti: prvá je enkóder, ktorý skomprimuje údaje, kým druhá časť, teda dekóder ich reprodukuje zo zakódovaného tvaru.\n",
    "\n",
    "![](sources/lab09/9.1-autoencoder.png)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Na dnešnom cvičení implementujeme jeden autoenkóder v Kerase a vyskúšame jeho funkčnosť. Toto nám umožní ukázať, ako sa definujú siete v Kerase ktoré potom rozdelíte na dve (alebo viac) časti. Kostru riešenia nájdete [tu](sources/lab09/lab09.py)."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 1. Načítanie potrebných knižníc\n",
    "\n",
    "V riešení využijeme už známe knižnice `keras`, `numpy` a `matplotlib`. Ako dataset použijeme MNIST dataset, ktorý obsahuje obrázky rukou písaných číslic. Tento dataset je ďalší štandardný dataset (najmä pre konvolučné siete), takže ho nájdeme v knižnici keras. Pri prvom spustení kódu sa vám stiahne dataset, preto prvé spustenie môže trvať dlhšie."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "from keras.layers import Input, Dense\n",
    "from keras.models import Model\n",
    "from keras.datasets import mnist\n",
    "import matplotlib.pyplot as plt\n",
    "import numpy as np"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 2. Vizualizácia výsledkov\n",
    "\n",
    "V kóde máte pripravenú metódu `plot_results`, ktorá pomocou `matplotlib` vizualizuje výstup z jednotlivých častí siete (vstup, enkódovaný obraz, dekódovaný obraz). Metóda ukáže niekoľko (*n*) ukážkových vstupov, ich zakódovaný tvar, a rekonštruovaný obraz."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "def plot_results(x_test, encoded_imgs, decoded_imgs, n=10):\n",
    "    plt.figure(figsize=(40, 4))\n",
    "    for i in range(n):\n",
    "        # display original\n",
    "        ax = plt.subplot(3, n, i + 1)\n",
    "        plt.imshow(x_test[i].reshape(28, 28))\n",
    "        plt.gray()\n",
    "        ax.get_xaxis().set_visible(False)\n",
    "        ax.get_yaxis().set_visible(False)\n",
    "\n",
    "        # display encoded\n",
    "        ax = plt.subplot(3, n, i + 1 + n)\n",
    "        plt.imshow(encoded_imgs[i].reshape(8, 4))\n",
    "        plt.gray()\n",
    "        ax.get_xaxis().set_visible(False)\n",
    "        ax.get_yaxis().set_visible(False)\n",
    "\n",
    "        # display reconstruction\n",
    "        ax = plt.subplot(3, n, i + 1 + n * 2)\n",
    "        plt.imshow(decoded_imgs[i].reshape(28, 28))\n",
    "        plt.gray()\n",
    "        ax.get_xaxis().set_visible(False)\n",
    "        ax.get_yaxis().set_visible(False)\n",
    "    plt.show()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 3. Predspracovanie údajov\n",
    "\n",
    "Keďže dnes nebudeme používať konvolúciu, dataset musíme upraviť tak, aby obrázky boli reprezentované ako jednorozmerné vektory. Originálne MNIST dataset obsahuje obrázky *28x28*, ktoré mi prekonvertujeme na tvar *(1x)784*. Pred tým ale pixely normalizujeme, t.j. pretypujeme ich na numpyovský float - hodnoty od 0 po 255 namapujeme do intervalu 0 až 1. Toto nám zabezpečí rýchlejšiu konvergenciu siete.\n",
    "\n",
    "Všimnite si, že z datasetu nenačítame labely (nahradíme ich znakom `_`). Dôvodom je, že autoencodery by mali mať na výstupe rovnakú hodnotu ako na vstupe, teda stačia nám vstupné údaje z datasetu - preto sa považujú za príklad nekontrolovaného učenia, aj keď ich v princípe trénujeme akokeby sme robili kontrolované učenie"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "(mnist_train, _), (mnist_test, _) = mnist.load_data()\n",
    "\n",
    "x_train =  # TODO: normalize data to interval 0-1\n",
    "x_test =  # TODO: normalize data to interval 0-1\n",
    "x_train =  # TODO: reshape to flattened input: (len, 28, 28) -> (len, 784)\n",
    "x_test =  # TODO: reshape to flattened input: (len, 28, 28) -> (len, 784)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 4. Definícia autoenkódera\n",
    "\n",
    "V ďalšom kroku zadefinujeme autoenkóder s jednou skrytou vrstvou (neskôr tento kód môžete opraviť a rozšíriť model o ďalšie vrstvy)."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 4.1. Definícia vrstiev\n",
    "\n",
    "Keďže niektoré vrstvy chceme využiť niekoľkokrát a vo viacerých modeloch, namiesto toho, aby sme najprv vytvorili model a postupne sme doňho pridávali vrstvy, najprv zadefinujeme vrstvy, ktoré spojíme pomocou parametrov v tvare:\n",
    "\n",
    "```dalsia_vrstva = Typ_vrstvy(parametre)(predosla_vrstva)```"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "input_img =  # TODO: define input layer with size\n",
    "\n",
    "encoded =  # TODO: define hidden layer - 32 neurons, relu; connect to input\n",
    "decoded =  # TODO: define output layer, same as input, use sigmoid act"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 4.2. Definícia modelov\n",
    "\n",
    "Ak už máme vrstvy zadefinované, môžeme pristúpiť k definícii modelov. V tomto kroku zadefinujeme tri modely: celý autoenkóder, enkóder, a dekóder. Modely autoenkódera a enkódera vieme zadefinovať na základe ich vstupu a výstupu v tvare:\n",
    "\n",
    "```model_object = Model(vstupna_vrstva, vystupna_vrstva)```"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "autoencoder =  # TODO: define entire model\n",
    "encoder =  # TODO: define encoder part"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Definícia modelu dekódera je menej priamočiara. Jeho vstupom je síce výstup enkódera, ale nevieme priamo použiť vrstvy z autoenkódera, keďže tie sú navzájom prepojené. Namiesto toho vytvoríme novú vstupnú vrstvu a následne pridáme ďalšie potrebné vrstvy (v tomto prípade iba poslednú vrstvu autoenkódera)."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "encoded_input =  # TODO: define new input layer for encoded code\n",
    "decoder_layer =  # TODO: load last autoencoder layer, connect with previous\n",
    "decoder =  # TODO: define decoder model"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 4.3. Trénovanie autoenkódera\n",
    "\n",
    "Neostáva nám nič iné, len natrénovať našu sieť. Pridajte chýbajúce parametre do volaní funkcií nasledovne:\n",
    "* optimizer - napr. adadelta\n",
    "* loss - napr. binary_crossentropy\n",
    "* input - vstup autoenkódera\n",
    "* output - očakávaný výstup autoenkódera\n",
    "* epochs - napr. 25\n",
    "* batch_size - napr. 256\n",
    "* shuffle - nastavte na `True` pre náhodné poradie v trénovacej množine\n",
    "* verbose - nastavte na 2 pre jednoduchší výpis progresu"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "autoencoder.compile(  # TODO: add parameters\n",
    ")\n",
    "autoencoder.fit(  # TODO: add parameters\n",
    ")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 4.4. Testovanie autoenkódera\n",
    "\n",
    "Ak už máme autoenkóder natrénovaný, môžeme vizualizovať jeho funkčnosť. Zavoláme funkciu `predict` nad testovacou množinou. Keďže chceme vizualizovať vstup, zakódovanú reprezentáciu, aj výstup autoenkódera, funkciu potrebujeme zavolať aj pre enkóder aj pre samotný autoenkóder. Ak chcete testovať zvlášť aj dekóder, upravte kód podľa potreby."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "encoded_imgs = encoder.predict(x_test)\n",
    "decoded_imgs = autoencoder.predict(x_test)\n",
    "\n",
    "plot_results(x_test, encoded_imgs, decoded_imgs)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Zobrazia sa nám tri riadky obrázkov, kde prvý riadok je vstup, druhý je zakódovaný tvar, a posledný riadok obsahuje rekonštruované obrázky, t.j. výstup autoenkódera, napr. pri nastaveniach z bodu 4.3:\n",
    "\n",
    "![](sources/lab09/9.2-shallow-results.jpg)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Ukážkové riešenie nájdete [na tomto odkaze](sources/lab09/lab09-autoencoder-solution.py)."
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.3"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}