27  Přehled matematických symbolů

Tato příloha obsahuje přehled všech matematických symbolů a notací použitých v knize.

27.1 Základní symboly

Symbol Název Význam Příklad
\(=\) rovná se rovnost \(x = 5\)
\(\neq\) nerovná se nerovnost \(x \neq 0\)
\(<, >\) menší, větší porovnání \(x < 10\)
\(\leq, \geq\) menší nebo rovno, větší nebo rovno porovnání \(x \leq y\)
\(\approx\) přibližně rovno aproximace \(\pi \approx 3.14\)
\(\pm\) plus minus rozsah hodnot \(x \pm \epsilon\)

27.2 Aritmetické operace

Symbol Název Význam Příklad
\(+\) plus sčítání \(3 + 5 = 8\)
\(-\) minus odčítání \(10 - 4 = 6\)
\(\cdot\) nebo \(\times\) krát násobení \(3 \cdot 4 = 12\)
\(/\) nebo \(\div\) děleno dělení \(12 / 4 = 3\)
\(x^n\) mocnina \(x\) na \(n\)-tou \(2^3 = 8\)
\(\sqrt{x}\) odmocnina druhá odmocnina \(\sqrt{16} = 4\)
\(\sqrt[n]{x}\) n-tá odmocnina n-tá odmocnina z \(x\) \(\sqrt[3]{8} = 2\)
\(|x|\) absolutní hodnota vzdálenost od nuly \(|-5| = 5\)

27.3 Sumy a produkty

Symbol Název Význam Příklad
\(\sum\) suma součet \(\sum_{i=1}^{n} x_i = x_1 + x_2 + \cdots + x_n\)
\(\prod\) produkt součin \(\prod_{i=1}^{n} x_i = x_1 \cdot x_2 \cdot \ldots \cdot x_n\)
\(n!\) faktoriál \(n \cdot (n-1) \cdot \ldots \cdot 1\) \(5! = 120\)

27.4 Množiny

Symbol Název Význam Příklad
\(\{a, b, c\}\) množina výčet prvků \(\{1, 2, 3\}\)
\(\in\) je prvkem prvek patří do množiny \(x \in A\)
\(\notin\) není prvkem prvek nepatří do množiny \(5 \notin \{1,2,3\}\)
\(\subset\) podmnožina je podmnožinou \(A \subset B\)
\(\cup\) sjednocení spojení množin \(A \cup B\)
\(\cap\) průnik společné prvky \(A \cap B\)
\(\emptyset\) prázdná množina množina bez prvků \(A \cap \emptyset = \emptyset\)
\(\mathbb{N}\) přirozená čísla \(\{1, 2, 3, \ldots\}\) \(n \in \mathbb{N}\)
\(\mathbb{Z}\) celá čísla \(\{\ldots, -2, -1, 0, 1, 2, \ldots\}\) \(z \in \mathbb{Z}\)
\(\mathbb{R}\) reálná čísla všechna reálná čísla \(x \in \mathbb{R}\)
\(\mathbb{R}^n\) n-rozměrný prostor vektory délky n \(\mathbf{x} \in \mathbb{R}^3\)

27.5 Funkce

Symbol Název Význam Příklad
\(f(x)\) funkce hodnota funkce v bodě \(x\) \(f(x) = x^2\)
\(f: A \to B\) zobrazení funkce z \(A\) do \(B\) \(f: \mathbb{R} \to \mathbb{R}\)
\(\circ\) kompozice skládání funkcí \((f \circ g)(x) = f(g(x))\)
\(f^{-1}\) inverzní funkce opačná funkce \(\log = \exp^{-1}\)
\(\log x\) logaritmus přirozený logaritmus \(\log e = 1\)
\(\ln x\) přirozený logaritmus logaritmus o základu \(e\) \(\ln e = 1\)
\(\log_a x\) logaritmus logaritmus o základu \(a\) \(\log_2 8 = 3\)
\(e^x\) nebo \(\exp(x)\) exponenciála Eulerovo číslo na \(x\) \(e^0 = 1\)
\(\sin, \cos, \tan\) goniometrické funkce trigonometrie \(\sin(0) = 0\)

27.6 Speciální funkce v ML

Symbol Název Definice Použití
\(\sigma(x)\) sigmoid \(\frac{1}{1 + e^{-x}}\) aktivační funkce
\(\tanh(x)\) hyperbolický tangens \(\frac{e^x - e^{-x}}{e^x + e^{-x}}\) aktivační funkce
\(\text{ReLU}(x)\) ReLU \(\max(0, x)\) aktivační funkce
\(\text{softmax}(\mathbf{x})_i\) softmax \(\frac{e^{x_i}}{\sum_j e^{x_j}}\) pravděpodobnostní rozdělení

27.7 Vektory a matice

Symbol Název Význam Příklad
\(\mathbf{x}\) vektor tučné písmo \(\mathbf{x} = [1, 2, 3]^T\)
\(\mathbf{A}\) matice velké tučné \(\mathbf{A} \in \mathbb{R}^{m \times n}\)
\(x_i\) i-tá složka prvek vektoru \(x_2 = 5\)
\(A_{ij}\) prvek matice řádek i, sloupec j \(A_{23}\)
\(\mathbf{A}^T\) transpozice prohození řádků a sloupců \((A^T)_{ij} = A_{ji}\)
\(\mathbf{A}^{-1}\) inverzní matice \(\mathbf{A}\mathbf{A}^{-1} = \mathbf{I}\) řešení soustav
\(\mathbf{I}\) jednotková matice diagonála jedniček \(\mathbf{A}\mathbf{I} = \mathbf{A}\)
\(\mathbf{0}\) nulový vektor/matice samé nuly \(\mathbf{x} + \mathbf{0} = \mathbf{x}\)
\(\|\mathbf{x}\|\) norma délka vektoru \(\|\mathbf{x}\|_2 = \sqrt{\sum x_i^2}\)
\(\|\mathbf{x}\|_1\) L1 norma Manhattan norma \(\sum |x_i|\)
\(\|\mathbf{x}\|_2\) L2 norma Euklidovská norma \(\sqrt{\sum x_i^2}\)
\(\mathbf{x} \cdot \mathbf{y}\) skalární součin dot product \(\sum x_i y_i\)
\(\mathbf{x}^T\mathbf{y}\) skalární součin alternativní zápis \(\mathbf{x} \cdot \mathbf{y}\)
\(\mathbf{A}\mathbf{B}\) maticový součin násobení matic \((AB)_{ij} = \sum_k A_{ik}B_{kj}\)
\(\odot\) Hadamardův součin po prvcích \((\mathbf{x} \odot \mathbf{y})_i = x_i y_i\)

27.8 Derivace

Symbol Název Význam Příklad
\(f'(x)\) derivace rychlost změny \((x^2)' = 2x\)
\(\frac{df}{dx}\) derivace Leibnizova notace \(\frac{d(x^2)}{dx} = 2x\)
\(\frac{\partial f}{\partial x}\) parciální derivace derivace podle \(x\) \(\frac{\partial (xy)}{\partial x} = y\)
\(\nabla f\) gradient vektor parciálních derivací \(\nabla f = [\frac{\partial f}{\partial x_1}, \ldots]^T\)
\(\nabla^2 f\) Hessián matice druhých derivací druhé derivace
\(\frac{\partial \mathbf{y}}{\partial \mathbf{x}}\) Jacobiho matice derivace vektoru podle vektoru \(J_{ij} = \frac{\partial y_i}{\partial x_j}\)

27.9 Pravděpodobnost

Symbol Název Význam Příklad
\(P(A)\) pravděpodobnost pravděpodobnost jevu \(A\) \(P(\text{hlava}) = 0.5\)
\(P(A|B)\) podmíněná pravděpodobnost \(P(A)\) za předpokladu \(B\) \(P(\text{déšť}|\text{mraky})\)
\(P(A, B)\) sdružená pravděpodobnost \(A\) a \(B\) současně \(P(A \cap B)\)
\(P(A \cup B)\) pravděpodobnost sjednocení \(A\) nebo \(B\) \(P(A) + P(B) - P(A,B)\)
\(\mathbb{E}[X]\) střední hodnota očekávaná hodnota \(\mathbb{E}[X] = \sum_x x \cdot P(x)\)
\(\text{Var}(X)\) rozptyl variabilita \(\mathbb{E}[(X - \mu)^2]\)
\(\sigma\) směrodatná odchylka \(\sqrt{\text{Var}(X)}\) \(\sigma = \sqrt{\text{Var}(X)}\)
\(\sigma^2\) rozptyl alternativní notace \(\text{Var}(X)\)
\(\mu\) střední hodnota průměr \(\mu = \mathbb{E}[X]\)
\(\mathcal{N}(\mu, \sigma^2)\) normální rozdělení Gaussovo rozdělení \(X \sim \mathcal{N}(0, 1)\)
\(\sim\) má rozdělení \(X\) má rozdělení \(X \sim \mathcal{N}(0, 1)\)

27.10 Informační teorie

Symbol Název Definice Použití
\(H(X)\) entropie \(-\sum p(x) \log p(x)\) míra nejistoty
\(H(X, Y)\) sdružená entropie entropie páru \((X, Y)\) společná nejistota
\(H(Y|X)\) podmíněná entropie \(H(X,Y) - H(X)\) zbytková nejistota
\(I(X; Y)\) vzájemná informace \(H(X) - H(X|Y)\) sdílená informace
\(D_{KL}(P\|Q)\) KL divergence \(\sum p \log \frac{p}{q}\) rozdíl distribucí
\(H(P, Q)\) cross-entropy \(-\sum p \log q\) loss funkce

27.11 Optimalizace

Symbol Název Význam Příklad
\(\min\) minimum nejmenší hodnota \(\min_x f(x)\)
\(\max\) maximum největší hodnota \(\max_x f(x)\)
\(\arg\min\) argument minima \(x\) kde je minimum \(\arg\min_x f(x)\)
\(\arg\max\) argument maxima \(x\) kde je maximum \(\arg\max_x f(x)\)
\(\mathcal{L}\) loss funkce ztrátová funkce \(\mathcal{L}(\theta)\)
\(\theta\) parametry váhy modelu \(\theta = \{W, b\}\)
\(\eta\) nebo \(\alpha\) learning rate rychlost učení \(\theta := \theta - \eta \nabla \mathcal{L}\)
\(:=\) přiřazení aktualizace hodnoty \(x := x + 1\)

27.12 Neuronové sítě

Symbol Název Význam Příklad
\(\mathbf{W}\) váhová matice váhy vrstvy \(\mathbf{W} \in \mathbb{R}^{m \times n}\)
\(\mathbf{b}\) bias posunutí \(\mathbf{y} = \mathbf{W}\mathbf{x} + \mathbf{b}\)
\(\mathbf{h}\) skrytá vrstva hidden layer \(\mathbf{h} = \sigma(\mathbf{W}\mathbf{x})\)
\(\hat{y}\) predikce výstup modelu \(\hat{y} = f(x; \theta)\)
\(y\) cílová hodnota ground truth skutečná hodnota
\(L^{(l)}\) l-tá vrstva vrstva sítě \(L^{(1)}, L^{(2)}, \ldots\)
\(a^{(l)}\) aktivace výstup vrstvy \(l\) \(a^{(l)} = \sigma(z^{(l)})\)
\(z^{(l)}\) pre-aktivace vstup do aktivace \(z^{(l)} = W^{(l)}a^{(l-1)} + b^{(l)}\)

27.13 Transformery

Symbol Název Význam Příklad
\(\mathbf{Q}\) Query co hledáme \(\mathbf{Q} = \mathbf{X}\mathbf{W}^Q\)
\(\mathbf{K}\) Key čím porovnáváme \(\mathbf{K} = \mathbf{X}\mathbf{W}^K\)
\(\mathbf{V}\) Value co získáváme \(\mathbf{V} = \mathbf{X}\mathbf{W}^V\)
\(d_k\) dimenze klíče velikost Q, K škálování attention
\(d_v\) dimenze hodnoty velikost V výstupní dimenze
\(d_{model}\) dimenze modelu skrytá dimenze velikost embeddingu
\(h\) počet hlav multi-head \(h = 8\) typicky
\(\text{PE}\) positional encoding pozicové kódování informace o pozici

27.14 Řecká písmena

Symbol Název Časté použití
\(\alpha\) alfa learning rate
\(\beta\) beta momentum, regularizace
\(\gamma\) gama discount factor, škálování
\(\delta\) delta malá změna, chyba
\(\epsilon\) epsilon malé číslo, numerická stabilita
\(\eta\) eta learning rate
\(\theta\) theta parametry modelu
\(\lambda\) lambda regularizační konstanta
\(\mu\) střední hodnota
\(\sigma\) sigma směrodatná odchylka, sigmoid
\(\phi\) aktivace, parametry
\(\psi\) psí funkce
\(\omega\) omega frekvence
\(\Sigma\) velká sigma suma, kovarianční matice
\(\Pi\) velká pí produkt
\(\Omega\) velká omega množina výstupů

27.15 Indexování a notace

Notace Význam Příklad
\(x_i\) i-tý prvek \(x_1, x_2, \ldots\)
\(x^{(i)}\) i-tý vzorek trénovací příklad
\(x_t\) hodnota v čase \(t\) sekvence
\(x_{1:n}\) prvky 1 až n slice
\(\mathbf{x}_{:,j}\) j-tý sloupec sloupec matice
\(\mathbf{x}_{i,:}\) i-tý řádek řádek matice
\([n]\) množina \(\{1, \ldots, n\}\) indexy
\(\mathcal{D}\) dataset trénovací data
\(\mathcal{X}\) vstupní prostor prostor vstupů
\(\mathcal{Y}\) výstupní prostor prostor výstupů

27.16 Zkratky

Zkratka Význam
ML Machine Learning (strojové učení)
DL Deep Learning (hluboké učení)
NN Neural Network (neuronová síť)
MLP Multi-Layer Perceptron
CNN Convolutional Neural Network
RNN Recurrent Neural Network
LSTM Long Short-Term Memory
GRU Gated Recurrent Unit
SGD Stochastic Gradient Descent
Adam Adaptive Moment Estimation
ReLU Rectified Linear Unit
BCE Binary Cross-Entropy
CE Cross-Entropy
MSE Mean Squared Error
MAE Mean Absolute Error
GPU Graphics Processing Unit
TPU Tensor Processing Unit
NLP Natural Language Processing
LLM Large Language Model
GPT Generative Pre-trained Transformer
BERT Bidirectional Encoder Representations from Transformers