Токенизация

Оценка числа токенов

$\\text\{tokens\} \\approx \\frac\{\\text\{characters\}\}\{4\} \\times k\_\{lang\}$

Коэффициент языка:

• Английский: $k = 1.0$

• Русский: $k = 1.5-2.0$

• Код Python: $k = 0.8-1.0$

• JSON: $k = 0.9$

Attention

Self-Attention

$\\text\{Attention\}(Q, K, V) = \\text\{softmax\}\\left(\\frac\{QK^T\}\{\\sqrt\{d\_k\}\}\\right)V$

где:

• $Q$ — Query matrix

• $K$ — Key matrix

• $V$ — Value matrix

• $d\_k$ — размерность ключа

Multi-Head Attention

$\\text\{MultiHead\}(Q, K, V) = \\text\{Concat\}(\\text\{head\}\_1, ..., \\text\{head\}\_h)W^O$

$\\text\{head\}\_i = \\text\{Attention\}(QW\_i^Q, KW\_i^K, VW\_i^V)$

Температура и сэмплирование

Softmax с температурой

$P(i) = \\frac\{e^\{z\_i / T\}\}\{\\sum\_j e^\{z\_j / T\}\}$

где:

• $z\_i$ — логит токена $i$

• $T$ — температура

• $P(i)$ — вероятность выбора токена

Влияние температуры

Top-p (Nucleus Sampling)

$\\text\{Top-p\}(p) = \\min\\left\{k : \\sum\_\{i=1\}^\{k\} P\_\{(i)\} \\geq p\\right\}$

где $P\_\{(i)\}$ — вероятности, отсортированные по убыванию.

Метрики качества промптов

Специфичность

$S = \\frac\{N\_\{constraints\}\}\{N\_\{interpretations\}\}$

где:

• $N\_\{constraints\}$ — число явных требований

• $N\_\{interpretations\}$ — число возможных интерпретаций

Зависимость качества от примеров

$Q(n) \\approx Q\_\{max\} \\cdot (1 - e^\{-n/n\_0\})$

где:

• $n$ — число примеров

• $n\_0 \\approx 2$ — характерное число примеров

• Оптимум: $n \\in$2, 5$$

Статистика

Confidence Interval для корреляции

$r \\pm z\_\{\\alpha/2\} \\cdot SE\_r$

$SE\_r = \\sqrt\{\\frac\{1-r^2\}\{n-2\}\}$

Power Analysis (t-test)

$n = \\frac\{2(z\_\{\\alpha/2\} + z\_\{\\beta\})^2 \\sigma^2\}\{\\Delta^2\}$

где:

• $z\_\{\\alpha/2\}$ — критическое значение (обычно 1.96 для $\\alpha=0.05$)

• $z\_\\beta$ — мощность (обычно 0.84 для $1-\\beta=0.8$)

• $\\sigma$ — стандартное отклонение

• $\\Delta$ — ожидаемая разница средних

Effect Size (Cohen's d)

$d = \\frac\{\\bar\{x\}\_1 - \\bar\{x\}*2\}\{s*\{pooled\}\}$

$s\_\{pooled\} = \\sqrt\{\\frac\{(n\_1-1)s\_1^2 + (n\_2-1)s\_2^2\}\{n\_1+n\_2-2\}\}$

Интерпретация:

• $d = 0.2$ — малый эффект

• $d = 0.5$ — средний эффект

• $d = 0.8$ — большой эффект

Коррекция Bonferroni

$\\alpha\_\{adj\} = \\frac\{\\alpha\}\{m\}$

где $m$ — число сравнений.

FDR (Benjamini-Hochberg)

$p\_\{adj\}^\{(i)\} = \\frac\{m \\cdot p\_\{(i)\}\}\{i\}$

где $p\_\{(i)\}$ — i-е p-value после сортировки.

Machine Learning

Cross-Entropy Loss

$L = -\\sum\_\{i\} y\_i \\log(\\hat\{y\}\_i)$

Accuracy

$\\text\{Accuracy\} = \\frac\{TP + TN\}\{TP + TN + FP + FN\}$

Precision, Recall, F1

$\\text\{Precision\} = \\frac\{TP\}\{TP + FP\}$

$\\text\{Recall\} = \\frac\{TP\}\{TP + FN\}$

$F\_1 = 2 \\cdot \\frac\{\\text\{Precision\} \\cdot \\text\{Recall\}\}\{\\text\{Precision\} + \\text\{Recall\}\}$

ROC-AUC

$\\text\{AUC\} = \\int\_0^1 TPR(FPR) , d(FPR)$

Brier Score

$BS = \\frac\{1\}\{n\}\\sum\_\{i=1\}^\{n\}(p\_i - y\_i)^2$

где $p\_i$ — предсказанная вероятность, $y\_i$ — истинная метка.

R² (Coefficient of Determination)

$R^2 = 1 - \\frac\{SS\_\{res\}\}\{SS\_\{tot\}\} = 1 - \\frac\{\\sum(y\_i - \\hat\{y\}\_i)^2\}\{\\sum(y\_i - \\bar\{y\})^2\}$

Сложность алгоритмов

Нотация Big-O

Master Theorem

Для рекуррентного соотношения:

$T(n) = aT\\left(\\frac\{n\}\{b\}\\right) + f(n)$

где $a \\geq 1$, $b \> 1$:

1. Если $f(n) = O(n^\{\\log\_b a - \\epsilon\})$, то $T(n) = \\Theta(n^\{\\log\_b a\})$

2. Если $f(n) = \\Theta(n^\{\\log\_b a\})$, то $T(n) = \\Theta(n^\{\\log\_b a\} \\log n)$

3. Если $f(n) = \\Omega(n^\{\\log\_b a + \\epsilon\})$, то $T(n) = \\Theta(f(n))$

Численные методы

Метод Ньютона

$x\_\{n+1\} = x\_n - \\frac\{f(x\_n)\}\{f'(x\_n)\}$

Gradient Descent

$\\theta\_\{t+1\} = \\theta\_t - \\alpha \\nabla\_\\theta L(\\theta\_t)$

где $\\alpha$ — learning rate.

Условие устойчивости (явная схема для уравнения теплопроводности)

$\\frac\{\\alpha \\Delta t\}\{\\Delta x^2\} \\leq \\frac\{1\}\{2\}$

Оптимизация промптов

A/B тест (t-test для независимых выборок)

$t = \\frac\{\\bar\{x\}\_A - \\bar\{x\}\_B\}\{\\sqrt\{\\frac\{s\_A^2\}\{n\_A\} + \\frac\{s\_B^2\}\{n\_B\}\}\}$

$df = \\frac\{\\left(\\frac\{s\_A^2\}\{n\_A\} + \\frac\{s\_B^2\}\{n\_B\}\\right)^2\}\{\\frac\{(s\_A^2/n\_A)^2\}\{n\_A-1\} + \\frac\{(s\_B^2/n\_B)^2\}\{n\_B-1\}\}$

Оптимальная длина промпта (эмпирическая модель)

$Q(L) = Q\_\{max\} \\cdot (1 - e^\{-L/L\_0\}) - \\alpha \\cdot L$

где:

• $L$ — длина промпта (токены)

• $L\_0 \\approx 50-100$ — характерная длина

• $\\alpha$ — штраф за длину

• Оптимум обычно в диапазоне 50-200 токенов