vault backup: 2026-05-14 10:49:10

2026-05-14 10:49:10 +03:00
parent 4bbc91d147
commit 7f34f1d9f5
217 changed files with 62 additions and 62 deletions
@@ -0,0 +1,21 @@
+---
+status: stable
+type: moc
+tags:
+  - math
+  - statistics
+  - discriminant-analysis
+created: 2026-02-13
+updated: 2026-05-07
+title: Дискриминантный Анализ (Conflicted Copy Ada-pc 202602021942)
+---
+
+# Дискриминантный Анализ (Conflicted Copy Ada-pc 202602021942)
+
+%% Begin Waypoint %%
+- [[Параметрический дискриминантный анализ в случае нормального закона распределения классов]]
+- [[Построение оптимальной процедуры классификации]]
+- [[Принципы дискриминантного анализа]]
+- [[Условие отнесения объекта к классу в случае двух признаков]]
+
+%% End Waypoint %%
@@ -0,0 +1,23 @@
+---
+status: stable
+type: moc
+tags:
+  - math
+  - statistics
+  - discriminant-analysis
+created: 2026-02-13
+updated: 2026-05-07
+title: Дискриминантный Анализ
+---
+
+# Дискриминантный Анализ
+
+%% Begin Waypoint %%
+- [[Дискриминантный анализ (Conflicted copy ada-pc 202602021942)]]
+- [[Параметрический дискриминантный анализ в случае нормального закона распределения классов]]
+- [[Построение оптимальной процедуры классификации]]
+- [[Принципы дискриминантного анализа]]
+- [[Условие отнесения объекта к классу в случае двух признаков]]
+- [[Функция потерь]]
+
+%% End Waypoint %%
@@ -0,0 +1,25 @@
+---
+status: seed
+type: concept
+tags:
+  - math
+  - statistics
+  - discriminant-analysis
+  - ml-algorithms
+created: 2026-01-19
+updated: 2026-05-07
+title: Параметрический Дискриминантный Анализ В Случае Нормального Закона Распределения Классов
+---
+
+# Параметрический Дискриминантный Анализ В Случае Нормального Закона Распределения Классов
+Параметрический дискриминантный анализ (ПДА) - это метод классификации, основанный на предположении, что плотности распределение признаков в каждом из классов описываются определенным теоретическим законом распределения.
+В большинстве случаев, предполагается **многомерное нормальное распределение**.
+## Основное Предположение
+Для каждого класса $S_{k},\ k=\overline{1,m}$  вектор признаков $X = (x_{1}, x_{2},\dots, x_{p})^{T}$ распределен нормально с вектором средних $\mu_{k}$ и ковариационной матрицей $\Sigma_{k}$:
+$$X \sim N(\mu_{k},\Sigma_{k})$$
+Плотность распределения для $k$-го класса:$$f_{k}(x)=\frac{1}{(2\pi)^{p/2}|\Sigma_{k}|^{1/2}}*\exp(-\frac{1}{2}(x-\mu_{k})^{T}\Sigma_{k}^{-1}(x-\mu_{k}))$$
+## Принцип Классификации (Байесовское правило)
+Объект с вектором признаков $x$ относится к тому классу $S_{k}$, для которого **апостериорная вероятность** максимальна. 
+$$P(S_{k}|x) = \frac{q_{k}f_{k}(x)}{\sum_{i=1}^{m}q_{i}f_{i}(x)}$$
+Где $q_{k}$ — априорная вероятность класса $S_{k}$.
+**<u>Решающее правило:</u>** объект относится к классу k, если логарифм выражения $q_{k}f_{k}(x)$ максимален. Это приводит к построению **дискриминантных функций**.
@@ -0,0 +1,27 @@
+---
+status: seed
+type: concept
+tags:
+  - math
+  - mephi
+  - statistics
+  - discriminant-analysis
+created: 2026-01-18
+updated: 2026-05-07
+title: Построение Оптимальной Процедуры Классификации
+---
+
+# Построение Оптимальной Процедуры Классификации
+Совокупность из объектов, подлежащая классификации, в дискриминантном анализе интерпретируется как выборка из генеральной совокупности, описываемая смесью классов с плотностью вида: $$f(x) = \sum\limits_{j=1}^{k}\pi_{i}*f_{j}(x)$$
+$\pi_{i}$ - удельный вес элементов $j$-го класса в общей генеральной совокупности.
+![[Pasted image 20260118205031.png|500]]
+$A$ - событие, состоящее в том, что $f(x)$ примет значение $\Delta x$
+$B_{j}$ - событие, состоящее в том, что $\Delta x$ принадлежит $j$ -му классу
+
+$P(A) = \sum\limits_{j=1}^{k}P(B_{j})*P(A|B_{j}) \implies f(x) * \Delta x  \approx \sum\limits_{j=1}^{k}\pi_{i}*f_{j}(x) * \Delta x$
+
+Оптимальная (байесовская) процедура классификации $S_{j}$ - это процедура классификации с **минимальными потерями** среди всех других процедур классификации.
+$$S_{j}^{opt}=(S_{1}^{opt},\dots,S_{k}^{opt}), j=\overline{1,k}$$
+$$S_{j}^{opt}=\left\{ x: \sum\limits_{\begin{align} i=1 \\ i \neq j  \end{align}}^{k} \pi_{i}*f_{i}(x)*c(j|i) = \min_{1 \leq l \leq k} \sum\limits_{\matrix{i=1 \\ i \neq l}}^{k}\pi_{i}*f_{i}(x)*c(l|i) \right\}$$
+![[Pasted image 20260122100552.png]]
+![[Pasted image 20260122100611.png]]
@@ -0,0 +1,39 @@
+---
+status: seed
+type: concept
+tags:
+  - math
+  - mephi
+  - statistics
+  - discriminant-analysis
+created: 2026-01-18
+updated: 2026-05-07
+title: Принципы Дискриминантного Анализа
+---
+
+# Принципы Дискриминантного Анализа
+**<u>Дискриминантный анализ</u>** - раздел многомерного статистического анализа, включающее в себя статистические методы классификации многомерных наблюдений в ситуации, когда исследователь обладает так называемыми **обучающими выборками**.
+
+## Исходные Данные
+Задача: отнести каждый из $N$ объектов, подлежащих классификации, к одному из $k$ классов.
+
+Информация о классифицируемых объектах:
+1) матрица $X_{N*n}$ типа "объект-свойство" с информацией о значениях признаков $X_{1},X_{2},\dots,X_{n}$ для $N$ объектов наблюдений, подлежащих классификации
+   $$X_{N*n}=\begin{pmatrix} x_{11} & x_{12} & \dots & x_{1n} \\ x_{21} & x_{22} & \dots & x_{2n} \\ \dots & \dots & \dots & \dots \\ x_{N1} & x_{N2} & \dots & x_{Nn}\end{pmatrix}$$
+2) Обучающие выборки $X^{(1)}, X^{(2)}, \dots, X^{(k)}$,
+   где $X_{n_{j}*n}^{(j)}=\begin{pmatrix} x_{11}^{(j)} & x_{12}^{(j)} & \dots & x_{1n}^{(j)} \\ x_{21}^{(j)} & x_{22}^{(j)} & \dots & x_{2n}^{(j)} \\ \dots & \dots & \dots & \dots \\ x_{n_{j}1}^{(j)} & x_{n_{j}2}^{(j)} & \dots & x_{n_{j}n}^{(j)} \end{pmatrix} \ j = \overline{1\dots k}$ 
+   матрица типа *"Объект-Свойство"* , содержащая информацию о значениях признаков для $n_{j}$ объектов, для которых заранее известно, что они принадлежат $j$-ому классу.
+
+---
+
+**<u>Класс в дискриминантном анализе</u>** - это генеральная совокупность, описываемая одномодальной функцией плотности $f(x)$ или одномодальным полигоном вероятности (в случае дискретного вектора признаков).
+
+> [!important] Основной принцип классификации в ДА
+> Объект следует отнести к тому классу, в рамках которого он выглядит **более правдоподобным**.
+
+![[Pasted image 20260118190948.png]]
+
+## Связанные заметки
+- [[Линейные модели]] — логистическая регрессия решает ту же задачу классификации; ДА — статистическая формализация, ML — вычислительная реализация
+- [[Метрические алгоритмы]] — kNN — ещё один метод классификации с обучающей выборкой; классифицирует по расстоянию, а не по плотности распределения
+- [[Функция потерь]] — функция потерь C → min как критерий оптимальной процедуры классификации
@@ -0,0 +1,22 @@
+---
+status: stable
+type: concept
+tags:
+  - math
+  - ml
+  - mephi
+  - statistics
+  - discriminant-analysis
+created: 2026-02-13
+updated: 2026-05-07
+title: Условие Отнесения Объекта К Классу В Случае Двух Признаков
+---
+
+# Условие Отнесения Объекта К Классу В Случае Двух Признаков
+$$(x_{v}-\frac{1}{2}(\hat{a}^{(j)}+\hat{a}^{(l)}))^{T}\hat{\sum}^{-1}( \hat{a}^{(j)}-\hat{a}^{(l)}) \geq \ln \frac{\hat{\pi_{l}}}{\hat{\pi}_{j}}$$
+
+Левая часть - линейная дискриминантная функция, описывающая границу между 2-мя классами.
+
+$\hat{\sum}^{-1} * (\hat{a}^{(i)}-\hat{a}^{(l)})$ - весовой коэффициент $b$. (коэффициент дискриминантной функции)
+
+![](Условие%20отнесения%20объекта%20.png)
@@ -0,0 +1,47 @@
+---
+status: seed
+type: concept
+tags:
+  - math
+  - mephi
+  - statistics
+  - discriminant-analysis
+created: 2026-01-18
+updated: 2026-05-07
+title: Функция Потерь
+dg-home: false
+dg-publish: false
+---
+
+# Функция Потерь
+
+## Общие Потери
+Пусть $c(j/i)$ - стоимость потерь от отнесения объекта $i$-класса с номером $j$, при этом $c(i/i)=0$.
+$m(j/i)$ - число объектов $i$ класса неправильно классифицированных в $j$ класс.
+
+Тогда суммарные потери:$$C_{N} = \sum\limits_{i=1}^{k}\sum\limits_{j=1}^{k}c(j/i)*m(j/i)$$
+## Удельные Потери
+**<u>Функция удельных потерь</u>** $(C)$ — это предел отношения общих потерь к общему объему выборки $(N)$ при бесконечном увеличении числа наблюдений $(N→∞)$. 
+$$C=\lim_{N \to \infty}(\frac{1}{N}*C_{N})=\lim_{N \to \infty}\sum\limits_{i=1}^{k}\sum\limits_{j=1}^{k}C(j/i)*\frac{m(j/i)*n_{i}}{n_{i}*N}=$$$$=\sum\limits_{i=1}^{k}\pi_{i}*\sum\limits_{i=1}^{k}C(j/i)*P(j/i)$$
+$\large \frac{m(j|i)}{n_{i}} \to^{P} P(j|i)$, где $P(j|i)$ - вероятность отнесения объекта класса $i$ к классу $j$.
+$\large \frac{n_{i}}{N} \to^{P} \pi_{i}$, где $\pi_{i}$ - вероятность того, что объект принадлежит к $i$-ому классу.
+
+Величину $\pi_{i}$ называют **априорной вероятностью** или **удельным весом $i$-го класса**.
+
+## Функция Потерь
+$$C = \sum\limits_{i=1}^{k}\pi_{i}*\sum\limits_{j=1}^{k}C(j|i)*P(j|i)
+$$
+$C^{(i)}=\sum\limits_{j=1}^{k}\pi_{i}*C^{(i)}$ - средние удельные потери от неправильной классификации всех анализируемых объектов.
+
+---
+
+Полагают, что потери $C(j|i)$ одинаковы для $\forall i,j$:
+$C(j|i)=C_{0}=const,\ j \neq i,\ i,j=\overline{1,k}$
+
+Тогда задача минимизации средних удельных потерь $(C \to \min)$ сводится к **максимизации вероятности правильной классификации**.
+$$\sum\limits_{i=1}^{k}\pi_{i}*P(i|i) \to \max$$
+
+## Связанные заметки
+- [[Линейные модели]] — MSE → min в МНК и C → min в ДА — один и тот же принцип минимизации ошибки; в ML реализован численно через градиентный спуск
+- [[Принципы дискриминантного анализа]] — контекст применения функции потерь
+