SecondBrain/01 Library/03 Math/Статистика/Дискриминантный анализ/Принципы дискриминантного анализа.md

status, type, tags, created, updated, title

status	type	tags	created	updated	title
seed	concept	math mephi statistics discriminant-analysis	2026-01-18	2026-05-07	Принципы Дискриминантного Анализа

Принципы Дискриминантного Анализа

Дискриминантный анализ - раздел многомерного статистического анализа, включающее в себя статистические методы классификации многомерных наблюдений в ситуации, когда исследователь обладает так называемыми обучающими выборками.

Исходные Данные

Задача: отнести каждый из N объектов, подлежащих классификации, к одному из k классов.

Информация о классифицируемых объектах:

1. матрица X_{N*n} типа "объект-свойство" с информацией о значениях признаков X_{1},X_{2},\dots,X_{n} для N объектов наблюдений, подлежащих классификации X_{N*n}=\begin{pmatrix} x_{11} & x_{12} & \dots & x_{1n} \\ x_{21} & x_{22} & \dots & x_{2n} \\ \dots & \dots & \dots & \dots \\ x_{N1} & x_{N2} & \dots & x_{Nn}\end{pmatrix}
2. Обучающие выборки X^{(1)}, X^{(2)}, \dots, X^{(k)}, где X_{n_{j}*n}^{(j)}=\begin{pmatrix} x_{11}^{(j)} & x_{12}^{(j)} & \dots & x_{1n}^{(j)} \\ x_{21}^{(j)} & x_{22}^{(j)} & \dots & x_{2n}^{(j)} \\ \dots & \dots & \dots & \dots \\ x_{n_{j}1}^{(j)} & x_{n_{j}2}^{(j)} & \dots & x_{n_{j}n}^{(j)} \end{pmatrix} \ j = \overline{1\dots k} матрица типа "Объект-Свойство" , содержащая информацию о значениях признаков для n_{j} объектов, для которых заранее известно, что они принадлежат $j$-ому классу.

---

Класс в дискриминантном анализе - это генеральная совокупность, описываемая одномодальной функцией плотности f(x) или одномодальным полигоном вероятности (в случае дискретного вектора признаков).

[!important] Основной принцип классификации в ДА Объект следует отнести к тому классу, в рамках которого он выглядит более правдоподобным.

!

Связанные заметки

• Линейные модели — логистическая регрессия решает ту же задачу классификации; ДА — статистическая формализация, ML — вычислительная реализация
• Метрические алгоритмы — kNN — ещё один метод классификации с обучающей выборкой; классифицирует по расстоянию, а не по плотности распределения
• Функция потерь — функция потерь C → min как критерий оптимальной процедуры классификации