vault backup: 2026-05-14 10:49:10

2026-05-14 10:49:10 +03:00
parent 4bbc91d147
commit 7f34f1d9f5
217 changed files with 62 additions and 62 deletions
@@ -0,0 +1,38 @@
+---
+status: seed
+type: concept
+tags:
+  - math
+  - mephi
+  - statistics
+  - factor-analysis
+created: 2026-01-20
+updated: 2026-05-07
+title: Алгоритм Оценки Главных Компонент
+---
+
+# Алгоритм Оценки Главных Компонент
+1) **<u>Подготовка исходных данных</u>**
+   - **Центрирование**:
+     $$x_{ij}^{*}=x_{ij}-\overline{x_{j}}$$
+   - **Нормирование**:
+     $$x_{ij}^{*}=\frac{x_{ij}-\overline{x_{j}}}{\sigma_{j}}$$
+1) **<u>Вычисление выборочной матрицы</u>**
+   Расчет выборочной ковариационной матрицы $\hat{\Sigma}$, которая описывает структуру связей между признаками.
+2) **<u>Проверка значимости корреляционной матрицы (Критерий Бартлетта)</u>**
+   Перед поиском компонент необходимо убедиться, что признаки вообще коррелированы между собой.
+   - **Гипотеза $H_{0}$**: Матрица единична $(R=E)$, т.е. признаки не коррелированы.
+   - **Статистика критерия**: $\chi^{2}=-[n-1-\frac{2k+5}{6}]\ln|\hat{R}|$
+   - Если расчетное значение больше критического, то проведение МГК считается целесообразным.
+1) **<u>Расчет СЧ и СВ</u>**
+2) **<u>Определение количества ГК</u>**
+   Из $k$ возможных компонент отбирают $m$ наиболее информативных.
+   - **Критерий Кайзера**: $\lambda_{s} > 1$
+   - **Доля дисперсии**: Суммарная дисперсия должна составлять $70-80\%$
+   - **Каменистая Осыпь**: Визуальный анализ графика СЧ.
+1) **<u>Оценка матрицы факторных нагрузок</u>**
+   $$A = U^{T}\lambda^{\frac{1}{2}}$$
+2) **<u>Расчет индивидуальных значений</u>**
+   $$\hat{Z}=X\hat{U}$$
+3) **<u>Интерпретация результатов</u>**
+   На основе наиболее весомых нагрузок в матрице $A$ каждой ГК присваивается содержательное название.
@@ -0,0 +1,65 @@
+---
+status: processing
+type: concept
+tags:
+  - math
+  - mephi
+  - statistics
+  - factor-analysis
+created: 2026-01-20
+updated: 2026-05-07
+title: Алгоритм Оценки Главных Факторов. Матрица Индивидуальных Значений ГФ
+---
+
+# Алгоритм Оценки Главных Факторов. Матрица Индивидуальных Значений ГФ
+
+## Оценка ГФ
+Оценка корреляционной матрицы исходных признаков:
+$$x^{*}=(x_{1}^{*},\dots,x_{k}^{*})^{T} \in N(0,\Sigma_{x^{*}})\ \ \ \Sigma_{x^{*}}=R$$
+$$X = \begin{pmatrix} x_{11} & \dots & x_{1n} \\ \vdots & \ddots & \vdots \\ x_{k1} & \dots & x_{kn} \end{pmatrix}$$ - матрица "свойство-объект" (центрировано-нормированная)
+
+Оценка матрицы парных коэффициентов корреляции: $\hat{R} = \frac{1}{n}XX^{T}$ 
+
+Проверка гипотезы о незначимости корреляционной матрицы (критерий Уилкса)
+
+$$H_{0}: R=E_{k}$$
+$$H_{1}: R \neq E_{k}$$
+$$\chi^{2}=-(n-\frac{1}{6}(2k+5))\ln|\hat{R}| \in \chi^{2}(v)$$
+$$v = \frac{k(k-1)}{2}$$
+**<u>Метод оценки общности</u>**: $\hat{h}^{2}_{i}=R^{2}_{x_{i}/(\dots)}$
+
+**<u>Критерий Лоули:</u>**
+$H_{0}$: $m$ ГФ достаточно
+$H_{1}:\ m$ ГФ не достаточно
+$m < \frac{k-1}{2}$
+
+$$\chi^{2}=(n-1)\ln{\frac{|AA^{T}|}{|\hat{R}|}}\in \chi^{2}(v)$$
+$$v = \frac{1}{2}((k-m)^{2}-k-m)$$
+**<u>Критерий Кайзера</u>**: отбор факторов $СЧ>1$
+**<u>Критерий каменистой осыпи</u>**: число факторов выбирается по точке излома, после которой СЧ убывают медленно или почти линейно.
+
+## Матрица Индивидуальных Значений ГФ
+$$x_{ij}=a_{i1}f_{1j}+\dots+a_{im}f_{mj}+d_{i}v_{ij},\ \ i=\overline{1,k}, \ \ j=\overline{1,n}$$
+$X = Af+Dv$
+
+$f = \pmatrix{f_{11} & \dots & f_{1n} \\ \vdots & \ddots & \vdots \\ f_{m1} & \dots & f_{mn}}$ 
+
+$v = \pmatrix{v_{11} & \dots & v_{1n} \\ \vdots \\ v_{k1} & \dots & v_{kn}}$
+
+$f_{j} = \pmatrix{f_{1j}\\f_{2j}\\\vdots\\f_{mj}}$ - индивидуальные значения ГФ для $j$-го объекта
+$x_{j}=\pmatrix{x_{1j}\\\vdots\\x_{kj}}$ - наблюдаемое значение признаков для $j$-го объекта
+
+## Оценка Индивидуальных Значений ГФ. Метод Бартлетта
+Представим модель линейной множественной регрессии:
+$x_{j}=z\beta_{j}+\epsilon_{j}$ - ЛММР,  $j=\overline{1,n}$
+
+$z = \pmatrix{z_{11} & \dots & z_{1m} \\ \vdots \\ z_{k1} & \dots & z_{km}}=A$;  
+
+$\beta_{j} = \pmatrix{\beta_{1j}\\\vdots\\\beta_{mj}}=f_{j};$  
+
+$\epsilon_{j}=\pmatrix{\epsilon_{1j}\\\vdots\\\epsilon_{kj}}$
+
+$\Sigma_{\epsilon_{j}}=M(\epsilon_{j}*\epsilon_{j}^{T})=D^{2}$
+$\hat{\beta_{j}}=(z^{T}(D^{2})^{-1}z)^{-1}(z^{T}(D^{2})^{-1}x_{j});$
+$b_{омнк} = (X^{T}\Sigma^{-1}X)^{-1}(X^{T}\Sigma^{-1}Y)$
+$\hat{f}_{j}=(A^{T}(D^{2})^{-1}A)^{-1}(A^{T}(D^{2})^{-1}X_{j})$
@@ -0,0 +1,59 @@
+---
+status: seed
+type: concept
+tags:
+  - mephi
+  - math
+  - statistics
+  - factor-analysis
+created: 2026-01-21
+updated: 2026-05-07
+title: Вращение Факторов
+---
+
+# Вращение Факторов
+
+## Задача Вращения Общих Факторов
+Построение простой структуры, т.е. такого расположения признаков, при котором они находятся вблизи от координатных осей или в непосредственной близости к началу координат.
+Вращение не изменяет общностей и суммарной объясненной дисперсии, а служит исключительно для повышения интерпретации факторов.
+
+## Пространство Общих Факторов
+**<u>Пространство общих факторов</u>** - пространство, координатами которого являются нагрузки признака на общие факторы. 
+$d_{l}^{оф}=\sqrt{\sum\limits_{r=1}^{m}a_{ir}^{\alpha}}=h_{i}$ - длина вектора, соответствующего $i$-му, признаку в пространстве общих факторов.
+$\rho(x_{i}, x_{l})^{оф}=\cos(\phi_{il}^{оф})=\frac{1}{h_{i}h_{l}}\sum\limits_{r=1}^{m}a_{ir}a_{lr}$ ![[Pasted image 20260121124001.png|300]]
+
+## Полное Факторное Пространство
+Включает общие и характерные факторы
+$d_{i}^{П}=\sqrt{\sum\limits_{r=1}^{m}a_{ir}^{2}+d_{i}^{2}}=1$ - длина вектора, соответствующего $i$-ому признаку, в полном факторном пространстве ($=1$ т.к. это дисперсия, а признаки были нормированы)
+
+$\rho(x_{i},x_{l})^{П}=\cos(\phi_{il}^{П})=\sum\limits_{r=1}^{m}a_{ir}a_{lr}$
+
+## Вращение Факторов
+Осуществляется умножением матрицы факторных нагрузок $A$ на матрицу преобразования $T$: $A^{*}=AT$
+
+### Ортогональное
+- все факторы поворачиваются на **один и тот же** угол
+- факторы остаются некоррелированными
+Матрица $T$ - ортогональна: $T^{T}T=E$
+<u>Примеры</u>: варимакс, квартимакс, биквартимакс, эквимакс
+
+![[Pasted image 20260121124452.png|300]] 
+$\vec{e_{1}}=\pmatrix{1\\0}$, $\vec(e)_{2}=\pmatrix{0\\1}$ - единичные вектора в исходной системе координат.
+$\vec{e}_{1}^{'}=\pmatrix{\cos{\alpha}\\-\sin{\alpha}}$, $\vec{e}_{2}^{'}=\pmatrix{\sin{\alpha}\\\cos{\alpha}}$
+$T = \pmatrix{\cos{\alpha} & \sin{\alpha}\\-\sin{\alpha} & \cos{\alpha}}$
+
+### Косоугольное
+- факторы могут поворачиваться на **разные** углы
+- между факторами возникают корреляции
+Используется неортогональные матрицы преобразования
+<u>Примеры</u>: облимакс, квартимин, облимин
+
+### Варимакс
+**Цель**: максимизировать дисперсии квадратов факторных нагрузок **по переменным для каждого фактора**, что приводит к простой структуре.
+Чаще используется **варимакс нормализованных ф.н.** 
+$$V_{r}=\frac{k\sum\limits_{i=1}^{k}a_{ir}^{4}-(\sum\limits_{i=1}^{k}a_{ir}^{2})^{2}}{k^{2}} \to \max,\ r=\overline{1,m}$$
+### Квартимакс
+**Цель**: максимизировать дисперсию квадратов нагрузок по **факторам для каждой переменной**, т.е. надо *связать каждый признак с минимальным числом факторов*.
+$$q = \sum\limits_{i=1}^{k}\frac{\sum\limits_{r=1}^{m}a_{ir}^{4}-(\sum\limits_{r=1}^{m}a_{ir}^{2})^{2}}{m^{2}} \to \max$$
+работает по строкам матрицы нагрузок.
+Стремление к тому, чтобы каждый признак имел одну большую нагрузку, и минимум остальных.
@@ -0,0 +1,21 @@
+---
+status: seed
+type: concept
+tags:
+  - math
+  - mephi
+  - statistics
+  - factor-analysis
+created: 2026-01-20
+updated: 2026-05-07
+title: Матрица Индивидуальных Значений
+---
+
+# Матрица Индивидуальных Значений
+## Определение
+Матрица индивидуальных значений $(Z)$ - матрица размера $N * m$, где $m$ - число выделенных ГК, элементами которой являются значения ГК для каждого объекта выборки.
+$$\hat{Z}=X^{*}*\hat{U}$$
+## Свойства Значений В Матрице
+- **Мат. ожидание**: среднее значение по каждому столбцу равно нулю: $\overline{z_{j}}=0$
+- **Дисперсия**: дисперсия равна собственному числу $D(Z_{j})=\lambda_{j}$
+- **Некоррелированность**: любые два столбца имеют нулевую ковариацию $cov(Z_{j},Z_{l})=0$ 
@@ -0,0 +1,40 @@
+---
+status: seed
+type: concept
+tags:
+  - math
+  - statistics
+  - factor-analysis
+created: 2026-01-20
+updated: 2026-05-07
+title: Матрица Нагрузок И Её Свойства
+---
+
+# Матрица Нагрузок И Её Свойства
+
+## Определение
+Матрица нагрузок $A$ - это матрица, эл-тами которой являются коэффициенты корреляции между исходными признаками $X_{i}$ и ГК $Z_{j}$
+
+Элемент матрицы $a_{ij}$ показывается тесноту линейной связи $i$-го признака с $j$-ой компонентой. 
+В случае использования центрированно-нормированных признаков, расчет ведется по формуле: $a_{ij}=u_{ij}\sqrt{\lambda_{j}}$,  где $u_{ij}$ - $i$-ая координата $j$-го СВ, а $\lambda_j$ - $j$-ое СЧ ковариационной матрицы.
+
+## Свойства Матрицы Нагрузок
+- **<u>Свойство строк (Общность)</u>**:
+  Сумма квадратов нагрузок в $i$-ой строке по всем $k$ компонентам равна дисперсии соответствующего исходного признака. Для нормированных признаков эта сумма равна 1:
+  $$\sum\limits_{j=1}^{k}a_{ij}^{2}=D(X_{i})=1$$
+- **<u>Свойство столбцов (Вклад компоненты)</u>**:
+  Сумма квадратов нагрузок в $j$-ом столбце равна СЧ $\lambda_{j}$, которое является дисперсией $j$-й ГК:
+  $$\sum\limits_{i=1}^{k}a_{ij}^{2}=\lambda_{i}=D(Z_{i})$$
+- **<u>Ортогональность</u>**:
+  Сумма произведений нагрузок любых двух различных столбцов равна нулю, что подтверждает некоррелированность ГК:
+  $$\sum\limits_{i=1}^{k}a_{ij}a_{il}=0,\ i \neq l$$
+- **<u>Воспроизведение корреляций</u>**:
+  Сумма произведений нагрузок $i$-го и $l$-го признаков по всем компонентам равна коэффициенту корреляции между этими признаками ([[Фундаментальная теорема факторного анализа]]):
+  $$\sum\limits_{j=1}^{k}a_{ij}a_{li}=r(X_{i}mX_{l})$$
+## Интерпретация
+- **<u>Вес нагрузки</u>**:
+  Чем выше абсолютное значение $|a_{ij}|$, тем сильнее данный признак определяет содержание компоненты.
+- **<u>Знак нагрузки</u>**:
+  Указывает направления связи (прямая или обратная)
+- **<u>Цель вращения</u>**:
+  Если нагрузки распределены "размазано" (много средних значений), то применяется вращение, чтобы получить **простую структуру**, где нагрузки близки к 1 или 0.
@@ -0,0 +1,36 @@
+---
+status: stable
+type: concept
+tags:
+  - math
+  - mephi
+  - statistics
+  - factor-analysis
+created: 2026-01-20
+updated: 2026-05-07
+title: Метод Главных Факторов. Методы Оценки Общности
+---
+
+# Метод Главных Факторов. Методы Оценки Общности
+Фундаментальная теорема факторного анализа:
+$R = R_{n}+D^{2}$
+Посчитав матрицу $D$ равной нулю, для оценки матрицы $A$ воспользуемся моделью ГК.
+
+Под МГФ понимают способ расчет, принятый в методе ГК, но примененный к $R_{h}$.
+
+Таким образом, нужна оценка общностей $\rho_{x_{i}/(\dots)}^{2} \leq h_{i}^{2} \leq r_{i}^{2}$ 
+1) $$\hat{h_{i}^{2}}=R^{2}_{x_{i}/(\dots)}=1-\frac{|\hat{R}|}{\hat{R_{ii}}}$$ - метод множественной корреляции
+2) $$\hat{h^{2}_{i}}=\max{|r_{ie}|};\ \ l=\overline{1,k}\ \ l \neq i$$ - max. корреляция
+3) $$\hat{h^{2}_{i}}=\frac{1}{k-1}\sum\limits^{k}_{\begin{align} l=1 \\ l \neq i \end{align}}|r_{il}|$$ - средняя корреляция 
+4) $$\hat{h}^{2}_{i}=\frac{|r_{il}|*|r_{is}|}{|r_{ls}|}$$ - метод парных корреляций
+5) $$\hat{h}_{i}^{2}=\frac{(\sum\limits_{l=1}^{k}r_{il})^{2}}{\sum\limits_{l=1}^{k}\sum\limits_{s=1}^{k}r_{ls}}$$ - метод суммы корреляций
+
+---
+
+Методы оценки общностей нужны, чтобы понять, какую часть дисперсии каждого признака можно объяснить общими факторами.
+**<u>Оценка общности</u>** - множественные коэффициенты корреляции одной переменной на другие, т.е. строим уравнение регрессии и берем соответственные коэффициенты детерминации.
+**<u>Метод оценки общностей</u>**: явно вычислить множественную корреляцию между признаками, воспользовавшись уравнением регрессии, т.е. общности взять, как множественный коэффициент корреляции.
+
+**<u>Требование</u>**: каждая следующая ось ориентированная по направлению $max$ дисперсии в пространстве, ортогональном предыдущей ГК.
+
+---
@@ -0,0 +1,24 @@
+---
+status: seed
+type: concept
+tags:
+  - math
+  - mephi
+  - statistics
+  - factor-analysis
+created: 2026-01-20
+updated: 2026-05-07
+title: Определение И Процедура Построения Первой И Последующих Компонент
+---
+
+# Определение И Процедура Построения Первой И Последующих Компонент
+## Определения Главных Компонент (ГК)
+- <u>Первая ГК $(Z_{1})$</u>: Это такая линейная комбинация исходных признаков $X=(X_{1},X_{2},\dots, X_{k})^{T}$, которая среди всех прочих комбинаций обладает наибольшей дисперсией.
+- <u>$s$-ая ГК ($$$Z_{s}$)</u>: Это линейная комбинация исходных признаков, которая не коррелирована с $(s-1)$ предыдущими главными компонентами и среди всех прочих лин. комбинаций обладает наибольшей дисперсией.
+
+## Оптимизационная Задача Для Построения 1 ГК
+Математически построение первой ГК сводится к поиску вектора весовых коэффициентов $U = (u_{11},u_{12},\dots,u_{1k})^{T}$.
+- **Целевая функция**: 
+  Максимизация дисперсии компоненты $D(Z_{1})=U_{1}^{T}\Sigma_{X}U_{1} \to \max$, $\Sigma_{X}$ - ковариационная матрица исх. признаков.
+- **Ограничение**: Вектор коэффициентов должен быть нормирован: $U_{1}^{T}U_{1}=1$
+
@@ -0,0 +1,34 @@
+---
+status: stable
+type: concept
+tags:
+  - mephi
+  - math
+  - statistics
+  - factor-analysis
+created: 2026-01-20
+updated: 2026-05-07
+title: Основные Числовые Характеристики Главных Компонент
+---
+
+# Основные Числовые Характеристики Главных Компонент
+1) **<u>Математическое ожидание</u>**
+   Если исх. признаки $X_{j}$ центрированы (т.е. $E[X_{j}]=0$), то математическое ожидание каждой ГК также равно нулю:
+   $$E[Z_{s}]=0$$
+2) **<u>Дисперсия</u>**
+   Дисперсия каждой ГК равна соотв. СЧ $\lambda_{s}$ ковариационной (корреляционной) матрицы исх. признаков:
+   $$D(Z_{s})=\lambda_{s}$$
+3) **<u>Ковариация</u>**
+   ГК являются некоррелированными между собой (взаимно ортогональны).
+   Ковариация между любыми компонентами равна нулю:
+   $$cov(Z_{s},Z_{l})=0,\ s \neq l$$
+4) **<u>Суммарная дисперсия</u>**
+   Сумма дисперсий всех главных компонент равна сумме дисперсий исх. признаков (следу ковар. матрицы)
+   $$\sum\limits_{s=1}^{k}D(Z_{s})=\sum\limits_{j=1}^{k}D(X_{j})=\sum\limits_{s=1}^{k}\lambda_{s}$$
+5) **<u>Показатель информативности</u>**
+   Для оценки того, какую часть информации описывает конкретная компонента (или набор из $m$ первых компонент), используется:
+   - Удельный вес дисперсии: $\large d_{s}=\frac{\lambda_{s}}{\Sigma \lambda_{s}}$
+   - Кумулятивная доля дисперсии: $\large D_{m}=\frac{\sum_{s=1}^{m} \lambda_{s}}{\sum_{j=1}^{k}\lambda_{j}}$
+1) **<u>Корреляция с исх. признаками (факторные нагрузки)</u>**
+   Коэфф. корреляции между исх. признаком $X_{i}$ и ГК $Z_{j}$ рассчитываются через элементы СВ $u_{ij}$ и СЧ:
+   $$r(X_{i},Z_{j})=\frac{u_{ij}\sqrt{\lambda_{j}}}{\sigma_{i}}$$
@@ -0,0 +1,35 @@
+---
+status: seed
+type: concept
+tags:
+  - math
+  - mephi
+  - statistics
+  - factor-analysis
+created: 2026-01-18
+updated: 2026-05-07
+title: Постановка Задачи Снижения Размерности Признакового Пространства
+---
+
+# Постановка Задачи Снижения Размерности Признакового Пространства
+Задача снижения размерности признакового пространства заключается в определении такого набора признаков $Z$, найденного в классе допустимых преобразований исходных показателей $F(x)$, чтобы максимизировать или минимизировать критерий информативности:$$Im(Z(x))=extr_{Z \in F(x)}\{Im(Z(x))\}$$
+
+---
+
+Исходные система признаков: $x = (x_{1},x_{2},\dots,x_{k})^{T}$
+Признаки центрированы: $M_{x_{j}}=0,\ \forall j=\overline{1,k}$
+Новая система признаков: $z=(z_{1},z_{2},\dots,z_{m})^{T},\ m << k$
+Критерий информативности: $Im(Z(x)) = extr_{z \in F(x)}\{Im(Z(x))\}$
+
+$$Im(Z(x)) = \frac{D_{z_{1}}+\dots+D_{z_{m}}}{D_{x_{1}}+\dots+D_{x_{k}}}$$ - отношение суммарной дисперсии новой системы признаков к суммарной дисперсии исходной системы.
+
+> [!warning] Критерий
+> Необходимо отобрать столько признаков, чтобы суммарная вариация (дисперсия) исходных признаков в больше степени объяснялась дисперсией вновь введенных признаков.
+
+**<u>Замечание</u>**: 
+1) В случае нормирования признаков, $\text{ковариационная матрица признаков}\ x^{*}==\text{корелляционной матрице исх.признаков}$ $\Sigma_{x^{*}}=R_{x}$  
+2) Если признаки имеют разный масштаб, то необходимо провести их нормирование, т.е. перейти $$X_{j}^{*}=\frac{X_{j}}{\sqrt{DX_{j}}},\ DX_{j}^{*}=1,\ \forall j = \overline{1,k}$$
+
+## Связанные заметки
+- [[Линейные модели]] — снижение размерности (PCA) используется как предобработка перед линейными моделями в ML; матрица X в обоих случаях одинакова
+- [[Метрические алгоритмы]] — kNN страдает от проклятия размерности; снижение размерности напрямую улучшает качество kNN
@@ -0,0 +1,31 @@
+---
+status: stable
+type: concept
+tags:
+  - mephi
+  - math
+  - statistics
+  - factor-analysis
+created: 2026-01-20
+updated: 2026-05-07
+title: Процедура Построения Первой И Остальных Главных Компонент
+---
+
+# Процедура Построения Первой И Остальных Главных Компонент
+## Процедура Построения Первой ГК
+Используется метод множителей Лагранжа:
+1) **Ф-я Лагранжа**:
+    $\phi(U,\lambda)=U_{1}^{T}\Sigma_{X}U_{1}-\lambda(U_{1}^{T}U_{1}-1)\to\max$.
+2) **Нахождение производных**:
+   Дифференцирование по $U$ приводит к: $(\Sigma_{X}-\lambda E)U_{1}=0$
+3) **Составление характеристического уравнения**:
+   Чтобы система имела ненулевое решение, определитель матрицы должен быть равен нулю.
+4) **Поиск собственных чисел**:
+   Решение дает $k$ вещественных неотрицательных корней $\lambda_{1},\lambda_{2},\dots,\lambda_{k}$, которые являются Собственными Числами матрицы $\Sigma_{X}$
+5) **Выбор максимума**:
+   Т.к. дисперсия первой компоненты $D(Z_{1})=\lambda_{1}$, то в качестве первой ГК выбирается решение, соответствующее наибольшему Собственному Числу.
+
+## Построение Последующих Компонент
+- Каждая следующая компонента $Z_{s}$ соответствует следующему по величене СЧ $\lambda_{s}$ из упорядоченного по убыванию ряда СЧ.
+- Коэффициенты $U_{s}$ для каждой компоненты являются Собственными Векторами матрицы $\Sigma_{X}$, соответствующими найденным числам $\lambda_{s}$
+- Суммарная дисперсия всех ГК совпадает с суммарной дисперсией исх. признаков.
@@ -0,0 +1,32 @@
+---
+status: stable
+type: concept
+tags:
+  - math
+  - mephi
+  - statistics
+  - factor-analysis
+created: 2026-01-20
+updated: 2026-05-07
+title: Разложение Дисперсии В Факторном Анализе. Разложение Характерности В Факторном Анализе
+---
+
+# Разложение Дисперсии В Факторном Анализе. Разложение Характерности В Факторном Анализе
+## Разложение Дисперсии Признака
+В модели ФА каждый признак $X_{i}$ представляется как:
+$$X_{i}=\sum\limits_{j=1}^{m}a_{ij}F_{j}+d_{i}U_{i}$$
+Поскольку общие факторы $F_{j}$ и характерный фактор $U_{i}$ по предположению модели являются некоррелированными и имеют единичные дисперсии, общая дисперсия $D(X_{i})$ раскладывается на две основным части:$$1 = \sum\limits_{j=1}^{m}a_{ij}^{2}+d_{i}^{2}$$ или $$1 = h_{i}^{2}+d_{i}^{2}$$
+Где:
+- $h_{i}^{2}$ - **<u>общность</u>**: сумма квадратов факторных нагрузок признака по всем общим факторам. Она показывает долю дисперсии $i$-го признака, которая объясняется влиянием общих для всей совокупности факторов.
+- $d_{i}^{2}$ - **<u>характерность</u>**: доля дисперсии признака, которая не может быть объяснена через общие факторы. Она отражает индивидуальность конкретной переменной.
+
+## Разложение Характерности
+Сама по себе характерность не является однородной. $$d_{i}^{2}=s_{i}^{2}+e_{i}^{2}$$
+Где:
+- $s_{i}^{2}$ - специфичность.
+  Это часть дисперсии, которая обусловлена особенностями, присущими именно данному признаку.
+- $e_{i}^{2}$ - ошибка
+  Случайная составляющая дисперсии, связанная с погрешностями измерения, неточностью сбора стат. данных.
+
+> [!tip] Замечание
+> Сумма общности и специфичности $(h_{i}^{2} + s_{i}^{2})$ называется **надежностью** признака. Чем выше надежность, тем меньше в данных случайного шума.
@@ -0,0 +1,64 @@
+---
+status: stable
+type: concept
+tags:
+  - math
+  - mephi
+  - statistics
+  - factor-analysis
+  - linear-models
+created: 2026-01-20
+updated: 2026-05-07
+title: Требования К Факторам. Линейная Модель Факторного Анализа
+---
+
+# Требования К Факторам. Линейная Модель Факторного Анализа
+## Требования К Факторам
+Общие и характерные факторы центрировано-нормированные:
+$$\begin{align} M(f_{r}) = 0 \\ M(v_{i})=0 \\ \\ D(f_{r})=1 \\ D(v_{i})=1\end{align}$$ Естественные требования:
+$M(v_{i}*v_{s})=\rho(v_{i},v_{s})=0,\ \ \ \forall i,s=\overline{1...k}\ \ \ i \neq k$
+$M(f_{r}*v_{i})=\rho(f_{r},v_{i})=0\ \ \ r=\overline{1 \dots m}\ \ \ i=\overline{1 \dots k}$
+
+## Линейная Модель
+$$x_{ij}=\sum\limits_{r=1}^{m}a_{jr}f_{ir}+d_{j}u_{ij}$$
+Где:
+- $x_{ij}$ - **значение** $j$-го признака для $i$-го объекта. ($i=1,\dots,N;\ j=1,\dots,k$)
+- $a_{ir}$ - **факторная нагрузка** $j$-го признака по $r$-ому **общему** фактору. Показывает степень влияния фактора на признак.
+- $f_{ir}$ - **индивидуальное значение (score)** $r$-го общего фактора для $i$-го объекта. Насколько сильно данный фактор проявлен у конкретного объекта.
+- $u_{ij}$ - значение **характерного** фактора для $i$-го объекта по $j$-му признаку.
+- $d_{j}$ - **нагрузка** характерного фактора.
+
+## Матричная Форма
+$$A_{k*m} = \begin{pmatrix} 
+a_{11} & a_{12} & \dots & a_{1m} \\
+a_{21} & a_{22} & \dots & a_{2m} \\
+\vdots & \vdots & \ddots & \vdots \\ 
+a_{k1} & a_{k2} & \dots & a_{km} 
+ \end{pmatrix}$$
+  - матрица факторных нагрузок (весовых коэффициентов при общих факторах)
+ $$D_{k*k} = \begin{pmatrix}
+ d_{1} & 0 & \dots & 0 \\
+ 0 & d_{2} & \dots & 0 \\
+ \vdots & \vdots & \ddots & \vdots  \\ 
+ 0 & 0 & \dots & d_{k} 
+ \end{pmatrix}$$
+  - матрица характерностей (матрица весовых коэффициентов при характерных факторах)
+ $$M_{k*(m+k)} = (A:D)$$
+  - матрица весовых коэффициентов при факторах
+ $$f_{(m+k) * n}^{*}= \begin{pmatrix} f \\ v \end{pmatrix}$$
+  - вектор общих и характерных факторов
+
+$$x = Af + Dv = Mf^{*}$$
+- модель ФА в матричной форме
+$$f_{m*n} = \begin{pmatrix} 
+f_{11} & \dots & f_{1n} \\
+\vdots & \ddots & \vdots  \\ 
+f_{m1} & \dots & f_{mn}
+\end{pmatrix}$$
+- матрица индивидуальных значений общих факторов
+$$v_{k*n} = \begin{pmatrix} 
+v_{11} & \dots & v_{1n} \\
+\vdots & \ddots & \vdots  \\ 
+v_{m1} & \dots & v_{kn}
+\end{pmatrix}$$
+- матрица индивидуальных значений характерных факторов
@@ -0,0 +1,25 @@
+---
+status: seed
+type: concept
+tags:
+  - math
+  - statistics
+  - factor-analysis
+created: 2026-02-13
+updated: 2026-05-07
+title: ФА - Вращение
+---
+
+
+---
+type: concept
+status: stable
+tags:
+  - math
+  - ml
+  - mephi
+---    
+
+# ФА - Вращение
+
+Вращение в Факторном анализе используется для улучшения интепретируемости общих факторов.
@@ -0,0 +1,59 @@
+---
+status: stable
+type: concept
+tags:
+  - math
+  - ml
+  - mephi
+  - statistics
+  - factor-analysis
+created: 2026-02-13
+updated: 2026-05-07
+title: ФА - Модель, Цель, Сущность
+---
+
+# ФА - Модель, Цель, Сущность
+**Факторы**  - гипотетические (латентные), непосредственно не измеряемые переменные, которые в той или иной мере связаны с измеряемыми характеристиками (исходными признаками). Основной идеей ФА выступает предположение, что структура связей между признаками может быть объяснена тем, что эти признаки зависят от **меньшего**  количества другие, **общих** факторов.
+Что позволяет снизить размерность признакового пространства от количества исходных признаков, до меньшего количества общих факторов.
+
+**Цель:** найти такие факторы или такую матрицу  $R_h$, чтобы минимизировать $D^2$.
+
+## Линейная Модель ФА
+
+Каждый исходный признак  ($x_{j}$), который, является **центрированно-нормированным**, представляется в виде линейной комбинации:
+
+- $m$ - общих факторов
+- **одного** характерного фактора - $v_i$
+
+Модель описывается уравнением: $x_ij = a_{i1}f_{1j}+a_{i2}f_{2j}+\dots+a_{im}f_mj+d_iv_{ij}$
+
+$f_{rj}$ - значение $r$-го общего фактора для $j$-го объекта
+
+$v_{ij}$ - значение $i$-го характерного фактора для $j$-го объекта
+
+$x_{ij}$ - значение $i$-го исходного признака на $j$-ом объекте
+
+**Центрировано-нормированные признаки**
+
+- **Центрированность** означает, что мат.ожидание каждого признака равна нулю ($M(x_i) = 0$)
+- **Нормированность** означает, что дисперсия каждого признака равна единице ($D(x_i) = 1$) 
+
+## Дисперсии
+
+В отличии от Метода Главных Компонент (МГК), Факторный Анализ предполагает, что $m$ общими факторами _нельзя_ полностью объяснить вариацию исходных признаков. Дисперсия исходного признака  $x_i$ раскладывается на две компоненты:
+
+1. Общность - ($h_i^2$): доля дисперсии  $i$-ого признака, объясняемая $m$ общими факторами: $h_i^2 = \sum_{r=1}^{m} a_{ir}^{2}$
+2. Характерность - ($d_i^2$): вклад в дисперсию  $i$-го признака, характерного фактора $v_i$ (который нельзя объяснить _общими_ факторами)
+
+Тогда, для центрировано-нормированных признаков, дисперсия которых равна **единице** справедливо:  $h_i^2 + d_i^2 = 1$
+
+## Фундаментальная Теорема ФА
+
+Выражение, позволяющее воспроизвести корреляционную матрицу исходных признаков  $R$ через матрицу факторного отображения $A$ и матрицу характерностей $D^2$:
+
+$R = AA^{T} + D^2$,
+
+где $D^2$ - диагональная матрица с характерностями на главной диагонали.
+
+## Связанные заметки
+- [[Факторный анализ]]
@@ -0,0 +1,29 @@
+---
+status: stable
+type: concept
+tags:
+  - math
+  - mephi
+  - statistics
+  - factor-analysis
+created: 2026-01-20
+updated: 2026-05-07
+title: Факторное Отображение. Факторная Структура
+---
+
+# Факторное Отображение. Факторная Структура
+## Факторное Отображение
+**<u>Матрица факторного отображения</u>** - это матрица коэффициентов $A = {a_{ij}}$ в уравнениях лин. модели ФА:$$X_{i}=a_{i1}F_{1}+\dots+a_{im}F_{m}+d_{i}U_{i}$$
+- **Сущность**: Элементы этой матрицы ($a_{ij}$) называются **факторными нагрузками**. Они показывают вклад каждого фактора в формирование значения конкретного признака.
+- **Геометрический смысл**: Координаты вектора исходных признаков в базисе общих факторов.
+- **Применение**: Используется для понимания того, как факторы "строят" каждый признак.
+
+## Факторная Структура
+**<u>Матрица факторной структуры</u>** - это матрица, элементами которой являются **коэффициенты корреляции** между исходными признаками $(X_{i})$ и общими факторами $(F_{j})$.
+- **Сущность**: Показывает чистую статистическую связь между признаком и фактором.
+- **Применение**: Используется для содержательной интерпретации факторов. Чем выше корреляция признака с фактором, тем сильнее этот признак определяет смысл фактора.
+
+> [!info] Связь структуры и отображения
+> Матрицы *тождественно равны*, если факторы некоррелированы (ортогональны). Если было проведено косоугольное врачщение, то матрицы различаются. 
+> **Отображение** показывает "чистый" вклад фактора в признак.
+> **Структура** - полную корреляцию, включая и косвенное влияние через другие факторы.
@@ -0,0 +1,45 @@
+---
+status: seed
+type: concept
+tags:
+  - math
+  - mephi
+  - statistics
+  - factor-analysis
+created: 2026-01-20
+updated: 2026-05-07
+title: Факторный Анализ. Цели И Сущность. Постановка Задачи. Отличие От Анализа Главных Компонент
+---
+
+# Факторный Анализ. Цели И Сущность. Постановка Задачи. Отличие От Анализа Главных Компонент
+
+## Цели И Сущность
+**<u>Факторный анализ</u>** - совокупность методов, направленных на выявление скрытых (латентных) переменных, называемых **факторами**, которые объясняют связи между наблюдаемыми признаками.
+- **<u>Сущность</u>** - предполагается, что корреляция между большим числом измеряемых характеристик обусловлена влиянием небольшого числа ненаблюдаемых факторов.
+- **Цели**:
+  - Сокращение размерности (переход к меньшему кол-ву признаков без существенной потери информации)
+  - Выявление структуры данных (определения скрытых взаимосвязей и группировка признаков)
+  - Интерпретация (присвоение выявленным факторам содержательного смысла)
+
+## Постановка Задачи
+В ФА каждый исходный признак $X_{i}$ представляется в виде линейной комбинации $m$ **общих** **факторов** и одного **характерного** (специфического) фактора.
+
+$$X_{i}=a_{i1}F_{1}+a_{i2}F_{2}+\dots+a_{im}F_{m}+d_{i}U_{i}$$
+Где:
+1) $X_{i}$ - $i$-ый исходный признак ($i=1,\dots,k$)
+2) $F_{j}$ - $j$-ый исходный фактор ($j=1,\dots,m$, причем, $m < k$)
+   Эти факторы влияют на все или несколько признаков.
+3) $a_{ij}$ - **факторная нагрузка**. (коэффициент корреляции между $i$-ым признаком и $j$-ым фактором)
+4) $U_{i}$ - характерный фактор, влияющий только на признак $X_{i}$ (ошибка измерения или уникальные свойства)
+5) $d_{i}$ - нагрузка характерного фактора.
+
+## Отличия ФА От МГК
+
+| Характеристика        | МГК                                                     | ФА                                                                                                  |
+| --------------------- | ------------------------------------------------------- | --------------------------------------------------------------------------------------------------- |
+| Логика модели         | Компоненты - это линейные комбинации признаков          | Признаки - это лин. комбинации факторов                                                             |
+| Цель                  | Максимизация объясненной общей дисперсии всех признаков | Объяснение **ковариации** между признаками                                                          |
+| Структура дисперсии   | Вся дисперсия признака считается полезной               | Дисперсия делится на **общность** (объясняемая общими факторами) и **характерность** (уникальность) |
+| Диагональ матрицы     | Полная корреляционная матрица (на диагонали единицы)    | Редуцированная матрица (на диагонали - оценки общностей)                                            |
+| Количество переменных | Кол-во компонент может быть равно количеству признаков  | Количество факторов всегда строго меньше количества признаков                                       |
+| Метод                 | Дедукция (от признаков к сумме)                         | Индукция (от скрытых причин к внешним проявлениям)                                                  |
@@ -0,0 +1,38 @@
+---
+status: stable
+type: concept
+tags:
+  - math
+  - ml
+  - mephi
+  - statistics
+  - factor-analysis
+created: 2026-02-13
+updated: 2026-05-07
+title: Факторный Анализ
+---
+
+# Факторный Анализ
+Факторный анализ (в широком смысле) представляет собой **совокупность моделей и методов**, ориентированных на **выявление, конструирование и анализ внутренних (скрытых, латентных) факторов** по информации об их "внешних" проявлениях.
+
+%% Begin Waypoint %%
+- [[Алгоритм оценки главных компонент]]
+- [[Алгоритм оценки главных факторов. Матрица индивидуальных значений ГФ]]
+- [[Вращение факторов]]
+- [[Матрица индивидуальных значений]]
+- [[Матрица нагрузок и её свойства]]
+- [[Метод главных факторов. Методы оценки общности]]
+- [[Определение первой и последующих компонент]]
+- [[Основные числовые характеристики главных компонент]]
+- [[Постановка задачи снижения размерности признакового пространства]]
+- [[Процедура построения первой и остальных главных компонент]]
+- [[Разложение дисперсии в факторном анализе. Разложение характерности в факторном анализе]]
+- [[Требования к факторам. Линейная модель факторного анализа]]
+- [[ФА - вращение]]
+- [[ФА - модель, цель, сущность]]
+- [[Факторное отображение. Факторная структура]]
+- [[Факторный анализ. Цели и сущность. Постановка задачи. Отличие от анализа главных компонент]]
+- [[Фундаментальная теорема факторного анализа]]
+- [[Этапы ФА. Выделение факторов]]
+
+%% End Waypoint %%
@@ -0,0 +1,26 @@
+---
+status: stable
+type: concept
+tags:
+  - math
+  - mephi
+  - statistics
+  - factor-analysis
+created: 2026-01-20
+updated: 2026-05-07
+title: Фундаментальная Теорема Факторного Анализа
+---
+
+# Фундаментальная Теорема Факторного Анализа
+## Суть
+Корреляционная матрица исходных признаков может быть **воспроизведена** через матрицу факторного отображения (матрицу нагрузок). Это значит, что все взаимосвязи между переменными полностью объясняются влиянием общих факторов.
+
+![[Pasted image 20260120213355.png]]
+## Формула
+$$R = A*A^{T} + D^{2}$$
+$D^{2}$ - диагональная матрица с характерностями на главной диагонали.
+
+## Редуцированная Корреляционная Матрица
+
+$$R_{h}=A*A^{T}$$
+$$R = R_{h}+D^{2}$$
@@ -0,0 +1,45 @@
+---
+status: seed
+type: concept
+tags:
+  - math
+  - mephi
+  - statistics
+  - factor-analysis
+created: 2026-01-20
+updated: 2026-05-07
+title: Этапы ФА. Выделение Факторов
+---
+
+# Этапы ФА. Выделение Факторов
+## Этапы Факторного Анализа
+![[Pasted image 20260120213958.png|600]]
+
+1) Стандартизация данных
+2) По $x$ вычисляем корреляционная матрица $R$.
+3) Проверка гипотезы о незначимости $R_{x}$
+4) Оценка общностей
+5) Выделение числа факторов (Критерий Кайзера, Лоули, график "Каменистой осыпи")
+6) Нахождение матрицы факторных нагрузок $A$ из $R=A*A^{T}$
+7) Вращение факторов (матрицы $A$) для получения наилучшей интерпретации
+8) Матрица индивидуальных значений $(F:U)$ и оценка значений факторов
+
+## Выделение Факторов
+Установление числа факторов и направления осей координат, соответствующих общим факторам.
+
+С вычислительной точки зрения: проблема факторов означает определение ранга матрицы $A$ и оценивание её элементов:
+1) Метод Главных Факторов
+2) Метод Максимального Правдоподобия
+
+---
+
+**<u>Матричное уравнение</u>** $R_{h}=AA^{T}$ имеет множество решений: любое ортогональное преобразование $B$, переводящее $A$ в $G$, т.е. $G=AB$, ему удовлетворяет:
+$$\implies A=GB^{T} \implies [B^{-1}=B^{T}] \implies R_{h}=GB^{T}(GB^{T})^{T} =$$ $$= GB^{T}BG^{T}=GEG^{T}=GG^{T}$$
+**<u>Требование</u>**: каждая следующая ось ориентированная по направлению $max$ дисперсии в пространстве, ортогональном предыдущей ГК.
+Матрица весовых коэффициентов составлена из СВ. корреляционной матрицы $R$.
+
+Матрица весовых коэффициентов составлена из СВ корреляционной матрицы $R$:
+$R_{h}U=U\lambda | * U^{-1}$ ($\lambda$ - матрица на диагоналях СЗ корреляционной матрицы)
+$R_{h}UU^{-1}=U\lambda U^{1}$
+$R_{h}=U\lambda U^{-1}=U\lambda U^{T} = U\lambda^\frac{1}{2}\lambda^{1/2}U^{T}=AA^{T}$, где $A=U\lambda^{1/2}$ 
+$A$ получаем, применяя МГК к $R_{n}$, и $A$ будет матрицей факторного отображения.