vault backup: 2026-05-14 19:51:51
This commit is contained in:
Dmitry
Vendored
+4
-4
@@ -259,6 +259,10 @@
|
||||
},
|
||||
"active": "85ff070f2dda5843",
|
||||
"lastOpenFiles": [
|
||||
"КР - Все темы.md.tmp.122479.370c365f038f",
|
||||
"КР - Все темы.md.tmp.122479.c53da0b5a00d",
|
||||
"КР - Все темы.md",
|
||||
"КР - Все темы.md.tmp.122479.04dde152a7a5",
|
||||
"AGENTS.md.tmp.121674.ccdc2d3659aa",
|
||||
"AGENTS.md.tmp.121674.b0be3c16a002",
|
||||
"99 System/Archive/МИАД_Л5_нейронки.pdf",
|
||||
@@ -274,7 +278,6 @@
|
||||
"00 Inbox/МИАД_Л5_нейронки.pdf",
|
||||
"00 Inbox/КР - Кохонен.md",
|
||||
"00 Inbox/КР - Персептрон.md",
|
||||
"00 Inbox/КР - Персептрон.md.tmp.115597.172acd5c5cae",
|
||||
"99 System/Cache/Drawing 2026-05-14 17.24.16.excalidraw.md",
|
||||
"99 System/Cache/Drawing 2026-05-14 17.10.42.excalidraw.md",
|
||||
"99 System/Cache/Drawing 2026-05-14 17.02.08.excalidraw.md",
|
||||
@@ -299,9 +302,6 @@
|
||||
"99 System/Cache/Pasted image 20260514120654.png",
|
||||
"99 System/Cache/Pasted image 20260514115340.png",
|
||||
"00 Inbox/Функционирование сети Хопфилда.md",
|
||||
"CLAUDE.md.tmp.34864.43ce999b6360",
|
||||
"AGENTS.md",
|
||||
"99 System/Cache/Recording 20260514000859.m4a",
|
||||
"99 System/Cache/Pasted image 20260512225511.png",
|
||||
"99 System/Cache/Pasted image 20260512225452.png",
|
||||
"99 System/Cache/Pasted image 20260508103431.png",
|
||||
|
||||
@@ -0,0 +1,172 @@
|
||||
# КР — Нейронные сети: все темы
|
||||
|
||||
---
|
||||
|
||||
## 1. Персептрон
|
||||
|
||||
### Схема персептрона
|
||||
|
||||
![[Pasted image 20260514152232.png|400]]
|
||||
|
||||
$$u_{i}=f\!\left(\sum_{j=0}^{n}w_{ij}^{(1)}x_{j}\right),\quad i=\overline{1,k}$$
|
||||
|
||||
$$y_{l}=f\!\left(\sum_{i=0}^{k}w_{li}^{(2)}u_{i}\right),\quad l=\overline{1,m}$$
|
||||
|
||||
$$y_{l}=f\!\left(\sum_{i=0}^{k}w_{li}^{(2)}f\!\left(\sum_{j=0}^{n}w_{ij}^{(1)}x_{j}\right)\right)$$
|
||||
|
||||
### Формальный нейрон
|
||||
|
||||
Нейрон состоит из трёх элементов: **умножителей** (синапсов), **сумматора** и **нелинейного преобразователя**.
|
||||
|
||||
![[Drawing 2026-05-14 15.06.37.excalidraw|500]]
|
||||
|
||||
$$y_{i}=\sum_{j=1}^{N}w_{ij}x_{j}$$
|
||||
|
||||
### Алгоритм обратного распространения ошибки (ОРО)
|
||||
|
||||
1. Прямой проход сети. Инициализация весов маленькими значениями.
|
||||
2. На последнем слое:
|
||||
$$\delta_{j}^{(N)}=(y_{j}-d_{j})\,y_{j}^{\prime};\qquad\Delta w_{ij}^{(N)}=-\eta\,\delta_{j}^{(N)}\,y_{i}^{(N-1)}$$
|
||||
3. При обратном распространении ($n<N$):
|
||||
$$\delta_{i}^{(n)}=y_{i}^{\prime(n)}\sum_{j}\delta_{j}^{(n+1)}w_{ij}^{(n+1)};\qquad\Delta w_{ij}^{(n)}=-\eta\,\delta_{j}^{(n)}\,y_{i}^{(n-1)}$$
|
||||
4. Меняем веса:
|
||||
$$w_{ij}^{(n)}(t+1)=w_{ij}^{(n)}(t)+\Delta w_{ij}^{(n)}(t)$$
|
||||
5. Останов, если исчерпаны эпохи или $\Delta E < \varepsilon$:
|
||||
$$E(w)=\frac{1}{2}\sum_{j}(y_{j}-d_{j})^{2}$$
|
||||
|
||||
### Задача прогнозирования
|
||||
|
||||
По скользящему окну: первые $k$ последовательных элементов → предсказать следующий.
|
||||
|
||||
Пример (окно 3):
|
||||
;;
|
||||
$$\begin{align}
|
||||
90\ 92\ 95\ &\to 98 \\
|
||||
92\ 95\ 98\ &\to 99 \\
|
||||
95\ 98\ 99\ &\to 100
|
||||
\end{align}$$
|
||||
|
||||
### Задача с одним нейроном
|
||||
|
||||
![[Drawing 2026-05-14 17.02.08.excalidraw]]
|
||||
|
||||
$$y_{j}^{\prime}=\delta\,(1-\delta)$$
|
||||
|
||||
$$w_{11}(t+1)=w_{11}^{(N)}+\Delta w_{11}^{(N)}(t)$$
|
||||
|
||||
$$\delta^{(N-1)}=y^{\prime}\cdot\bigl(\delta_{1}^{(N)}w_{11}^{(N)}+\delta_{2}^{(N)}w_{12}^{(N)}+\cdots+\delta_{5}^{(N)}w_{15}^{(N)}\bigr)$$
|
||||
|
||||
---
|
||||
|
||||
## 2. Сеть Кохонена
|
||||
|
||||
### Схема
|
||||
|
||||
![[Drawing 2026-05-14 17.10.42.excalidraw]]
|
||||
|
||||
Смысл $D_1,\dots,D_k$ — к какому кластеру принадлежит образец.
|
||||
|
||||
### Алгоритм
|
||||
|
||||
1. **Инициализация** весов случайными маленькими значениями.
|
||||
2. **Нормировка:**
|
||||
$$w_{ij}=\frac{w_{ij}}{\sqrt{\sum_{l=1}^{n}w_{lj}^{2}}},\qquad x_{i}=\frac{x_{i}}{\sqrt{\sum_{l=1}^{n}x_{l}^{2}}}$$
|
||||
3. **Выбор нейрона-победителя** по одному из критериев:
|
||||
$$S_{j}=\sum_{i=1}^{n}x_{i}w_{ij}=\|x\|\cdot\|w^{j}\|\cdot\cos\varphi\to\max$$
|
||||
$$D_{j}=\sqrt{\sum_{i=1}^{n}(x_{i}-w_{ij})^{2}}\to\min$$
|
||||
4. **Корректировка весов** только нейрона-победителя:
|
||||
$$w_{ij}(t+1)=w_{ij}(t)+\alpha\,(x_{i}-w_{ij}(t))$$
|
||||
5. **Останов** при стабилизации весов или достижении максимального числа эпох.
|
||||
|
||||
![[Drawing 2026-05-14 17.24.16.excalidraw]]
|
||||
|
||||
---
|
||||
|
||||
## 3. Сеть Хопфилда
|
||||
|
||||
### Назначение
|
||||
|
||||
Рекуррентная сеть ассоциативной памяти. Хранит эталонные бинарные образы и по искажённому входу восстанавливает ближайший эталон.
|
||||
|
||||
### Архитектура
|
||||
|
||||
- Один слой нейронов; каждый связан со всеми остальными.
|
||||
- Выходы возвращаются на входы (рекуррентность).
|
||||
- Связи нейрона с самим собой нет: $w_{ii}=0$.
|
||||
- Веса задаются один раз по эталонам.
|
||||
|
||||
$$X=(x_1,\dots,x_n),\quad x_i\in\{-1,1\}$$
|
||||
|
||||
### Инициализация весов
|
||||
|
||||
$$w_{ij}=\sum_{k=1}^{m}x_i^k x_j^k,\quad i\neq j;\qquad w_{ii}=0$$
|
||||
|
||||
Смысл: признаки, совпадающие по знаку в эталонах, усиливают связь; разные знаки — ослабляют.
|
||||
|
||||
### Алгоритм функционирования
|
||||
|
||||
1. Начальное состояние: $y_i(0)=x_i$.
|
||||
2. Пересчёт активации каждого нейрона:
|
||||
$$s_j(p+1)=\sum_{i=1}^{n}w_{ij}\,y_i(p)$$
|
||||
3. Применение пороговой функции:
|
||||
$$y_j(p+1)=f(s_j(p+1)),\qquad f(s)=\begin{cases}1,&s\ge 0\\-1,&s<0\end{cases}$$
|
||||
4. Повторять до стабилизации. Если успешно: $Y=X^k$.
|
||||
|
||||
### Ограничения
|
||||
|
||||
- Ёмкость: $m\approx 0.15\,n$.
|
||||
- Возможны ложные устойчивые состояния при схожих или многочисленных эталонах.
|
||||
|
||||
### Отличие от сети Хэмминга
|
||||
|
||||
| Сеть | Что выдаёт | Когда нужна |
|
||||
|---|---|---|
|
||||
| Хопфилда | восстановленный образ | нужно воспроизвести полный эталон |
|
||||
| Хэмминга | номер ближайшего эталона | нужно определить класс |
|
||||
|
||||
---
|
||||
|
||||
## 4. Сеть Хэмминга
|
||||
|
||||
### Назначение
|
||||
|
||||
Сеть ассоциативной памяти для классификации: определяет, какому из $m$ эталонов ближе входной образ (по расстоянию Хэмминга).
|
||||
|
||||
### Расстояние Хэмминга
|
||||
|
||||
Число позиций, в которых два бинарных вектора отличаются:
|
||||
|
||||
$$d_H(X,Y)=\sum_{i=1}^{n}[x_i\neq y_i]$$
|
||||
|
||||
Пример: $X=(1,0,1,1)$, $Y=(1,1,0,1)$ — отличаются 2 позиции, $d_H=2$.
|
||||
|
||||
### Архитектура
|
||||
|
||||
Два слоя, в каждом $m$ нейронов.
|
||||
|
||||
**Первый слой** — вычисляет близость входа к каждому эталону.
|
||||
|
||||
**Второй слой** — конкуренция (winner-takes-all):
|
||||
- Самосвязь: $+1$.
|
||||
- Связи между разными нейронами: $-\varepsilon$, где $0<\varepsilon<\dfrac{1}{m}$.
|
||||
|
||||
### Инициализация
|
||||
|
||||
Веса первого слоя и пороги:
|
||||
$$w_{ik}=\frac{x_i^k}{2},\qquad T_k=\frac{n}{2}$$
|
||||
|
||||
### Алгоритм функционирования
|
||||
|
||||
1. Вход: $X=\{x_i:i=0,\dots,n-1\}$.
|
||||
2. Первый слой:
|
||||
$$y_j^{(1)}=s_j^{(1)}=\sum_{i=1}^{n-1}w_{ij}x_i+T_j$$
|
||||
3. Передача во второй слой: $y_j^{(2)}=y_j^{(1)}$.
|
||||
4. Итерации второго слоя:
|
||||
$$s_j^{(2)}(p+1)=y_j^{(2)}(p)-\varepsilon\sum_{\substack{k=0\\k\neq j}}^{m-1}y_k^{(2)}(p)$$
|
||||
5. Пороговая функция и повтор до стабилизации.
|
||||
|
||||
В итоге активен один нейрон — его номер соответствует ближайшему эталону.
|
||||
|
||||
### Смысл второго слоя
|
||||
|
||||
Нейроны взаимно тормозят друг друга: чем сильнее активен один кандидат, тем сильнее он подавляет остальных. Побеждает нейрон с максимальной похожестью (минимальным $d_H$).
|
||||
Reference in New Issue
Block a user