vault backup: 2026-05-14 21:16:55

2026-05-14 21:16:55 +03:00
parent ba16002dd7
commit 505f9f9792
1 changed files with 0 additions and 179 deletions
@@ -1,179 +0,0 @@
 ---
 created: 2026-05-14
 updated: 2026-05-14
 title: "КР — Нейронные сети: все темы"
 ---
 # КР — Нейронные сети: все темы
 ---
 ## 1. Персептрон
 ### Схема персептрона
 ![[Pasted image 20260514152232.png|400]]
 $$u_{i}=f\!\left(\sum_{j=0}^{n}w_{ij}^{(1)}x_{j}\right),\quad i=\overline{1,k}$$
 $$y_{l}=f\!\left(\sum_{i=0}^{k}w_{li}^{(2)}u_{i}\right),\quad l=\overline{1,m}$$
 $$y_{l}=f\!\left(\sum_{i=0}^{k}w_{li}^{(2)}f\!\left(\sum_{j=0}^{n}w_{ij}^{(1)}x_{j}\right)\right)$$
 ### Формальный нейрон
 Нейрон состоит из трёх элементов: **умножителей** (синапсов), **сумматора** и **нелинейного преобразователя**.
 ![[Drawing 2026-05-14 15.06.37.excalidraw|500]]
 $$y_{i}=\sum_{j=1}^{N}w_{ij}x_{j}$$
 ### Алгоритм обратного распространения ошибки (ОРО)
 1. Прямой проход сети. Инициализация весов маленькими значениями.
 2. На последнем слое:
   $$\delta_{j}^{(N)}=(y_{j}-d_{j})\,y_{j}^{\prime};\qquad\Delta w_{ij}^{(N)}=-\eta\,\delta_{j}^{(N)}\,y_{i}^{(N-1)}$$
 3. При обратном распространении ($n<N$):
   $$\delta_{i}^{(n)}=y_{i}^{\prime(n)}\sum_{j}\delta_{j}^{(n+1)}w_{ij}^{(n+1)};\qquad\Delta w_{ij}^{(n)}=-\eta\,\delta_{j}^{(n)}\,y_{i}^{(n-1)}$$
 4. Меняем веса:
   $$w_{ij}^{(n)}(t+1)=w_{ij}^{(n)}(t)+\Delta w_{ij}^{(n)}(t)$$
 5. Останов, если исчерпаны эпохи или $\Delta E < \varepsilon$:
   $$E(w)=\frac{1}{2}\sum_{j}(y_{j}-d_{j})^{2}$$
 ### Задача прогнозирования
 По скользящему окну: первые $k$ последовательных элементов → предсказать следующий.
 Пример (окно 3):
 $90\ 92\ 95\ 98\ 99\ 100$
 $$\begin{align}
 90\ 92\ 95\ &\to 98 \\
 92\ 95\ 98\ &\to 99 \\
 95\ 98\ 99\ &\to 100
 \end{align}$$
 ### Задача с одним нейроном
 ![[Drawing 2026-05-14 17.02.08.excalidraw]]
 $$y_{j}^{\prime}=\delta\,(1-\delta)$$
 $$w_{11}(t+1)=w_{11}^{(N)}+\Delta w_{11}^{(N)}(t)$$
 $$\delta^{(N-1)}=y^{\prime}\cdot\bigl(\delta_{1}^{(N)}w_{11}^{(N)}+\delta_{2}^{(N)}w_{12}^{(N)}+\cdots+\delta_{5}^{(N)}w_{15}^{(N)}\bigr)$$
 ---
 ## 2. Сеть Кохонена
 ### Схема
 ![[Drawing 2026-05-14 17.10.42.excalidraw]]
 Смысл $D_1,\dots,D_k$ — к какому кластеру принадлежит образец.
 ### Алгоритм
 1. **Инициализация** весов случайными маленькими значениями.
 2. **Нормировка:**
   $$w_{ij}=\frac{w_{ij}}{\sqrt{\sum_{l=1}^{n}w_{lj}^{2}}},\qquad x_{i}=\frac{x_{i}}{\sqrt{\sum_{l=1}^{n}x_{l}^{2}}}$$
 3. **Выбор нейрона-победителя** по одному из критериев:
   $$S_{j}=\sum_{i=1}^{n}x_{i}w_{ij}=\|x\|\cdot\|w^{j}\|\cdot\cos\varphi\to\max$$
   $$D_{j}=\sqrt{\sum_{i=1}^{n}(x_{i}-w_{ij})^{2}}\to\min$$
 4. **Корректировка весов** только нейрона-победителя:
   $$w_{ij}(t+1)=w_{ij}(t)+\alpha\,(x_{i}-w_{ij}(t))$$
 5. **Останов** при стабилизации весов или достижении максимального числа эпох.
 ### Рисунок Кохонен
 ![[Drawing 2026-05-14 17.24.16.excalidraw]]
 ---
 ## 3. Сеть Хопфилда
 ### Назначение
 Рекуррентная сеть ассоциативной памяти. Хранит эталонные бинарные образы и по искажённому входу восстанавливает ближайший эталон.
 ### Архитектура
 - Один слой нейронов; каждый связан со всеми остальными.
 - Выходы возвращаются на входы (рекуррентность).
 - Связи нейрона с самим собой нет: $w_{ii}=0$.
 - Веса задаются один раз по эталонам.
 $$X=(x_1,\dots,x_n),\quad x_i\in\{-1,1\}$$
 ### Инициализация весов
 $$w_{ij}=\sum_{k=1}^{m}x_i^k x_j^k,\quad i\neq j;\qquad w_{ii}=0$$
 Смысл: признаки, совпадающие по знаку в эталонах, усиливают связь; разные знаки — ослабляют.
 ### Алгоритм функционирования
 1. Начальное состояние: $y_i(0)=x_i$.
 2. Пересчёт активации каждого нейрона:
   $$s_j(p+1)=\sum_{i=1}^{n}w_{ij}\,y_i(p)$$
 3. Применение пороговой функции:
   $$y_j(p+1)=f(s_j(p+1)),\qquad f(s)=\begin{cases}1,&s\ge 0\\-1,&s<0\end{cases}$$
 4. Повторять до стабилизации. Если успешно: $Y=X^k$.
 ### Ограничения
 - Ёмкость: $m\approx 0.15\,n$.
 - Возможны ложные устойчивые состояния при схожих или многочисленных эталонах.
 ### Отличие от сети Хэмминга
 | Сеть | Что выдаёт | Когда нужна |
 |---|---|---|
 | Хопфилда | восстановленный образ | нужно воспроизвести полный эталон |
 | Хэмминга | номер ближайшего эталона | нужно определить класс |
 ---
 ## 4. Сеть Хэмминга
 ### Назначение
 Сеть ассоциативной памяти для классификации: определяет, какому из $m$ эталонов ближе входной образ (по расстоянию Хэмминга).
 ### Расстояние Хэмминга
 Число позиций, в которых два бинарных вектора отличаются:
 $$d_H(X,Y)=\sum_{i=1}^{n}[x_i\neq y_i]$$
 Пример: $X=(1,0,1,1)$, $Y=(1,1,0,1)$ — отличаются 2 позиции, $d_H=2$.
 ### Архитектура
 Два слоя, в каждом $m$ нейронов.
 **Первый слой** — вычисляет близость входа к каждому эталону.
 **Второй слой** — конкуренция (winner-takes-all):
 - Самосвязь: $+1$.
 - Связи между разными нейронами: $-\varepsilon$, где $0<\varepsilon<\dfrac{1}{m}$.
 ### Инициализация
 Веса первого слоя и пороги:
 $$w_{ik}=\frac{x_i^k}{2},\qquad T_k=\frac{n}{2}$$
 ### Алгоритм функционирования
 1. Вход: $X=\{x_i:i=0,\dots,n-1\}$.
 2. Первый слой:
   $$y_j^{(1)}=s_j^{(1)}=\sum_{i=1}^{n-1}w_{ij}x_i+T_j$$
 3. Передача во второй слой: $y_j^{(2)}=y_j^{(1)}$.
 4. Итерации второго слоя:
   $$s_j^{(2)}(p+1)=y_j^{(2)}(p)-\varepsilon\sum_{\substack{k=0\\k\neq j}}^{m-1}y_k^{(2)}(p)$$
 5. Пороговая функция и повтор до стабилизации.
 В итоге активен один нейрон — его номер соответствует ближайшему эталону.
 ### Смысл второго слоя
 Нейроны взаимно тормозят друг друга: чем сильнее активен один кандидат, тем сильнее он подавляет остальных. Побеждает нейрон с максимальной похожестью (минимальным $d_H$).