Dmitry
80 lines
2.2 KiB
Markdown
80 lines
2.2 KiB
Markdown
---
|
|
status: seed
|
|
type: concept
|
|
tags:
|
|
- machine-learning
|
|
- neural-networks
|
|
- backpropagation
|
|
created: 2025-12-17
|
|
updated: 2026-05-02
|
|
title: Обратное распространение ошибки - вывод
|
|
---
|
|
|
|
# Обратное распространение ошибки - вывод
|
|
|
|
Эта заметка фиксирует математический вывод градиента для алгоритма [[Обратное распространение ошибки]]. Общий контекст нейронных сетей находится в [[Нейронные сети]].
|
|
|
|
## Обозначения
|
|
|
|
> [!note] Обозначения
|
|
> $x_{j}$ — $j$-й вход
|
|
> $w_{ij}^{(1)}$ — вес от входа $j$ к скрытому нейрону $i$
|
|
> $w_{li}^{(2)}$ — вес от скрытого нейрона $i$ к выходу $l$
|
|
> $S_{i}^{(1)}$ — взвешенная сумма на входе нейрона $i$ в первом слое
|
|
> $u_{i}$ — выход нейрона $i$ первого слоя после активации
|
|
> $S_{l}^{(2)}$ — взвешенная сумма на входе нейрона $l$ во втором слое
|
|
> $y_{l}$ — выход нейрона $l$ второго слоя
|
|
> $d_{l}$ — истинное значение
|
|
> $F$ — функция активации
|
|
|
|
## Прямой проход
|
|
|
|
$$
|
|
\begin{align*}
|
|
S_{i}^{(1)} &= \sum\limits_{j=1}^{n}w_{ij}^{(1)}x_{j} \\
|
|
u_{i} &= F(S_{i}^{(1)}) \\
|
|
y_{l} &= F(S_{l}^{(2)}) \\
|
|
E &= \frac{1}{2}\sum\limits_{l=1}^{m}(y_{l}-d_{l})^{2}
|
|
\end{align*}
|
|
$$
|
|
|
|
## Обратный проход для выходного слоя
|
|
|
|
Для веса $w_{li}^{(2)}$ используется правило цепочки:
|
|
|
|
$$
|
|
\begin{align*}
|
|
\frac{dE}{dw_{li}^{(2)}} &=
|
|
\frac{dE}{dy_{l}}
|
|
\cdot
|
|
\frac{dy_{l}}{dS_{l}^{(2)}}
|
|
\cdot
|
|
\frac{dS_{l}^{(2)}}{dw_{li}^{(2)}}
|
|
\end{align*}
|
|
$$
|
|
|
|
Компоненты производной:
|
|
|
|
$$
|
|
\frac{dE}{dy_l}=y_l-d_l
|
|
$$
|
|
|
|
$$
|
|
\frac{dy_l}{dS_l^{(2)}}=F'(S_l^{(2)})
|
|
$$
|
|
|
|
$$
|
|
\frac{dS_l^{(2)}}{dw_{li}^{(2)}}=u_i
|
|
$$
|
|
|
|
Итог:
|
|
|
|
$$
|
|
\frac{dE}{dw_{li}^{(2)}}=(y_l-d_l)F'(S_l^{(2)})u_i
|
|
$$
|
|
|
|
## Связанные заметки
|
|
|
|
- [[Обратное распространение ошибки]]
|
|
- [[Нейронные сети]]
|