SecondBrain/01 Library/11 Machine Learning/Обратное распространение ошибки - вывод.md

status, type, tags, created, updated, title

status	type	tags	created	updated	title
seed	concept	machine-learning neural-networks backpropagation	2025-12-17	2026-05-02	Обратное распространение ошибки - вывод

Обратное распространение ошибки - вывод

Эта заметка фиксирует математический вывод градиента для алгоритма Обратное распространение ошибки. Общий контекст нейронных сетей находится в Нейронные сети.

Обозначения

[!note] Обозначения x_{j} — $j$-й вход
w_{ij}^{(1)} — вес от входа j к скрытому нейрону i
w_{li}^{(2)} — вес от скрытого нейрона i к выходу l
S_{i}^{(1)} — взвешенная сумма на входе нейрона i в первом слое
u_{i} — выход нейрона i первого слоя после активации
S_{l}^{(2)} — взвешенная сумма на входе нейрона l во втором слое
y_{l} — выход нейрона l второго слоя
d_{l} — истинное значение
F — функция активации

Прямой проход

\begin{align*}
S_{i}^{(1)} &= \sum\limits_{j=1}^{n}w_{ij}^{(1)}x_{j} \\
u_{i} &= F(S_{i}^{(1)}) \\
y_{l} &= F(S_{l}^{(2)}) \\
E &= \frac{1}{2}\sum\limits_{l=1}^{m}(y_{l}-d_{l})^{2}
\end{align*}

Обратный проход для выходного слоя

Для веса w_{li}^{(2)} используется правило цепочки:

\begin{align*}
\frac{dE}{dw_{li}^{(2)}} &=
\frac{dE}{dy_{l}}
\cdot
\frac{dy_{l}}{dS_{l}^{(2)}}
\cdot
\frac{dS_{l}^{(2)}}{dw_{li}^{(2)}}
\end{align*}

Компоненты производной:

\frac{dE}{dy_l}=y_l-d_l

\frac{dy_l}{dS_l^{(2)}}=F'(S_l^{(2)})

\frac{dS_l^{(2)}}{dw_{li}^{(2)}}=u_i

Итог:

\frac{dE}{dw_{li}^{(2)}}=(y_l-d_l)F'(S_l^{(2)})u_i

Связанные заметки

• Обратное распространение ошибки
• Нейронные сети