vault backup: 2026-05-02 23:05:27

2026-05-02 23:05:28 +03:00
parent c7d9f6216e
commit c5e773353b
16 changed files with 531 additions and 19 deletions
@@ -0,0 +1,79 @@
+---
+status: seed
+type: concept
+tags:
+  - machine-learning
+  - neural-networks
+  - backpropagation
+created: 2025-12-17
+updated: 2026-05-02
+title: Обратное распространение ошибки - вывод
+---
+
+# Обратное распространение ошибки - вывод
+
+Эта заметка фиксирует математический вывод градиента для алгоритма [[Обратное распространение ошибки]]. Общий контекст нейронных сетей находится в [[Нейронные сети]].
+
+## Обозначения
+
+> [!note] Обозначения
+> $x_{j}$ — $j$-й вход  
+> $w_{ij}^{(1)}$ — вес от входа $j$ к скрытому нейрону $i$  
+> $w_{li}^{(2)}$ — вес от скрытого нейрона $i$ к выходу $l$  
+> $S_{i}^{(1)}$ — взвешенная сумма на входе нейрона $i$ в первом слое  
+> $u_{i}$ — выход нейрона $i$ первого слоя после активации  
+> $S_{l}^{(2)}$ — взвешенная сумма на входе нейрона $l$ во втором слое  
+> $y_{l}$ — выход нейрона $l$ второго слоя  
+> $d_{l}$ — истинное значение  
+> $F$ — функция активации
+
+## Прямой проход
+
+$$
+\begin{align*}
+S_{i}^{(1)} &= \sum\limits_{j=1}^{n}w_{ij}^{(1)}x_{j} \\
+u_{i} &= F(S_{i}^{(1)}) \\
+y_{l} &= F(S_{l}^{(2)}) \\
+E &= \frac{1}{2}\sum\limits_{l=1}^{m}(y_{l}-d_{l})^{2}
+\end{align*}
+$$
+
+## Обратный проход для выходного слоя
+
+Для веса $w_{li}^{(2)}$ используется правило цепочки:
+
+$$
+\begin{align*}
+\frac{dE}{dw_{li}^{(2)}} &=
+\frac{dE}{dy_{l}}
+\cdot
+\frac{dy_{l}}{dS_{l}^{(2)}}
+\cdot
+\frac{dS_{l}^{(2)}}{dw_{li}^{(2)}}
+\end{align*}
+$$
+
+Компоненты производной:
+
+$$
+\frac{dE}{dy_l}=y_l-d_l
+$$
+
+$$
+\frac{dy_l}{dS_l^{(2)}}=F'(S_l^{(2)})
+$$
+
+$$
+\frac{dS_l^{(2)}}{dw_{li}^{(2)}}=u_i
+$$
+
+Итог:
+
+$$
+\frac{dE}{dw_{li}^{(2)}}=(y_l-d_l)F'(S_l^{(2)})u_i
+$$
+
+## Связанные заметки
+
+- [[Обратное распространение ошибки]]
+- [[Нейронные сети]]