Dmitry
37 lines
1.6 KiB
Markdown
37 lines
1.6 KiB
Markdown
---
|
|
status: seed
|
|
type: concept
|
|
tags: []
|
|
created: 2025-12-17
|
|
updated: 2026-05-07
|
|
title: Обратное распространение ошибки - вывод
|
|
---
|
|
|
|
# Обратное распространение ошибки - вывод
|
|
|
|
> [!note] Обозначения
|
|
> $x_{j}$ - $j$-ый вход
|
|
> $w_{ij}^{(1)}$ - вес от входа $j$ к скрытому нейрону $i$
|
|
> $w_{li}^{(2)}$ - вес от скрытого нейрона $i$ к выходу $l$
|
|
> $S_{i}^{(1)}$ - взвешенная сумма на входе нейрона $i$ в слое *1*
|
|
> $u_{i}$ - выход нейрона $i$ слоя *1* (после активации)
|
|
> $S_{l}^{(2)}$ - взвешенная сумма на входе нейрона $l$ слоя *2*
|
|
> $y_{l}$ - выход нейрона $l$ слоя *2* (предсказание)
|
|
> $d_{l}$ - истинное значение
|
|
> $F$ - функция активации (напр. сигмоида)
|
|
|
|
## Прямой проход
|
|
$$\begin{align*}
|
|
&S_{i}^{(1)} = \sum\limits_{j=1}^{n}w_{ij}^{(1)}x_{j} \text{ - взвешенная сумма на первом слое}\\
|
|
&u_{i}=F(S_{i}^{(1)}) \\
|
|
&y_{l}=F(s_{l}^{(2)}) \\
|
|
&E = \frac{1}{2}*\sum\limits_{l=1}^{m}(y_{l}-d_{l})^{2}
|
|
\end{align*}$$
|
|
## Обратный проход (выходной слой)
|
|
*Цепное правило:*
|
|
$$\begin{align*}
|
|
\frac{dE}{dw_{li}^{(2)}}&=\frac{dE}{dy_{l}}* \frac{dy_{l}}{dS_{l}^{(2)}}*\frac{dS_{l}^{(2)}}{dw_{li}^{(2)}}\\
|
|
\end{align*}$$
|
|
Отдельно вычисляем каждую часть:
|
|
$$\frac{dE}{dy_{l}} = y_{l}-d_{l}$$
|