SecondBrain/00 Inbox/Обратное распространение ошибки - вывод.md

status, type, tags, created, updated, title

status	type	tags	created	updated	title
seed	concept		2025-12-17	2026-05-07	Обратное распространение ошибки - вывод

Обратное распространение ошибки - вывод

[!note] Обозначения x_{j} - $j$-ый вход w_{ij}^{(1)} - вес от входа j к скрытому нейрону i w_{li}^{(2)} - вес от скрытого нейрона i к выходу l S_{i}^{(1)} - взвешенная сумма на входе нейрона i в слое 1 u_{i} - выход нейрона i слоя 1 (после активации) S_{l}^{(2)} - взвешенная сумма на входе нейрона l слоя 2 y_{l} - выход нейрона l слоя 2 (предсказание) d_{l} - истинное значение F - функция активации (напр. сигмоида)

Прямой проход

$$\begin{align*} &S_{i}^{(1)} = \sum\limits_{j=1}^{n}w_{ij}^{(1)}x_{j} \text{ - взвешенная сумма на первом слое}\ &u_{i}=F(S_{i}^{(1)}) \ &y_{l}=F(s_{l}^{(2)}) \ &E = \frac{1}{2}\sum\limits_{l=1}^{m}(y_{l}-d_{l})^{2} \end{align}$$

Обратный проход (выходной слой)

Цепное правило: $$\begin{align*} \frac{dE}{dw_{li}^{(2)}}&=\frac{dE}{dy_{l}}* \frac{dy_{l}}{dS_{l}^{(2)}}\frac{dS_{l}^{(2)}}{dw_{li}^{(2)}}\ \end{align}$$ Отдельно вычисляем каждую часть:

\frac{dE}{dy_{l}} = y_{l}-d_{l}