Dmitry
185 lines
5.6 KiB
Markdown
185 lines
5.6 KiB
Markdown
---
|
|
status: stable
|
|
type: concept
|
|
tags:
|
|
- machine-learning
|
|
- neural-networks
|
|
- backpropagation
|
|
- gradient-descent
|
|
created: 2025-12-17
|
|
updated: 2026-05-07
|
|
aliases:
|
|
- Backpropagation для многослойной нейронной сети
|
|
---
|
|
# Backpropagation для многослойной нейронной сети
|
|
|
|
Эта заметка обобщает [[Обратное распространение ошибки]] на [[Нейронные сети|нейронную сеть]] с произвольным числом слоёв. Подробный вывод для сети с одним скрытым слоем: [[Backpropagation для однослойного перцептрона]].
|
|
|
|
## Обозначения
|
|
|
|
Пусть сеть имеет $N$ слоёв с обучаемыми весами.
|
|
|
|
- $r$ - номер слоя, $r=1,\dots,N$;
|
|
- $i$ - номер нейрона в предыдущем слое;
|
|
- $j$ - номер нейрона в текущем слое;
|
|
- $y_i^{(r)}$ - выход нейрона $i$ слоя $r$;
|
|
- $s_j^{(r)}$ - взвешенная сумма на входе нейрона $j$ слоя $r$;
|
|
- $w_{ij}^{(r)}$ - вес от нейрона $i$ слоя $r-1$ к нейрону $j$ слоя $r$;
|
|
- $\delta_j^{(r)}$ - локальная ошибка нейрона $j$ слоя $r$;
|
|
- $\eta$ - скорость обучения (*learning rate*);
|
|
- $d_j$ - целевое значение для выходного нейрона $j$.
|
|
|
|
Для входного слоя можно считать:
|
|
|
|
$$
|
|
y_i^{(0)}=x_i
|
|
$$
|
|
|
|
## Шаг 1. Прямой проход
|
|
|
|
На вход сети подаётся один обучающий пример. Сигналы распространяются от входного слоя к выходному.
|
|
|
|
Для каждого слоя:
|
|
|
|
$$
|
|
s_j^{(r)}=\sum_i w_{ij}^{(r)}y_i^{(r-1)}
|
|
$$
|
|
|
|
$$
|
|
y_j^{(r)}=F(s_j^{(r)})
|
|
$$
|
|
|
|
На выходе получаем предсказание сети:
|
|
|
|
$$
|
|
y_j^{(N)}
|
|
$$
|
|
|
|
## Шаг 2. Локальная ошибка выходного слоя
|
|
|
|
Для квадратичной ошибки:
|
|
|
|
$$
|
|
E=\frac{1}{2}\sum_j(y_j^{(N)}-d_j)^2
|
|
$$
|
|
|
|
Локальная ошибка выходного слоя:
|
|
|
|
$$
|
|
\delta_j^{(N)}
|
|
=
|
|
(y_j^{(N)}-d_j)F'(s_j^{(N)})
|
|
$$
|
|
|
|
Если в конспекте уже используется запись $y_j'$, то это то же самое:
|
|
|
|
$$
|
|
y_j'=F'(s_j^{(N)})
|
|
$$
|
|
|
|
Тогда:
|
|
|
|
$$
|
|
\delta_j^{(N)}=(y_j^{(N)}-d_j)y_j'
|
|
$$
|
|
|
|
## Шаг 3. Локальная ошибка скрытых слоёв
|
|
|
|
Для всех скрытых слоёв ошибка считается справа налево:
|
|
|
|
$$
|
|
r=N-1,N-2,\dots,1
|
|
$$
|
|
|
|
Формула:
|
|
|
|
$$
|
|
\delta_i^{(r)}
|
|
=
|
|
F'(s_i^{(r)})
|
|
\sum_j
|
|
\delta_j^{(r+1)}w_{ij}^{(r+1)}
|
|
$$
|
|
|
|
Смысл: ошибка нейрона слоя $r$ складывается из ошибок следующего слоя, взвешенных весами связей, и умножается на производную активации текущего нейрона.
|
|
|
|
## Шаг 4. Градиенты по весам
|
|
|
|
Градиент веса слоя $r$:
|
|
|
|
$$
|
|
\frac{\partial E}{\partial w_{ij}^{(r)}}
|
|
=
|
|
\delta_j^{(r)}y_i^{(r-1)}
|
|
$$
|
|
|
|
То есть градиент веса равен локальной ошибке нейрона, в который входит вес, умноженной на выход предыдущего нейрона.
|
|
|
|
## Шаг 5. Изменение весов
|
|
|
|
Изменение веса:
|
|
|
|
$$
|
|
\Delta w_{ij}^{(r)}
|
|
=
|
|
-\eta\delta_j^{(r)}y_i^{(r-1)}
|
|
$$
|
|
|
|
Обновление веса:
|
|
|
|
$$
|
|
w_{ij}^{(r)}(t+1)
|
|
=
|
|
w_{ij}^{(r)}(t)
|
|
+
|
|
\Delta w_{ij}^{(r)}(t)
|
|
$$
|
|
|
|
Или сразу через градиентный спуск:
|
|
|
|
$$
|
|
w_{ij}^{(r)}(t+1)
|
|
=
|
|
w_{ij}^{(r)}(t)
|
|
-
|
|
\eta
|
|
\frac{\partial E}{\partial w_{ij}^{(r)}}
|
|
$$
|
|
|
|
## Шаг 6. Проверка сходимости
|
|
|
|
После обновления весов алгоритм повторяется для следующих обучающих примеров.
|
|
|
|
Типовые условия остановки:
|
|
|
|
- достигнут лимит эпох;
|
|
- ошибка стала меньше заданного порога;
|
|
- ошибка перестала заметно уменьшаться;
|
|
- норма градиента стала достаточно малой.
|
|
|
|
## Короткая схема
|
|
|
|
1. Прямой проход: посчитать все $s^{(r)}$ и $y^{(r)}$.
|
|
2. Посчитать $\delta^{(N)}$ для выходного слоя.
|
|
3. Для $r=N-1,\dots,1$ посчитать $\delta^{(r)}$.
|
|
4. Для каждого слоя найти $\frac{\partial E}{\partial w_{ij}^{(r)}}=\delta_j^{(r)}y_i^{(r-1)}$.
|
|
5. Обновить веса.
|
|
6. Повторять до остановки.
|
|
|
|
## Интерпретация
|
|
|
|
Ошибка течёт от выхода к входу. На каждом слое она:
|
|
|
|
- проходит назад через веса следующего слоя;
|
|
- суммируется по всем путям влияния;
|
|
- умножается на производную функции активации текущего нейрона.
|
|
|
|
Так для каждого слоя получается своя локальная ошибка $\delta^{(r)}$, а дальше градиент каждого веса считается локально: ошибка принимающего нейрона умножается на выход отправляющего нейрона.
|
|
|
|
## Связанные заметки
|
|
|
|
- [[Обратное распространение ошибки]]
|
|
- [[Backpropagation для однослойного перцептрона]]
|
|
- [[Нейронные сети]]
|
|
- [[Линейные модели]]
|