---
status: seed
type: concept
tags: []
created: 2025-12-17
updated: 2026-04-17
title:
---
## Функция активации $f$
$$u_{i} = (\sum\limits_{i=0}^{n} w^{1}_{ij}*x_{j})$$
$$y_{l}=f(\sum\limits_{i=1}^{k}w_{li}^{2}u_{i})$$
$$y_{l}=f(\sum\limits_{i=0}^{k}w_{li}^{2}\ f(\sum\limits^{N}_{j=1}w_{ij}^{(1)}x_{j})),\ l=\overline{1,m}$$
## Алгоритм обратного распространения ошибки
- итеративный градиентный алгоритм обучения, который используется с целью минимизации среднеквадратичного отклонения текущих от требуемых выходов многослойных нейронных сетей с последовательными связями.
- На каждом шаге алгоритма на вход сети поочередно подаются все обучающие примеры, реальные выходные значения сети сравниваются с требуемыми значениями, и вычисляется ошибка. 
- Значение ошибки, а также градиента поверхности ошибок используется для корректировки весов, после чего все действия повторяются.
- Процесс обучения прекращается либо когда пройдено определенное количество шагов обучения, либо когда ошибка достигнет некоторого определенного малого уровня

Минимизация ошибки происходит методом градиентного спуска (итеративный метод приближения к точке минимума функции)
$$w_{ij}(t+1)=w_{ij}(t)-\alpha*\frac{\delta E(k)}{\delta w_{ij}(t)},$$$$i=\overline{1,n},\ j=\overline{1,p}$$Здесь $w_{ij}$ - весовой коэффициент синаптической связи, соединяющий $i$-ый нейрон слоя $n-1$ с $j$-ым нейроном слоя $n$.

$\alpha$ - коэффициент скорости обучения ($0 < \alpha < 1$)
$E$ - среднеквадратичная ошибка сети для одного из $p$ образов, определяемая по формуле: $$E=\frac{1}{2}\sum\limits_{l=1}^{m}(y_{l}-d_{l})^{2}$$
![[Pasted image 20260417105754.png|536]]

![[Pasted image 20260417105833.png|540]]