Dmitry
29 lines
2.5 KiB
Markdown
29 lines
2.5 KiB
Markdown
---
|
|
status: seed
|
|
type: concept
|
|
tags: []
|
|
created: 2025-12-17
|
|
updated: 2026-04-17
|
|
title:
|
|
---
|
|
## Функция активации $f$
|
|
$$u_{i} = (\sum\limits_{i=0}^{n} w^{1}_{ij}*x_{j})$$
|
|
$$y_{l}=f(\sum\limits_{i=1}^{k}w_{li}^{2}u_{i})$$
|
|
$$y_{l}=f(\sum\limits_{i=0}^{k}w_{li}^{2}\ f(\sum\limits^{N}_{j=1}w_{ij}^{(1)}x_{j})),\ l=\overline{1,m}$$
|
|
## Алгоритм обратного распространения ошибки
|
|
- итеративный градиентный алгоритм обучения, который используется с целью минимизации среднеквадратичного отклонения текущих от требуемых выходов многослойных нейронных сетей с последовательными связями.
|
|
- На каждом шаге алгоритма на вход сети поочередно подаются все обучающие примеры, реальные выходные значения сети сравниваются с требуемыми значениями, и вычисляется ошибка.
|
|
- Значение ошибки, а также градиента поверхности ошибок используется для корректировки весов, после чего все действия повторяются.
|
|
- Процесс обучения прекращается либо когда пройдено определенное количество шагов обучения, либо когда ошибка достигнет некоторого определенного малого уровня
|
|
|
|
Минимизация ошибки происходит методом градиентного спуска (итеративный метод приближения к точке минимума функции)
|
|
$$w_{ij}(t+1)=w_{ij}(t)-\alpha*\frac{\delta E(k)}{\delta w_{ij}(t)},$$$$i=\overline{1,n},\ j=\overline{1,p}$$Здесь $w_{ij}$ - весовой коэффициент синаптической связи, соединяющий $i$-ый нейрон слоя $n-1$ с $j$-ым нейроном слоя $n$.
|
|
|
|
$\alpha$ - коэффициент скорости обучения ($0 < \alpha < 1$)
|
|
$E$ - среднеквадратичная ошибка сети для одного из $p$ образов, определяемая по формуле: $$E=\frac{1}{2}\sum\limits_{l=1}^{m}(y_{l}-d_{l})^{2}$$
|
|
![[Pasted image 20260417105754.png|536]]
|
|
|
|
![[Pasted image 20260417105833.png|540]]
|
|
|
|
|