Dmitry
2.5 KiB
2.5 KiB
status, type, tags, created, updated, title
| status | type | tags | created | updated | title |
|---|---|---|---|---|---|
| seed | concept | 2025-12-17 | 2026-04-17 |
Функция активации f
u_{i} = (\sum\limits_{i=0}^{n} w^{1}_{ij}*x_{j})
y_{l}=f(\sum\limits_{i=1}^{k}w_{li}^{2}u_{i})
y_{l}=f(\sum\limits_{i=0}^{k}w_{li}^{2}\ f(\sum\limits^{N}_{j=1}w_{ij}^{(1)}x_{j})),\ l=\overline{1,m}
Алгоритм обратного распространения ошибки
- итеративный градиентный алгоритм обучения, который используется с целью минимизации среднеквадратичного отклонения текущих от требуемых выходов многослойных нейронных сетей с последовательными связями.
- На каждом шаге алгоритма на вход сети поочередно подаются все обучающие примеры, реальные выходные значения сети сравниваются с требуемыми значениями, и вычисляется ошибка.
- Значение ошибки, а также градиента поверхности ошибок используется для корректировки весов, после чего все действия повторяются.
- Процесс обучения прекращается либо когда пройдено определенное количество шагов обучения, либо когда ошибка достигнет некоторого определенного малого уровня
Минимизация ошибки происходит методом градиентного спуска (итеративный метод приближения к точке минимума функции)
w_{ij}(t+1)=w_{ij}(t)-\alpha*\frac{\delta E(k)}{\delta w_{ij}(t)},$i=\overline{1,n},\ j=\overline{1,p}$Здесь w_{ij} - весовой коэффициент синаптической связи, соединяющий $i$-ый нейрон слоя n-1 с $j$-ым нейроном слоя n.
\alpha - коэффициент скорости обучения (0 < \alpha < 1)
E - среднеквадратичная ошибка сети для одного из p образов, определяемая по формуле: E=\frac{1}{2}\sum\limits_{l=1}^{m}(y_{l}-d_{l})^{2}
!Pasted image 20260417105754.png
!Pasted image 20260417105833.png