Dmitry
2.6 KiB
2.6 KiB
status, type, tags, created, updated, title
| status | type | tags | created | updated | title |
|---|---|---|---|---|---|
| seed | concept | 2025-12-17 | 2026-04-20 |
Функция активации
u_{i} = \left(\sum\limits_{i=0}^{n} w^{1}_{ij}*x_{j}\right)
y_{l}=f\left(\sum\limits_{i=1}^{k}w_{li}^{2}u_{i}\right)
y_{l}=f\left(\sum\limits_{i=0}^{k}w_{li}^{2} f\left(\sum\limits^{N}_{j=1}w_{ij}^{(1)}x_{j}\right)\right),\ l=\overline{1,m}
Алгоритм обратного распространения ошибки
- Итеративный градиентный алгоритм обучения, который используется с целью минимизации среднеквадратичного отклонения текущих от требуемых выходов многослойных нейронных сетей с последовательными связями.
- На каждом шаге алгоритма на вход сети поочередно подаются все обучающие примеры, реальные выходные значения сети сравниваются с требуемыми значениями, и вычисляется ошибка.
- Значение ошибки, а также градиента поверхности ошибок используется для корректировки весов, после чего все действия повторяются.
- Процесс обучения прекращается либо когда пройдено определенное количество шагов обучения, либо когда ошибка достигнет некоторого определенного малого уровня.
Минимизация ошибки происходит методом градиентного спуска (итеративный метод приближения к точке минимума функции)
w_{ij}(t+1)=w_{ij}(t)-\alpha*\frac{\delta E(k)}{\delta w_{ij}(t)},i=\overline{1,n},\ j=\overline{1,p}
Здесь w_{ij} - весовой коэффициент синаптической связи, соединяющий $i$-ый нейрон слоя n-1 с $j$-ым нейроном слоя n.
\alpha - коэффициент скорости обучения (0 < \alpha < 1)
E - среднеквадратичная ошибка сети для одного из p образов, определяемая по формуле:
E=\frac{1}{2}\sum\limits_{l=1}^{m}(y_{l}-d_{l})^{2}
!Pasted image 20260417105754.png
!Pasted image 20260417105833.png