Dmitry
66 lines
3.8 KiB
Markdown
66 lines
3.8 KiB
Markdown
---
|
|
status: seed
|
|
type: concept
|
|
tags:
|
|
- machine-learning
|
|
- neural-networks
|
|
- unsupervised-learning
|
|
- hebb
|
|
created: 2026-05-14
|
|
updated: 2026-05-14
|
|
aliases:
|
|
- Обучение без учителя. Алгоритм Хебба
|
|
---
|
|
# Обучение без учителя. Алгоритм Хебба
|
|
|
|
Обучение без учителя — режим, при котором [[Нейронные сети|нейронной сети]] не предъявляют желаемых выходных сигналов. Сеть сама формирует выходы, а веса изменяются по алгоритму, учитывающему только входные сигналы и текущее состояние нейронов.
|
|
|
|
Подстройка весов при обучении без учителя опирается исключительно на информацию, доступную внутри нейрона: его текущее состояние и уже имеющиеся весовые коэффициенты.
|
|
|
|
## Сигнальный метод Хебба
|
|
|
|
Правило обновления весов:
|
|
|
|
$$
|
|
w_{ij}(t) = w_{ij}(t-1) + \alpha \cdot y_i^{(n-1)} \cdot y_j^{(n)}
|
|
$$
|
|
|
|
где:
|
|
- $y_i^{(n-1)}$ — выходное значение нейрона $i$ слоя $(n-1)$;
|
|
- $y_j^{(n)}$ — выходное значение нейрона $j$ слоя $n$;
|
|
- $\alpha$ — скорость обучения;
|
|
- $w_{ij}(t)$, $w_{ij}(t-1)$ — вес синапса на итерациях $t$ и $t-1$.
|
|
|
|
Смысл: если оба нейрона активны одновременно, синаптическая связь между ними усиливается.
|
|
|
|
## Дифференциальный метод Хебба
|
|
|
|
Правило обновления весов:
|
|
|
|
$$
|
|
w_{ij}(t) = w_{ij}(t-1) + \alpha \cdot \bigl[y_i^{(n-1)}(t) -$$
|
|
$$- y_i^{(n-1)}(t-1)\bigr] \cdot \bigl[y_j^{(n)}(t) - y_j^{(n)}(t-1)\bigr]
|
|
$$
|
|
|
|
Сильнее обучаются синапсы, соединяющие те нейроны, выходы которых наиболее динамично изменились в сторону увеличения.
|
|
|
|
## Алгоритм обучения
|
|
|
|
1. Инициализировать все веса небольшими случайными значениями.
|
|
2. Подать входной образ; распространить сигналы по сети согласно принципам прямопоточных (*feedforward*) сетей — вычислить взвешенную сумму для каждого нейрона и применить функцию активации.
|
|
3. По формуле (1) или (2) скорректировать веса.
|
|
4. Повторять с шага 2, пока выходные значения сети не стабилизируются с заданной точностью.
|
|
|
|
Критерий остановки отличается от обратного распространения: не минимизация ошибки, а стабилизация выходов, поскольку целевые значения неизвестны.
|
|
|
|
## Применение
|
|
|
|
Обучение по Хеббу используется в сетях, где нет явного учителя, в частности в [[Нейронная сеть Кохонена|сети Кохонена]]. Там нейрон-победитель обновляет свои веса, притягивая их к входному образу, — это вариант сигнального метода.
|
|
|
|
## Связанные заметки
|
|
|
|
- [[Нейронные сети]]
|
|
- [[Нейронная сеть Кохонена]]
|
|
- [[Алгоритм обучения сети Кохонена]]
|
|
- [[Обратное распространение ошибки]]
|