|
|
|
@@ -0,0 +1,90 @@
|
|
|
|
|
---
|
|
|
|
|
status: seed
|
|
|
|
|
type: concept
|
|
|
|
|
tags:
|
|
|
|
|
- machine-learning
|
|
|
|
|
- neural-networks
|
|
|
|
|
- associative-memory
|
|
|
|
|
created: 2025-12-17
|
|
|
|
|
updated: 2026-05-14
|
|
|
|
|
title: Сети Хопфилда и Хэмминга
|
|
|
|
|
---
|
|
|
|
|
|
|
|
|
|
# Сети Хопфилда и Хэмминга
|
|
|
|
|
|
|
|
|
|
**Сети Хопфилда и Хэмминга** - классические [[Нейронные сети|нейронные сети]], ориентированные на ассоциативную память и распознавание эталонных образов.
|
|
|
|
|
|
|
|
|
|
Их особенность в том, что весовые коэффициенты рассчитываются один раз перед началом функционирования сети. После задания весов они обычно не корректируются: сеть не обучается итеративно в привычном смысле, а хранит набор эталонов и сопоставляет с ними входной образ.
|
|
|
|
|
|
|
|
|
|
## Задача
|
|
|
|
|
|
|
|
|
|
Пусть известен набор эталонных образов: изображений, звуков, бинарных векторов или других сигналов. Сеть должна по входному, возможно искажённому, сигналу:
|
|
|
|
|
|
|
|
|
|
- восстановить соответствующий эталонный образ;
|
|
|
|
|
- или указать номер наиболее близкого эталона;
|
|
|
|
|
- или показать, что подходящего эталона нет.
|
|
|
|
|
|
|
|
|
|
По смыслу такие сети удобны для задач ассоциативной памяти: входной образ работает как ключ, по которому сеть "вспоминает" ближайший сохранённый образ.
|
|
|
|
|
|
|
|
|
|
![[Pasted image 20260508103342.png|500]]
|
|
|
|
|
|
|
|
|
|
## Сеть Хопфилда
|
|
|
|
|
|
|
|
|
|
Сеть Хопфилда - однослойная рекуррентная сеть с обратными связями.
|
|
|
|
|
|
|
|
|
|
Основные свойства:
|
|
|
|
|
|
|
|
|
|
- каждый нейрон связан с другими нейронами;
|
|
|
|
|
- выходы нейронов возвращаются на входы сети;
|
|
|
|
|
- связь нейрона с самим собой обычно исключается;
|
|
|
|
|
- состояние сети постепенно сходится к одному из устойчивых состояний.
|
|
|
|
|
|
|
|
|
|
Инициализация сети задаёт начальные выходы нейронов. При функционировании сеть изменяет состояние до тех пор, пока не придёт к устойчивому образу. Если входной сигнал близок к одному из сохранённых эталонов, сеть восстанавливает этот эталон.
|
|
|
|
|
|
|
|
|
|
В результате сеть Хопфилда выдаёт не просто номер класса, а сам восстановленный образ.
|
|
|
|
|
|
|
|
|
|
## Сеть Хэмминга
|
|
|
|
|
|
|
|
|
|
Сеть Хэмминга применяют, когда не нужно восстанавливать полный образ, а достаточно определить номер ближайшего эталона.
|
|
|
|
|
|
|
|
|
|
Идея сети - сравнить входной образ со всеми сохранёнными эталонами и выбрать тот, который находится ближе всего. Для бинарных образов это связано с [[Расстояние между объектами|расстоянием Хэмминга]]: количеством несовпадающих компонентов между двумя векторами.
|
|
|
|
|
|
|
|
|
|
## Архитектура сети Хэмминга
|
|
|
|
|
|
|
|
|
|
Сеть Хэмминга обычно состоит из двух слоёв:
|
|
|
|
|
|
|
|
|
|
- **первый слой** вычисляет близость входного вектора к каждому эталону;
|
|
|
|
|
- **второй слой** реализует конкуренцию между эталонами.
|
|
|
|
|
|
|
|
|
|
Количество нейронов во втором слое равно количеству эталонных образов. Победить должен один нейрон - тот, который соответствует ближайшему эталону.
|
|
|
|
|
|
|
|
|
|
![[Pasted image 20260508103431.png|420]]
|
|
|
|
|
|
|
|
|
|
Нейроны второго слоя связаны обратными ингибиторными связями:
|
|
|
|
|
|
|
|
|
|
- обратная связь нейрона с самим собой имеет вес $1$;
|
|
|
|
|
- связи с остальными нейронами имеют вес $-\varepsilon$.
|
|
|
|
|
|
|
|
|
|
Параметр $\varepsilon$ - небольшое положительное число:
|
|
|
|
|
|
|
|
|
|
$$
|
|
|
|
|
0 < \varepsilon < \frac{1}{m}
|
|
|
|
|
$$
|
|
|
|
|
|
|
|
|
|
где $m$ - число эталонных образов.
|
|
|
|
|
|
|
|
|
|
Ингибиторные связи подавляют менее подходящие варианты. После нескольких итераций активным остаётся нейрон, соответствующий ближайшему эталону.
|
|
|
|
|
|
|
|
|
|
## Отличие Хопфилда и Хэмминга
|
|
|
|
|
|
|
|
|
|
| Сеть | Что выдаёт | Когда удобна |
|
|
|
|
|
|---|---|---|
|
|
|
|
|
| Хопфилда | восстановленный образ | когда нужно получить полный эталон |
|
|
|
|
|
| Хэмминга | номер ближайшего эталона | когда достаточно классифицировать вход |
|
|
|
|
|
|
|
|
|
|
Обе сети относятся к моделям ассоциативной памяти, но решают задачу на разном уровне: сеть Хопфилда восстанавливает состояние, а сеть Хэмминга выбирает ближайший сохранённый образ.
|
|
|
|
|
|
|
|
|
|
## Связанные заметки
|
|
|
|
|
|
|
|
|
|
- [[Нейронные сети]]
|
|
|
|
|
- [[Расстояние между объектами]]
|