vault backup: 2026-05-14 11:09:10

90 Library/11 Machine Learning/Нейронные сети.md

@@ -165,6 +165,8 @@ $$
 
 Преимущество нейронных сетей - обучаемость. Веса сети можно представить как набор матриц. Суть обучения сводится к настройке этих весов так, чтобы для входного объекта $X$ сеть выдавала выход $Y$, близкий к правильному ответу $D$.
 
+Отдельный класс составляют сети ассоциативной памяти, например [[Сети Хопфилда и Хэмминга]]. В них веса могут задаваться один раз по эталонным образам, а дальнейшая работа сводится к восстановлению или выбору ближайшего сохранённого образа.
+
 ## Обучение с учителем
 
 Процесс обучения с учителем:
@@ -201,4 +203,5 @@ $$
 
 - [[Обратное распространение ошибки]]
 - [[Backpropagation для многослойной нейронной сети]]
+- [[Сети Хопфилда и Хэмминга]]
 - [[Линейные модели]]

90 Library/11 Machine Learning/Сети Хопфилда и Хэмминга.md

@@ -0,0 +1,90 @@
+---
+status: seed
+type: concept
+tags:
+  - machine-learning
+  - neural-networks
+  - associative-memory
+created: 2025-12-17
+updated: 2026-05-14
+title: Сети Хопфилда и Хэмминга
+---
+
+# Сети Хопфилда и Хэмминга
+
+**Сети Хопфилда и Хэмминга** - классические [[Нейронные сети|нейронные сети]], ориентированные на ассоциативную память и распознавание эталонных образов.
+
+Их особенность в том, что весовые коэффициенты рассчитываются один раз перед началом функционирования сети. После задания весов они обычно не корректируются: сеть не обучается итеративно в привычном смысле, а хранит набор эталонов и сопоставляет с ними входной образ.
+
+## Задача
+
+Пусть известен набор эталонных образов: изображений, звуков, бинарных векторов или других сигналов. Сеть должна по входному, возможно искажённому, сигналу:
+
+- восстановить соответствующий эталонный образ;
+- или указать номер наиболее близкого эталона;
+- или показать, что подходящего эталона нет.
+
+По смыслу такие сети удобны для задач ассоциативной памяти: входной образ работает как ключ, по которому сеть "вспоминает" ближайший сохранённый образ.
+
+![[Pasted image 20260508103342.png|500]]
+
+## Сеть Хопфилда
+
+Сеть Хопфилда - однослойная рекуррентная сеть с обратными связями.
+
+Основные свойства:
+
+- каждый нейрон связан с другими нейронами;
+- выходы нейронов возвращаются на входы сети;
+- связь нейрона с самим собой обычно исключается;
+- состояние сети постепенно сходится к одному из устойчивых состояний.
+
+Инициализация сети задаёт начальные выходы нейронов. При функционировании сеть изменяет состояние до тех пор, пока не придёт к устойчивому образу. Если входной сигнал близок к одному из сохранённых эталонов, сеть восстанавливает этот эталон.
+
+В результате сеть Хопфилда выдаёт не просто номер класса, а сам восстановленный образ.
+
+## Сеть Хэмминга
+
+Сеть Хэмминга применяют, когда не нужно восстанавливать полный образ, а достаточно определить номер ближайшего эталона.
+
+Идея сети - сравнить входной образ со всеми сохранёнными эталонами и выбрать тот, который находится ближе всего. Для бинарных образов это связано с [[Расстояние между объектами|расстоянием Хэмминга]]: количеством несовпадающих компонентов между двумя векторами.
+
+## Архитектура сети Хэмминга
+
+Сеть Хэмминга обычно состоит из двух слоёв:
+
+- **первый слой** вычисляет близость входного вектора к каждому эталону;
+- **второй слой** реализует конкуренцию между эталонами.
+
+Количество нейронов во втором слое равно количеству эталонных образов. Победить должен один нейрон - тот, который соответствует ближайшему эталону.
+
+![[Pasted image 20260508103431.png|420]]
+
+Нейроны второго слоя связаны обратными ингибиторными связями:
+
+- обратная связь нейрона с самим собой имеет вес $1$;
+- связи с остальными нейронами имеют вес $-\varepsilon$.
+
+Параметр $\varepsilon$ - небольшое положительное число:
+
+$$
+0 < \varepsilon < \frac{1}{m}
+$$
+
+где $m$ - число эталонных образов.
+
+Ингибиторные связи подавляют менее подходящие варианты. После нескольких итераций активным остаётся нейрон, соответствующий ближайшему эталону.
+
+## Отличие Хопфилда и Хэмминга
+
+| Сеть | Что выдаёт | Когда удобна |
+|---|---|---|
+| Хопфилда | восстановленный образ | когда нужно получить полный эталон |
+| Хэмминга | номер ближайшего эталона | когда достаточно классифицировать вход |
+
+Обе сети относятся к моделям ассоциативной памяти, но решают задачу на разном уровне: сеть Хопфилда восстанавливает состояние, а сеть Хэмминга выбирает ближайший сохранённый образ.
+
+## Связанные заметки
+
+- [[Нейронные сети]]
+- [[Расстояние между объектами]]