vault backup: 2026-05-14 11:09:10

This commit is contained in:
Dmitry
2026-05-14 11:09:10 +03:00
parent 2bab78f3a7
commit 26d2861531
9 changed files with 137 additions and 14 deletions
@@ -14,6 +14,10 @@ title: Дискриминантный Анализ
%% Begin Waypoint %%
- [[Дискриминантный анализ (Conflicted copy ada-pc 202602021942)]]
- [[Параметрический дискриминантный анализ в случае нормального закона распределения классов]]
- [[Построение оптимальной процедуры классификации]]
- [[Принципы дискриминантного анализа]]
- [[Условие отнесения объекта к классу в случае двух признаков]]
- [[Функция потерь]]
%% End Waypoint %%
@@ -13,7 +13,11 @@ title: Теория Нечетких Множеств
# Теория Нечетких Множеств
%% Begin Waypoint %%
- [[Доказательство законов Де Моргана]]
- [[Коэффициенты функций принадлежности]]
- [[Логические операции над нечеткими множествами]]
- [[Определение нечеткого множества]]
- [[Функция принадлежности]]
%% End Waypoint %%
@@ -13,7 +13,8 @@ title: Router-on-a-Stick
# Router-on-a-Stick
%% Begin Waypoint %%
- [[Настройка коммутатора Cisco (Router-on-a-Stick)]]
- [[RoaS - Base]]
%% End Waypoint %%
@@ -165,6 +165,8 @@ $$
Преимущество нейронных сетей - обучаемость. Веса сети можно представить как набор матриц. Суть обучения сводится к настройке этих весов так, чтобы для входного объекта $X$ сеть выдавала выход $Y$, близкий к правильному ответу $D$.
Отдельный класс составляют сети ассоциативной памяти, например [[Сети Хопфилда и Хэмминга]]. В них веса могут задаваться один раз по эталонным образам, а дальнейшая работа сводится к восстановлению или выбору ближайшего сохранённого образа.
## Обучение с учителем
Процесс обучения с учителем:
@@ -201,4 +203,5 @@ $$
- [[Обратное распространение ошибки]]
- [[Backpropagation для многослойной нейронной сети]]
- [[Сети Хопфилда и Хэмминга]]
- [[Линейные модели]]
@@ -0,0 +1,90 @@
---
status: seed
type: concept
tags:
- machine-learning
- neural-networks
- associative-memory
created: 2025-12-17
updated: 2026-05-14
title: Сети Хопфилда и Хэмминга
---
# Сети Хопфилда и Хэмминга
**Сети Хопфилда и Хэмминга** - классические [[Нейронные сети|нейронные сети]], ориентированные на ассоциативную память и распознавание эталонных образов.
Их особенность в том, что весовые коэффициенты рассчитываются один раз перед началом функционирования сети. После задания весов они обычно не корректируются: сеть не обучается итеративно в привычном смысле, а хранит набор эталонов и сопоставляет с ними входной образ.
## Задача
Пусть известен набор эталонных образов: изображений, звуков, бинарных векторов или других сигналов. Сеть должна по входному, возможно искажённому, сигналу:
- восстановить соответствующий эталонный образ;
- или указать номер наиболее близкого эталона;
- или показать, что подходящего эталона нет.
По смыслу такие сети удобны для задач ассоциативной памяти: входной образ работает как ключ, по которому сеть "вспоминает" ближайший сохранённый образ.
![[Pasted image 20260508103342.png|500]]
## Сеть Хопфилда
Сеть Хопфилда - однослойная рекуррентная сеть с обратными связями.
Основные свойства:
- каждый нейрон связан с другими нейронами;
- выходы нейронов возвращаются на входы сети;
- связь нейрона с самим собой обычно исключается;
- состояние сети постепенно сходится к одному из устойчивых состояний.
Инициализация сети задаёт начальные выходы нейронов. При функционировании сеть изменяет состояние до тех пор, пока не придёт к устойчивому образу. Если входной сигнал близок к одному из сохранённых эталонов, сеть восстанавливает этот эталон.
В результате сеть Хопфилда выдаёт не просто номер класса, а сам восстановленный образ.
## Сеть Хэмминга
Сеть Хэмминга применяют, когда не нужно восстанавливать полный образ, а достаточно определить номер ближайшего эталона.
Идея сети - сравнить входной образ со всеми сохранёнными эталонами и выбрать тот, который находится ближе всего. Для бинарных образов это связано с [[Расстояние между объектами|расстоянием Хэмминга]]: количеством несовпадающих компонентов между двумя векторами.
## Архитектура сети Хэмминга
Сеть Хэмминга обычно состоит из двух слоёв:
- **первый слой** вычисляет близость входного вектора к каждому эталону;
- **второй слой** реализует конкуренцию между эталонами.
Количество нейронов во втором слое равно количеству эталонных образов. Победить должен один нейрон - тот, который соответствует ближайшему эталону.
![[Pasted image 20260508103431.png|420]]
Нейроны второго слоя связаны обратными ингибиторными связями:
- обратная связь нейрона с самим собой имеет вес $1$;
- связи с остальными нейронами имеют вес $-\varepsilon$.
Параметр $\varepsilon$ - небольшое положительное число:
$$
0 < \varepsilon < \frac{1}{m}
$$
где $m$ - число эталонных образов.
Ингибиторные связи подавляют менее подходящие варианты. После нескольких итераций активным остаётся нейрон, соответствующий ближайшему эталону.
## Отличие Хопфилда и Хэмминга
| Сеть | Что выдаёт | Когда удобна |
|---|---|---|
| Хопфилда | восстановленный образ | когда нужно получить полный эталон |
| Хэмминга | номер ближайшего эталона | когда достаточно классифицировать вход |
Обе сети относятся к моделям ассоциативной памяти, но решают задачу на разном уровне: сеть Хопфилда восстанавливает состояние, а сеть Хэмминга выбирает ближайший сохранённый образ.
## Связанные заметки
- [[Нейронные сети]]
- [[Расстояние между объектами]]