SecondBrain/90 Library/11 Machine Learning/Сети Хопфилда и Хэмминга.md

status, type, tags, created, updated, title

status	type	tags	created	updated	title
seed	concept	machine-learning neural-networks associative-memory	2025-12-17	2026-05-14	Сети Хопфилда и Хэмминга

Сети Хопфилда и Хэмминга

Сети Хопфилда и Хэмминга - классические Нейронные сети, ориентированные на ассоциативную память и распознавание эталонных образов.

Их особенность в том, что весовые коэффициенты рассчитываются один раз перед началом функционирования сети. После задания весов они обычно не корректируются: сеть не обучается итеративно в привычном смысле, а хранит набор эталонов и сопоставляет с ними входной образ.

Задача

Пусть известен набор эталонных образов: изображений, звуков, бинарных векторов или других сигналов. Сеть должна по входному, возможно искажённому, сигналу:

• восстановить соответствующий эталонный образ;
• или указать номер наиболее близкого эталона;
• или показать, что подходящего эталона нет.

По смыслу такие сети удобны для задач ассоциативной памяти: входной образ работает как ключ, по которому сеть "вспоминает" ближайший сохранённый образ.

!Pasted image 20260508103342.png

Сеть Хопфилда

Сеть Хопфилда - однослойная рекуррентная сеть с обратными связями.

Основные свойства:

• каждый нейрон связан с другими нейронами;
• выходы нейронов возвращаются на входы сети;
• связь нейрона с самим собой обычно исключается;
• состояние сети постепенно сходится к одному из устойчивых состояний.

Инициализация сети задаёт начальные выходы нейронов. При функционировании сеть изменяет состояние до тех пор, пока не придёт к устойчивому образу. Если входной сигнал близок к одному из сохранённых эталонов, сеть восстанавливает этот эталон.

В результате сеть Хопфилда выдаёт не просто номер класса, а сам восстановленный образ.

Сеть Хэмминга

Сеть Хэмминга применяют, когда не нужно восстанавливать полный образ, а достаточно определить номер ближайшего эталона.

Идея сети - сравнить входной образ со всеми сохранёнными эталонами и выбрать тот, который находится ближе всего. Для бинарных образов это связано с Расстояние между объектами: количеством несовпадающих компонентов между двумя векторами.

Архитектура сети Хэмминга

Сеть Хэмминга обычно состоит из двух слоёв:

• первый слой вычисляет близость входного вектора к каждому эталону;
• второй слой реализует конкуренцию между эталонами.

Количество нейронов во втором слое равно количеству эталонных образов. Победить должен один нейрон - тот, который соответствует ближайшему эталону.

!Pasted image 20260508103431.png

Нейроны второго слоя связаны обратными ингибиторными связями:

• обратная связь нейрона с самим собой имеет вес 1;
• связи с остальными нейронами имеют вес -\varepsilon.

Параметр \varepsilon - небольшое положительное число:

0 < \varepsilon < \frac{1}{m}

где m - число эталонных образов.

Ингибиторные связи подавляют менее подходящие варианты. После нескольких итераций активным остаётся нейрон, соответствующий ближайшему эталону.

Отличие Хопфилда и Хэмминга

Сеть	Что выдаёт	Когда удобна
Хопфилда	восстановленный образ	когда нужно получить полный эталон
Хэмминга	номер ближайшего эталона	когда достаточно классифицировать вход

Обе сети относятся к моделям ассоциативной памяти, но решают задачу на разном уровне: сеть Хопфилда восстанавливает состояние, а сеть Хэмминга выбирает ближайший сохранённый образ.

Связанные заметки

• Нейронные сети
• Расстояние между объектами