vault backup: 2026-04-22 13:40:42
This commit is contained in:
Dmitry
@@ -1,105 +0,0 @@
|
||||
---
|
||||
status: processing
|
||||
type: concept
|
||||
tags: []
|
||||
created: 2025-12-17
|
||||
updated: 2026-04-13
|
||||
title: Нейронные сети - ДВ
|
||||
---
|
||||
|
||||
# Нейронные сети - ДВ
|
||||
Два основных направления исследование по ИИ:
|
||||
1) Моделирование результатов естественного мышления
|
||||
- Важнее всего результат
|
||||
- Хорошее совпадение поведения Искусственно-созданных и естественных интеллектуальных систем
|
||||
- Внутренние механизмы не важны
|
||||
1) Моделирование механизмов естественного мышления
|
||||
|
||||
*В первой точке зрения* рассматривается продукт интеллектуальной деятельности человека, изучается его структура и ставится цель воспроизвести этот продукт средствами современной техники (машинный интеллект).
|
||||
(Системы нечеткого вывода, экспертные системы, построенные по принципу **баз знаний**)
|
||||
|
||||
*Во втором* направлении рассматриваются данные о нейрофизиологических и психологических механизмах интеллектуальной деятельности и разумного поведения человека. Ставится цель воспроизвести эти механизмы с помощью тех или иных технических устройств.
|
||||
(Рассматривают принципы функционирования и попытки смоделировать эти принципы, например, *нейронные сети*)
|
||||
|
||||
![[Pasted image 20260410103922.png]]
|
||||
|
||||
Входные сигналы дендритного дерева взвешиваются и суммируются на пути к аксонам, где генерируется выходной импульс. Выходной сигнал передается (проходит) по ветвям аксона, достигает синапсов, которые соединяют аксоны с дендритами других нейронов.
|
||||
|
||||
Нейроны бывают:
|
||||
1) Рецепторные - обеспечивают ввод в мозг сенсорной информации, поступающей от органов чувств;
|
||||
2) Промежуточные - трансформируют сигналы, поступившие от рецепторов (рецепторных нейронов) и передают их эффекторным;
|
||||
3) Эффекторные - отображают необходимое действие.
|
||||
|
||||
В 40-х годах прошлого столетия, человечество задумалось о возможности моделировать умственный процесс человека с помощью ЭВМ.
|
||||
В 1957 году появляется примитивная модель - Персептрон Розенблатта.
|
||||
|
||||
С 70-х годов началось бурное развитие этого направления.
|
||||
|
||||
Основной задачей стала задача распознавания образом (первичной - распознавание образов букв)
|
||||
Самой сложной задачей является задача классификации (например, задачей распознавания лиц)
|
||||
|
||||
Искусственный нейрон состоит из элементов тех типов:
|
||||
- Умножители (синапсы)
|
||||
- Сумматоры
|
||||
- Нелинейные преобразователи
|
||||
|
||||
![[Pasted image 20260410105854.png]]
|
||||
|
||||
Функцию активации ещё часто называют блоком нелинейного преобразования
|
||||
![[Pasted image 20260410110002.png]]
|
||||
|
||||
При этом, к $S$ может прибавляться некоторое смещение, называемое *порогом срабатывания нейрона*: $S = \sum\limits_{i=1}^{n}\omega_{i}*x_{i}+b$
|
||||
|
||||
Функцией активации нейрона, как правило, является *сигмоида*.
|
||||
|
||||
![[Pasted image 20260410110555.png]]
|
||||
|
||||
Для производной логистической функции верно следующее:
|
||||
$f^{'}(x)=a*f(x)*(1-f(x))$
|
||||
Следовательно значение произвольной функции вычисляется через её значение.
|
||||
Если $a=1$, то это превращается в $y^{'}=y*(1-y)$
|
||||
![[Pasted image 20260413130714.png]]
|
||||
В качестве активационной функции также часто используется гиперболический тангенс.
|
||||
$$th(x)= \frac{sh(x)}{ch(x)}=\frac{e^{x}-e^{-x}}{e^{x}+e^{-x}}=\frac{e^{2x}-1}{e^{2x}+1}$$
|
||||
Подобно логистической функции гиперболический тангенс является s-образной функцией, но он симметричен относительно начала координат, и в точке 0 значение выходного сигнала равно нулю.
|
||||
|
||||
## Функция активации сети Хопфилда
|
||||
$$y_{i} = \begin{cases} 1, \\ -1 \end{cases}$$
|
||||
|
||||
![[Pasted image 20260413131243.png]]
|
||||
|
||||
Бинарная функция:
|
||||
1, если S больше порога
|
||||
0, если S < порога ($\theta$)
|
||||
|
||||
## Модели нейронных сетей
|
||||
### Персептрон
|
||||
\- *Персептрон*, или *перцептрон* (англ. perceptron от лат. perceptio — восприятие; нем. perzeptron) — математическая и компьютерная модель восприятия информации мозгом (кибернетическая модель мозга), предложенная Фрэнком Розенблаттом в 1957 году и реализованная в виде электронной машины "Марк-1" в 1960 году.
|
||||
|
||||
Любая нейронная сеть осуществляет некоторое нелинейное преобразование: $Y=F(X)$
|
||||
|
||||
Сущность нелинейного преобразования зависит от архитектуры сети и от характеристик самих нейронов (функции активации)
|
||||
|
||||
Нейронные сети в процессе функционирования осуществляется преобразование входного вектора $X$ в элементами $x_{1}, x_{2},\dots, x_{n}$ в выходной вектор $Y$ с компонентами $y_{1},\dots, y_{m}$
|
||||
Конкретный вид, выполняемого сетью преобразования, зависит от архитектуры сети и от характеристик отдельных нейронов.
|
||||
Преимущество НС - <u>обучаемость</u>.
|
||||
|
||||
Внутри сети могут быть представлены в виде совокупности матриц весов.
|
||||
Суть обучения сводится к настройке весов ($W$), чтобы для заданног вектора X из обуч. выборки, чтобы на выходе получить наиболее близкий вектор Y.
|
||||
|
||||
Процесс обучения с учителем:
|
||||
$X^{1} \to D^{1} \approx Y^{1}$
|
||||
$X^{2} \to D^{2}$
|
||||
$\vdots$
|
||||
$X^{p} \to D^{p}$
|
||||
|
||||
Задача классификации, задача кластеризации и задача прогнозирования - решаются с помощью НС.
|
||||
|
||||
Персептрон - *один* слой искусственных нейронов.
|
||||
|
||||
Перспептрон решает задачу линейной разделимости:
|
||||
Разбиение гиперпространства гиперплоскостями.
|
||||
|
||||
# Алгоритм обратного распространения ошибки
|
||||
|
||||
$y` = y*(1-y)$
|
||||
@@ -1,40 +0,0 @@
|
||||
---
|
||||
status: seed
|
||||
type: concept
|
||||
tags: []
|
||||
created: 2025-12-17
|
||||
updated: 2026-04-21
|
||||
title: Обратное распространение ошибки
|
||||
---
|
||||
|
||||
# Обратное распространение ошибки
|
||||
## Функция активации
|
||||
|
||||
$$u_{i} = \left(\sum\limits_{i=0}^{n} w^{1}_{ij}*x_{j}\right)$$
|
||||
|
||||
$$y_{l}=f\left(\sum\limits_{i=1}^{k}w_{li}^{2}u_{i}\right)$$
|
||||
|
||||
$$y_{l}=f\left(\sum\limits_{i=0}^{k}w_{li}^{2} f\left(\sum\limits^{N}_{j=1}w_{ij}^{(1)}x_{j}\right)\right),\ l=\overline{1,m}$$
|
||||
|
||||
## Алгоритм обратного распространения ошибки
|
||||
|
||||
- Итеративный градиентный алгоритм обучения, который используется с целью минимизации среднеквадратичного отклонения текущих от требуемых выходов многослойных нейронных сетей с последовательными связями.
|
||||
- На каждом шаге алгоритма на вход сети поочередно подаются все обучающие примеры, реальные выходные значения сети сравниваются с требуемыми значениями, и вычисляется ошибка.
|
||||
- Значение ошибки, а также градиента поверхности ошибок используется для корректировки весов, после чего все действия повторяются.
|
||||
- Процесс обучения прекращается либо когда пройдено определенное количество шагов обучения, либо когда ошибка достигнет некоторого определенного малого уровня.
|
||||
|
||||
Минимизация ошибки происходит методом градиентного спуска (итеративный метод приближения к точке минимума функции)
|
||||
|
||||
$$w_{ij}(t+1)=w_{ij}(t)-\alpha*\frac{\delta E(k)}{\delta w_{ij}(t)},$$$$i=\overline{1,n},\ j=\overline{1,p}$$
|
||||
|
||||
Здесь $w_{ij}$ - весовой коэффициент синаптической связи, соединяющий $i$-ый нейрон слоя $n-1$ с $j$-ым нейроном слоя $n$.
|
||||
|
||||
$\alpha$ - коэффициент скорости обучения ($0 < \alpha < 1$)
|
||||
|
||||
$E$ - среднеквадратичная ошибка сети для одного из $p$ образов, определяемая по формуле:
|
||||
|
||||
$$E=\frac{1}{2}\sum\limits_{l=1}^{m}(y_{l}-d_{l})^{2}$$
|
||||
|
||||
![[Pasted image 20260417105754.png|536]]
|
||||
|
||||
![[Pasted image 20260417105833.png|540]]
|
||||
Reference in New Issue
Block a user