Dmitry
105 lines
8.2 KiB
Markdown
105 lines
8.2 KiB
Markdown
---
|
|
status: processing
|
|
type: concept
|
|
tags: []
|
|
created: 2025-12-17
|
|
updated: 2026-04-13
|
|
title: Нейронные сети - ДВ
|
|
---
|
|
|
|
# Нейронные сети - ДВ
|
|
Два основных направления исследование по ИИ:
|
|
1) Моделирование результатов естественного мышления
|
|
- Важнее всего результат
|
|
- Хорошее совпадение поведения Искусственно-созданных и естественных интеллектуальных систем
|
|
- Внутренние механизмы не важны
|
|
1) Моделирование механизмов естественного мышления
|
|
|
|
*В первой точке зрения* рассматривается продукт интеллектуальной деятельности человека, изучается его структура и ставится цель воспроизвести этот продукт средствами современной техники (машинный интеллект).
|
|
(Системы нечеткого вывода, экспертные системы, построенные по принципу **баз знаний**)
|
|
|
|
*Во втором* направлении рассматриваются данные о нейрофизиологических и психологических механизмах интеллектуальной деятельности и разумного поведения человека. Ставится цель воспроизвести эти механизмы с помощью тех или иных технических устройств.
|
|
(Рассматривают принципы функционирования и попытки смоделировать эти принципы, например, *нейронные сети*)
|
|
|
|
![[Pasted image 20260410103922.png]]
|
|
|
|
Входные сигналы дендритного дерева взвешиваются и суммируются на пути к аксонам, где генерируется выходной импульс. Выходной сигнал передается (проходит) по ветвям аксона, достигает синапсов, которые соединяют аксоны с дендритами других нейронов.
|
|
|
|
Нейроны бывают:
|
|
1) Рецепторные - обеспечивают ввод в мозг сенсорной информации, поступающей от органов чувств;
|
|
2) Промежуточные - трансформируют сигналы, поступившие от рецепторов (рецепторных нейронов) и передают их эффекторным;
|
|
3) Эффекторные - отображают необходимое действие.
|
|
|
|
В 40-х годах прошлого столетия, человечество задумалось о возможности моделировать умственный процесс человека с помощью ЭВМ.
|
|
В 1957 году появляется примитивная модель - Персептрон Розенблатта.
|
|
|
|
С 70-х годов началось бурное развитие этого направления.
|
|
|
|
Основной задачей стала задача распознавания образом (первичной - распознавание образов букв)
|
|
Самой сложной задачей является задача классификации (например, задачей распознавания лиц)
|
|
|
|
Искусственный нейрон состоит из элементов тех типов:
|
|
- Умножители (синапсы)
|
|
- Сумматоры
|
|
- Нелинейные преобразователи
|
|
|
|
![[Pasted image 20260410105854.png]]
|
|
|
|
Функцию активации ещё часто называют блоком нелинейного преобразования
|
|
![[Pasted image 20260410110002.png]]
|
|
|
|
При этом, к $S$ может прибавляться некоторое смещение, называемое *порогом срабатывания нейрона*: $S = \sum\limits_{i=1}^{n}\omega_{i}*x_{i}+b$
|
|
|
|
Функцией активации нейрона, как правило, является *сигмоида*.
|
|
|
|
![[Pasted image 20260410110555.png]]
|
|
|
|
Для производной логистической функции верно следующее:
|
|
$f^{'}(x)=a*f(x)*(1-f(x))$
|
|
Следовательно значение произвольной функции вычисляется через её значение.
|
|
Если $a=1$, то это превращается в $y^{'}=y*(1-y)$
|
|
![[Pasted image 20260413130714.png]]
|
|
В качестве активационной функции также часто используется гиперболический тангенс.
|
|
$$th(x)= \frac{sh(x)}{ch(x)}=\frac{e^{x}-e^{-x}}{e^{x}+e^{-x}}=\frac{e^{2x}-1}{e^{2x}+1}$$
|
|
Подобно логистической функции гиперболический тангенс является s-образной функцией, но он симметричен относительно начала координат, и в точке 0 значение выходного сигнала равно нулю.
|
|
|
|
## Функция активации сети Хопфилда
|
|
$$y_{i} = \begin{cases} 1, \\ -1 \end{cases}$$
|
|
|
|
![[Pasted image 20260413131243.png]]
|
|
|
|
Бинарная функция:
|
|
1, если S больше порога
|
|
0, если S < порога ($\theta$)
|
|
|
|
## Модели нейронных сетей
|
|
### Персептрон
|
|
\- *Персептрон*, или *перцептрон* (англ. perceptron от лат. perceptio — восприятие; нем. perzeptron) — математическая и компьютерная модель восприятия информации мозгом (кибернетическая модель мозга), предложенная Фрэнком Розенблаттом в 1957 году и реализованная в виде электронной машины "Марк-1" в 1960 году.
|
|
|
|
Любая нейронная сеть осуществляет некоторое нелинейное преобразование: $Y=F(X)$
|
|
|
|
Сущность нелинейного преобразования зависит от архитектуры сети и от характеристик самих нейронов (функции активации)
|
|
|
|
Нейронные сети в процессе функционирования осуществляется преобразование входного вектора $X$ в элементами $x_{1}, x_{2},\dots, x_{n}$ в выходной вектор $Y$ с компонентами $y_{1},\dots, y_{m}$
|
|
Конкретный вид, выполняемого сетью преобразования, зависит от архитектуры сети и от характеристик отдельных нейронов.
|
|
Преимущество НС - <u>обучаемость</u>.
|
|
|
|
Внутри сети могут быть представлены в виде совокупности матриц весов.
|
|
Суть обучения сводится к настройке весов ($W$), чтобы для заданног вектора X из обуч. выборки, чтобы на выходе получить наиболее близкий вектор Y.
|
|
|
|
Процесс обучения с учителем:
|
|
$X^{1} \to D^{1} \approx Y^{1}$
|
|
$X^{2} \to D^{2}$
|
|
$\vdots$
|
|
$X^{p} \to D^{p}$
|
|
|
|
Задача классификации, задача кластеризации и задача прогнозирования - решаются с помощью НС.
|
|
|
|
Персептрон - *один* слой искусственных нейронов.
|
|
|
|
Перспептрон решает задачу линейной разделимости:
|
|
Разбиение гиперпространства гиперплоскостями.
|
|
|
|
# Алгоритм обратного распространения ошибки
|
|
|
|
$y` = y*(1-y)$ |