SecondBrain/01 Library/11 Machine Learning/Нейронные сети.md

status, type, tags, created, updated, title

status	type	tags	created	updated	title
processing	concept		2025-12-17	2026-05-07	Нейронные сети - ДВ

Нейронные сети - ДВ

Два основных направления исследование по ИИ:

1. Моделирование результатов естественного мышления
   • Важнее всего результат
   • Хорошее совпадение поведения Искусственно-созданных и естественных интеллектуальных систем
   • Внутренние механизмы не важны
2. Моделирование механизмов естественного мышления

В первой точке зрения рассматривается продукт интеллектуальной деятельности человека, изучается его структура и ставится цель воспроизвести этот продукт средствами современной техники (машинный интеллект). (Системы нечеткого вывода, экспертные системы, построенные по принципу баз знаний)

Во втором направлении рассматриваются данные о нейрофизиологических и психологических механизмах интеллектуальной деятельности и разумного поведения человека. Ставится цель воспроизвести эти механизмы с помощью тех или иных технических устройств. (Рассматривают принципы функционирования и попытки смоделировать эти принципы, например, нейронные сети)

!

Входные сигналы дендритного дерева взвешиваются и суммируются на пути к аксонам, где генерируется выходной импульс. Выходной сигнал передается (проходит) по ветвям аксона, достигает синапсов, которые соединяют аксоны с дендритами других нейронов.

Нейроны бывают:

1. Рецепторные - обеспечивают ввод в мозг сенсорной информации, поступающей от органов чувств;
2. Промежуточные - трансформируют сигналы, поступившие от рецепторов (рецепторных нейронов) и передают их эффекторным;
3. Эффекторные - отображают необходимое действие.

В 40-х годах прошлого столетия, человечество задумалось о возможности моделировать умственный процесс человека с помощью ЭВМ. В 1957 году появляется примитивная модель - Персептрон Розенблатта.

С 70-х годов началось бурное развитие этого направления.

Основной задачей стала задача распознавания образом (первичной - распознавание образов букв) Самой сложной задачей является задача классификации (например, задачей распознавания лиц)

Искусственный нейрон состоит из элементов тех типов:

• Умножители (синапсы)
• Сумматоры
• Нелинейные преобразователи

!

Функцию активации ещё часто называют блоком нелинейного преобразования !

При этом, к S может прибавляться некоторое смещение, называемое порогом срабатывания нейрона: S = \sum\limits_{i=1}^{n}\omega_{i}*x_{i}+b

Функцией активации нейрона, как правило, является сигмоида.

!

Для производной логистической функции верно следующее: f^{'}(x)=a*f(x)*(1-f(x)) Следовательно значение произвольной функции вычисляется через её значение. Если a=1, то это превращается в y^{'}=y*(1-y) ! В качестве активационной функции также часто используется гиперболический тангенс.

th(x)= \frac{sh(x)}{ch(x)}=\frac{e^{x}-e^{-x}}{e^{x}+e^{-x}}=\frac{e^{2x}-1}{e^{2x}+1}

Подобно логистической функции гиперболический тангенс является s-образной функцией, но он симметричен относительно начала координат, и в точке 0 значение выходного сигнала равно нулю.

Функция активации сети Хопфилда

y_{i} = \begin{cases} 1, \\ -1 \end{cases}

!

Бинарная функция: 1, если S больше порога 0, если S < порога (\theta)

Модели нейронных сетей

Персептрон

- Персептрон, или перцептрон (англ. perceptron от лат. perceptio — восприятие; нем. perzeptron) — математическая и компьютерная модель восприятия информации мозгом (кибернетическая модель мозга), предложенная Фрэнком Розенблаттом в 1957 году и реализованная в виде электронной машины "Марк-1" в 1960 году.

Любая нейронная сеть осуществляет некоторое нелинейное преобразование: Y=F(X)

Сущность нелинейного преобразования зависит от архитектуры сети и от характеристик самих нейронов (функции активации)

Нейронные сети в процессе функционирования осуществляется преобразование входного вектора X в элементами x_{1}, x_{2},\dots, x_{n} в выходной вектор Y с компонентами y_{1},\dots, y_{m} Конкретный вид, выполняемого сетью преобразования, зависит от архитектуры сети и от характеристик отдельных нейронов. Преимущество НС - обучаемость.

Внутри сети могут быть представлены в виде совокупности матриц весов. Суть обучения сводится к настройке весов (W), чтобы для заданног вектора X из обуч. выборки, чтобы на выходе получить наиболее близкий вектор Y.

Процесс обучения с учителем: X^{1} \to D^{1} \approx Y^{1} X^{2} \to D^{2} \vdots X^{p} \to D^{p}

Задача классификации, задача кластеризации и задача прогнозирования - решаются с помощью НС.

Персептрон - один слой искусственных нейронов.

Перспептрон решает задачу линейной разделимости: Разбиение гиперпространства гиперплоскостями.

Обучение нейронных сетей

Обучение сети с учителем сводится к настройке весов так, чтобы выход Y был близок к целевому ответу D. Для многослойных сетей основной алгоритм вычисления градиентов - Обратное распространение ошибки.

Если в качестве функции активации используется сигмоида, её производная выражается через уже вычисленное значение функции:

y'=y(1-y)

Это удобно для обратного прохода: при вычислении локальной ошибки нейрона не нужно заново считать сложную производную активации.