vault backup: 2026-05-14 10:49:10

90 Library/11 Machine Learning/Нейронные сети.md

@@ -0,0 +1,204 @@
+---
+status: processing
+type: concept
+tags:
+  - machine-learning
+  - neural-networks
+created: 2025-12-17
+updated: 2026-05-07
+title: Нейронные сети
+---
+
+# Нейронные сети
+
+Нейронные сети - модели машинного обучения, вдохновлённые принципами работы биологических нейронов. Их основа - набор связанных искусственных нейронов, которые преобразуют входной вектор $X$ в выходной вектор $Y$.
+
+## Два направления в ИИ
+
+В исследованиях искусственного интеллекта можно выделить два направления:
+
+1. **Моделирование результатов естественного мышления**
+   - важен результат;
+   - внутренние механизмы не обязательны;
+   - цель - получить поведение, похожее на поведение естественных интеллектуальных систем.
+
+   Примеры: системы нечёткого вывода, экспертные системы, построенные по принципу баз знаний.
+
+2. **Моделирование механизмов естественного мышления**
+   - важны нейрофизиологические и психологические механизмы;
+   - цель - воспроизвести эти механизмы техническими средствами.
+
+   Нейронные сети относятся ко второму направлению.
+
+## Биологический нейрон
+
+![[Pasted image 20260410103922.png]]
+
+Входные сигналы дендритного дерева взвешиваются и суммируются на пути к аксону, где генерируется выходной импульс. Выходной сигнал проходит по ветвям аксона и достигает синапсов, соединяющих аксоны с дендритами других нейронов.
+
+Типы нейронов:
+
+1. **Рецепторные** - вводят в мозг сенсорную информацию от органов чувств.
+2. **Промежуточные** - трансформируют сигналы от рецепторных нейронов и передают их дальше.
+3. **Эффекторные** - формируют необходимое действие.
+
+В 1957 году Фрэнк Розенблатт предложил модель персептрона. С 1970-х годов нейросетевое направление начало активно развиваться.
+
+Одна из классических задач нейронных сетей - распознавание образов: букв, лиц, объектов и т.д.
+
+## Искусственный нейрон
+
+Искусственный нейрон состоит из трёх основных элементов:
+
+- умножители, или синапсы;
+- сумматор;
+- нелинейный преобразователь, или функция активации.
+
+![[Pasted image 20260410105854.png]]
+
+Функцию активации часто называют блоком нелинейного преобразования.
+
+![[Pasted image 20260410110002.png]]
+
+Взвешенная сумма входов:
+
+$$
+S=\sum\limits_{i=1}^{n}\omega_i x_i+b
+$$
+
+где:
+- $x_i$ - входной сигнал;
+- $\omega_i$ - вес входа;
+- $b$ - смещение (*bias*).
+
+Смещение можно интерпретировать как порог срабатывания нейрона.
+
+## Функции активации
+
+Функция активации добавляет нелинейность. Без неё многослойная сеть сводилась бы к одному линейному преобразованию, а значит не могла бы эффективно моделировать сложные зависимости.
+
+### Сигмоида
+
+Функцией активации нейрона часто является сигмоида.
+
+![[Pasted image 20260410110555.png]]
+
+Для логистической функции:
+
+$$
+f'(x)=a f(x)(1-f(x))
+$$
+
+Если $a=1$, то:
+
+$$
+y'=y(1-y)
+$$
+
+То есть производную можно вычислить через уже полученное значение функции. Это удобно для [[Обратное распространение ошибки|обратного распространения ошибки]].
+
+![[Pasted image 20260413130714.png]]
+
+### Гиперболический тангенс
+
+В качестве функции активации также используется гиперболический тангенс:
+
+$$
+\operatorname{th}(x)
+=
+\frac{\operatorname{sh}(x)}{\operatorname{ch}(x)}
+=
+\frac{e^x-e^{-x}}{e^x+e^{-x}}
+=
+\frac{e^{2x}-1}{e^{2x}+1}
+$$
+
+Как и логистическая функция, гиперболический тангенс является S-образной функцией, но он симметричен относительно начала координат. В точке $0$ его значение равно $0$.
+
+### Бинарная функция
+
+Для сети Хопфилда может использоваться бинарная функция активации:
+
+$$
+y_i =
+\begin{cases}
+1, \\
+-1
+\end{cases}
+$$
+
+![[Pasted image 20260413131243.png]]
+
+В другом варианте бинарная функция возвращает:
+
+$$
+y =
+\begin{cases}
+1, & S \ge \theta \\
+0, & S < \theta
+\end{cases}
+$$
+
+где $\theta$ - порог.
+
+## Модели нейронных сетей
+
+Любая нейронная сеть выполняет нелинейное преобразование:
+
+$$
+Y=F(X)
+$$
+
+Сеть преобразует входной вектор:
+
+$$
+X=(x_1,x_2,\dots,x_n)
+$$
+
+в выходной вектор:
+
+$$
+Y=(y_1,y_2,\dots,y_m)
+$$
+
+Конкретный вид преобразования зависит от архитектуры сети, весов и функций активации.
+
+Преимущество нейронных сетей - обучаемость. Веса сети можно представить как набор матриц. Суть обучения сводится к настройке этих весов так, чтобы для входного объекта $X$ сеть выдавала выход $Y$, близкий к правильному ответу $D$.
+
+## Обучение с учителем
+
+Процесс обучения с учителем:
+
+$$
+X^{(1)} \rightarrow D^{(1)} \approx Y^{(1)}
+$$
+
+$$
+X^{(2)} \rightarrow D^{(2)} \approx Y^{(2)}
+$$
+
+$$
+\vdots
+$$
+
+$$
+X^{(p)} \rightarrow D^{(p)} \approx Y^{(p)}
+$$
+
+Нейронные сети применяются для задач классификации, прогнозирования, распознавания образов и других задач приближения сложных функций.
+
+Для многослойных сетей основной алгоритм вычисления градиентов - [[Обратное распространение ошибки]]. Для сети с произвольным числом слоёв схема вынесена в [[Backpropagation для многослойной нейронной сети]].
+
+## Персептрон
+
+**Персептрон**, или **перцептрон**, - математическая модель восприятия информации, предложенная Фрэнком Розенблаттом в 1957 году и реализованная в машине «Марк-1» в 1960 году.
+
+Персептрон - один слой искусственных нейронов. Он решает задачу линейной разделимости: разделяет пространство признаков гиперплоскостью.
+
+По смыслу это близко к [[Линейные модели|линейным моделям]], потому что решение строится через линейную комбинацию входных признаков и весов.
+
+## Связанные заметки
+
+- [[Обратное распространение ошибки]]
+- [[Backpropagation для многослойной нейронной сети]]
+- [[Линейные модели]]