Dmitry
48 lines
2.8 KiB
Markdown
48 lines
2.8 KiB
Markdown
---
|
|
status: seed
|
|
type: concept
|
|
tags:
|
|
- math
|
|
- mephi
|
|
- statistics
|
|
- discriminant-analysis
|
|
created: 2026-01-18
|
|
updated: 2026-05-07
|
|
title: Функция Потерь
|
|
dg-home: false
|
|
dg-publish: false
|
|
---
|
|
|
|
# Функция Потерь
|
|
|
|
## Общие Потери
|
|
Пусть $c(j/i)$ - стоимость потерь от отнесения объекта $i$-класса с номером $j$, при этом $c(i/i)=0$.
|
|
$m(j/i)$ - число объектов $i$ класса неправильно классифицированных в $j$ класс.
|
|
|
|
Тогда суммарные потери:$$C_{N} = \sum\limits_{i=1}^{k}\sum\limits_{j=1}^{k}c(j/i)*m(j/i)$$
|
|
## Удельные Потери
|
|
**<u>Функция удельных потерь</u>** $(C)$ — это предел отношения общих потерь к общему объему выборки $(N)$ при бесконечном увеличении числа наблюдений $(N→∞)$.
|
|
$$C=\lim_{N \to \infty}(\frac{1}{N}*C_{N})=\lim_{N \to \infty}\sum\limits_{i=1}^{k}\sum\limits_{j=1}^{k}C(j/i)*\frac{m(j/i)*n_{i}}{n_{i}*N}=$$$$=\sum\limits_{i=1}^{k}\pi_{i}*\sum\limits_{i=1}^{k}C(j/i)*P(j/i)$$
|
|
$\large \frac{m(j|i)}{n_{i}} \to^{P} P(j|i)$, где $P(j|i)$ - вероятность отнесения объекта класса $i$ к классу $j$.
|
|
$\large \frac{n_{i}}{N} \to^{P} \pi_{i}$, где $\pi_{i}$ - вероятность того, что объект принадлежит к $i$-ому классу.
|
|
|
|
Величину $\pi_{i}$ называют **априорной вероятностью** или **удельным весом $i$-го класса**.
|
|
|
|
## Функция Потерь
|
|
$$C = \sum\limits_{i=1}^{k}\pi_{i}*\sum\limits_{j=1}^{k}C(j|i)*P(j|i)
|
|
$$
|
|
$C^{(i)}=\sum\limits_{j=1}^{k}\pi_{i}*C^{(i)}$ - средние удельные потери от неправильной классификации всех анализируемых объектов.
|
|
|
|
---
|
|
|
|
Полагают, что потери $C(j|i)$ одинаковы для $\forall i,j$:
|
|
$C(j|i)=C_{0}=const,\ j \neq i,\ i,j=\overline{1,k}$
|
|
|
|
Тогда задача минимизации средних удельных потерь $(C \to \min)$ сводится к **максимизации вероятности правильной классификации**.
|
|
$$\sum\limits_{i=1}^{k}\pi_{i}*P(i|i) \to \max$$
|
|
|
|
## Связанные заметки
|
|
- [[Линейные модели]] — MSE → min в МНК и C → min в ДА — один и тот же принцип минимизации ошибки; в ML реализован численно через градиентный спуск
|
|
- [[Принципы дискриминантного анализа]] — контекст применения функции потерь
|
|
|