Dmitry
2.8 KiB
status, type, tags, created, updated, title, dg-home, dg-publish
| status | type | tags | created | updated | title | dg-home | dg-publish | ||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| seed | concept |
|
2026-01-18 | 2026-05-07 | Функция Потерь | false | false |
Функция Потерь
Общие Потери
Пусть c(j/i) - стоимость потерь от отнесения объекта $i$-класса с номером j, при этом c(i/i)=0.
m(j/i) - число объектов i класса неправильно классифицированных в j класс.
Тогда суммарные потери:$C_{N} = \sum\limits_{i=1}^{k}\sum\limits_{j=1}^{k}c(j/i)*m(j/i)$
Удельные Потери
Функция удельных потерь (C) — это предел отношения общих потерь к общему объему выборки (N) при бесконечном увеличении числа наблюдений (N→∞).
C=\lim_{N \to \infty}(\frac{1}{N}*C_{N})=\lim_{N \to \infty}\sum\limits_{i=1}^{k}\sum\limits_{j=1}^{k}C(j/i)*\frac{m(j/i)*n_{i}}{n_{i}*N}==\sum\limits_{i=1}^{k}\pi_{i}*\sum\limits_{i=1}^{k}C(j/i)*P(j/i)
\large \frac{m(j|i)}{n_{i}} \to^{P} P(j|i), где P(j|i) - вероятность отнесения объекта класса i к классу j.
\large \frac{n_{i}}{N} \to^{P} \pi_{i}, где \pi_{i} - вероятность того, что объект принадлежит к $i$-ому классу.
Величину \pi_{i} называют априорной вероятностью или удельным весом $i$-го класса.
Функция Потерь
$$C = \sum\limits_{i=1}^{k}\pi_{i}*\sum\limits_{j=1}^{k}C(j|i)*P(j|i)
$C^{(i)}=\sum\limits_{j=1}^{k}\pi_{i}*C^{(i)}$ - средние удельные потери от неправильной классификации всех анализируемых объектов.
---
Полагают, что потери $C(j|i)$ одинаковы для $\forall i,j$:
$C(j|i)=C_{0}=const,\ j \neq i,\ i,j=\overline{1,k}$
Тогда задача минимизации средних удельных потерь $(C \to \min)$ сводится к **максимизации вероятности правильной классификации**.
$$\sum\limits_{i=1}^{k}\pi_{i}*P(i|i) \to \max$$
## Связанные заметки
- [[Линейные модели]] — MSE → min в МНК и C → min в ДА — один и тот же принцип минимизации ошибки; в ML реализован численно через градиентный спуск
- [[Принципы дискриминантного анализа]] — контекст применения функции потерь