Функция стоимости является ключевой концепцией машинного обучения. Это функция, которая вычисляет разницу между прогнозируемым результатом и фактическим результатом. Одной из ключевых целей алгоритма машинного обучения является минимизация вывода функции стоимости.
В линейной регрессии функция стоимости использует «дисперсию» в статистике и науке о вероятностях. «дисперсия» в статистике используется для измерения отклонения от ожидаемого значения до фактического значения. Это естественно вписывается в сценарий линейной регрессии.
В логистической регрессии дело обстоит немного иначе. Причина в том, что гипотеза немного сложнее по сравнению с линейной регрессией. Чтобы найти подходящую функцию стоимости, нам нужно сначала определить требование функции стоимости:
в случае y = 1: стоимость должна быть очень высокой, если прогнозируемое значение близко к 0; и оно должно быть очень низким, если прогнозируемое значение близко к 1;
если y = 0: стоимость должна быть очень высокой, если прогнозируемое значение близко к 1; и оно должно быть очень низким, если прогнозируемое значение близко к 0;
Люди находят ниже функцию стоимости, которая может удовлетворить требование:
в случае y = 1: -log(h(x))
в случае y = 0: -log(1-h(x))
