uscita perdita registro maggiore di 1

Question

Ho preparato diversi modelli per la classificazione binaria dei documenti nel campo della frode. Ho calcolato la perdita di log per tutti i modelli. Ho pensato che essenzialmente misurasse la confidenza delle previsioni e che la perdita di log dovesse essere nell'intervallo [0-1]. Credo che sia una misura importante nella classificazione quando il risultato - determinare la classe non è sufficiente ai fini della valutazione. Quindi se due modelli hanno acc, recall e precision abbastanza vicini, ma uno ha una funzione di log loss minore dovrebbe essere selezionato dato che non ci sono altri parametri/metriche (come tempo, costo) nel processo decisionale.

La perdita di registro per l'albero decisionale è 1.57, per tutti gli altri modelli è nell'intervallo 0-1. Come interpreto questo punteggio?

Answer 1

È importante ricordare che la perdita di registro non ha un limite superiore. La perdita di registro esiste nell'intervallo [0,   ∞)

Da Kaggle è possibile trovare una formula per la perdita di registro.

In quale y_ij è 1 per la classe corretta e 0 per altre classi e p_ij è la probabilità assegnata per tale classe.

Se guardiamo il caso in cui la perdita di registro media superiore a 1, è quando registro (p_ij) < -1 quando i è la vera classe. Ciò significa che la probabilità prevista per quella determinata classe sarebbe inferiore a exp (-1) o intorno a 0,368. Pertanto, è possibile che si verifichi una perdita di registro superiore a uno nel caso in cui il modello fornisca solo una stima di probabilità inferiore al 36% per la classe effettiva.

Possiamo anche vedere questo tracciando la perdita di log data varie stime di probabilità.