In Python piccoli galleggianti tendenti a zero

Question

Ho un classificatore bayesiano programmato in Python, il problema è che quando moltiplico le probabilità di funzionalità ottengo MOLTO piccoli valori float come 2.5e-320 o qualcosa del genere, e all'improvviso si trasforma in 0.0. Lo 0.0 è ovviamente inutile poiché devo trovare la "migliore" classe in base alla quale la classe restituisce il valore MAX (valore maggiore).

Quale sarebbe il modo migliore per affrontare questo? Ho pensato di trovare la parte esponenziale del numero (-320) e, se è troppo bassa, moltiplicando il valore per 1e20 o un valore del genere. Ma forse c'è un modo migliore?

Answer 1

Quello che descrivi è un problema standard con il classificatore naive Bayes. Puoi cercare underflow con quello per trovare la risposta. oppure vedere here.

La risposta breve è che è standard per esprimere tutto ciò in termini di logaritmi . Quindi piuttosto che moltiplicare le probabilità, si sommano i loro logaritmi.

Si potrebbe voler esaminare anche altri algoritmi per la classificazione.

Answer 2

Dai un'occhiata a Decimal dallo stdlib.

from decimal import Decimal, getcontext 

getcontext().prec = 320 

Decimal(1)/Decimal(7) 

Non sto inviando i risultati qui perché è piuttosto lungo.

Answer 3

Floating point I numeri non hanno una precisione infinita, motivo per cui hai visto i numeri girare a 0. Potresti moltiplicare tutte le probabilità di un grande scalare, in modo che i tuoi numeri rimangano in una gamma più alta? Se sei solo preoccupato per il massimo e non la magnitudo, non hai nemmeno bisogno di preoccuparti di separarti alla fine. In alternativa è possibile utilizzare un decimale di precisione infinito, come suggerito da ikanobori.

Answer 4

Sarebbe possibile svolgere il proprio lavoro in uno spazio logaritmico? (Ad esempio, invece di memorizzare -32010, è sufficiente memorizzare -320 e utilizzare l'aggiunta anziché la moltiplicazione)