precision

8calore

1risposta

Se utilizzare String o Integer in BigDecimal in Ruby

riferimento alla documentazione di BigDecimal classe, n,m = a.precs prec restituisce il numero di cifre significative (n) e numero massimo di cifre significative (m) di a. Sono perplesso dal seguente

5calore

4risposta

In realtà, matematicamente determinare la precisione e la scala di un valore decimale

Ho cercato in qualche modo di determinare la scala e la precisione di un decimale in C#, che mi ha portato a diverse domande SO, ma nessuno di loro sembra aver corretto risposte, o hanno titoli fuorvi

5calore

2risposta

virgola mobile di precisione più elevata utilizzando boost lib (superiore a 16 cifre)

Sto eseguendo una simulazione di esperimenti fisici, quindi ho bisogno di una precisione in virgola mobile molto elevata (più di 16 cifre). Uso Boost.Multiprecision, tuttavia non riesco a ottenere una

13calore

2risposta

Come posso testare l'uguaglianza in virgola mobile usando chai?

Stiamo usando Chai's BDD API per scrivere test di unità. Come possiamo affermare l'uguaglianza in virgola mobile? Per esempio, se provo a fare questa affermazione per verificare la presenza di un valo

5calore

4risposta

Controllo precisione divisione

consideri il seguente semplice divisione: A=8.868; A/0.1 ans = 88.679999999999993 Ciò provoca un piccolo errore, a causa di precisione in virgola mobile. C'è un modo per evitare che ciò accad

5calore

1risposta

Confusione sui tipi in FORTRAN

Sono stato in fase di scrittura di un codice FORTRAN per simulazioni numeriche di un problema di fisica applicata per più di due anni e ho cercato di seguire le convenzioni descritte in Fortran Best P

11calore

1risposta

NumPy virgola mobile errori di arrotondamento

Durante la ricerca di un po 'di roba NumPy, mi sono imbattuto in una domanda a discutere la precisione di arrotondamento di numpy.dot(): Numpy: Difference between dot(a,b) and (a*b).sum() Dato che mi

5calore

1risposta

numpy.sum è implementato in modo tale da evitare errori numerici?

È noto che l'aggiunta di numeri può causare errori numerici (ad esempio, se il primo numero è veramente grande, mentre ci sono molti altri numeri piccoli). Questo può essere risolto sommando i numeri

8calore

7risposta

Come utilizzare la funzione generica in C++?

Ho scritto questo codice in cui se rimetto il commento alla penultima riga ottengo l'errore - "deduzione argomento argomento/sostituzione fallita:". È a causa di qualche limite alle funzioni generiche

5calore

2risposta

Perché R non esegue correttamente la somma qui?

(Se la risposta è davvero come R utilizza numeri binari per memorizzare piccoli decimali, sarebbe ancora l'amore di conoscere i dettagli sul motivo per cui questo accade da qualcuno con conoscenze su