Nel caso in cui si utilizza Ubuntu o alla menta, si può facilmente avere openblas NumPy collegato con l'installazione sia NumPy e openblas tramite apt-get come
sudo apt-get install numpy libopenblas-dev
Su un ubuntu finestra mobile fresca, ho provato il seguente script copiato dal blog postare "Installing Numpy and OpenBLAS"
import numpy as np
import numpy.random as npr
import time
# --- Test 1
N = 1
n = 1000
A = npr.randn(n,n)
B = npr.randn(n,n)
t = time.time()
for i in range(N):
C = np.dot(A, B)
td = time.time() - t
print("dotted two (%d,%d) matrices in %0.1f ms" % (n, n, 1e3*td/N))
# --- Test 2
N = 100
n = 4000
A = npr.randn(n)
B = npr.randn(n)
t = time.time()
for i in range(N):
C = np.dot(A, B)
td = time.time() - t
print("dotted two (%d) vectors in %0.2f us" % (n, 1e6*td/N))
# --- Test 3
m,n = (2000,1000)
A = npr.randn(m,n)
t = time.time()
[U,s,V] = np.linalg.svd(A, full_matrices=False)
td = time.time() - t
print("SVD of (%d,%d) matrix in %0.3f s" % (m, n, td))
# --- Test 4
n = 1500
A = npr.randn(n,n)
t = time.time()
w, v = np.linalg.eig(A)
td = time.time() - t
print("Eigendecomp of (%d,%d) matrix in %0.3f s" % (n, n, td))
Senza openblas il risultato è:
dotted two (1000,1000) matrices in 563.8 ms
dotted two (4000) vectors in 5.16 us
SVD of (2000,1000) matrix in 6.084 s
Eigendecomp of (1500,1500) matrix in 14.605 s
Dopo aver installato openblas con apt install openblas-dev, ho controllato il legame con NumPy
import numpy as np
np.__config__.show()
e le informazioni sono
atlas_threads_info:
NOT AVAILABLE
openblas_info:
NOT AVAILABLE
atlas_blas_info:
NOT AVAILABLE
atlas_3_10_threads_info:
NOT AVAILABLE
blas_info:
library_dirs = ['/usr/lib']
libraries = ['blas', 'blas']
language = c
define_macros = [('HAVE_CBLAS', None)]
mkl_info:
NOT AVAILABLE
atlas_3_10_blas_threads_info:
NOT AVAILABLE
atlas_3_10_blas_info:
NOT AVAILABLE
openblas_lapack_info:
NOT AVAILABLE
lapack_opt_info:
library_dirs = ['/usr/lib']
libraries = ['lapack', 'lapack', 'blas', 'blas']
language = c
define_macros = [('NO_ATLAS_INFO', 1), ('HAVE_CBLAS', None)]
blas_opt_info:
library_dirs = ['/usr/lib']
libraries = ['blas', 'blas']
language = c
define_macros = [('NO_ATLAS_INFO', 1), ('HAVE_CBLAS', None)]
atlas_info:
NOT AVAILABLE
blas_mkl_info:
NOT AVAILABLE
lapack_mkl_info:
NOT AVAILABLE
atlas_3_10_info:
NOT AVAILABLE
lapack_info:
library_dirs = ['/usr/lib']
libraries = ['lapack', 'lapack']
language = f77
atlas_blas_threads_info:
NOT AVAILABLE
Non mostra linkage to openblas.Tuttavia, il nuovo risultato dello script mostra che NumPy deve aver usato openblas:
dotted two (1000,1000) matrices in 15.2 ms
dotted two (4000) vectors in 2.64 us
SVD of (2000,1000) matrix in 0.469 s
Eigendecomp of (1500,1500) matrix in 2.794 s
Quando si dice che c'era un degrado delle prestazioni, sei sicuro che il problema era abbastanza grande da giustificare i thread aggiuntivi? Per problemi troppo piccoli causerai un peggioramento delle prestazioni quando usi thread aggiuntivi, e non so se openblas sia abbastanza intelligente da usare solo thread aggiuntivi quando sono utili. – DaveP
Per verificare la variazione delle prestazioni con le dimensioni del problema, ho provato a utilizzare la funzione numpy.linalg.svd su matrici generate casualmente di varie dimensioni (100x100, 100x1000, 1000x1000, 1000x10000,10000x10000) ma in tutti questi casi il i migliori tempi di esecuzione si ottengono con il thread singolo in openblas. Anche per carichi di calcolo pesanti (ad es. 10000x10000 matrice SVD) il singolo thread impiega 5000 secondi mentre 3 thread impiegano 6000 secondi. Questo mi preoccupa un po ', voglio solo verificare se l'integrazione di openblas è giusta. – Vijay