Spark MLlib - Formazione filtraggio collaborativo con feedback implicito - strani avvertimenti

Question

Sto cercando di costruire Collaborative filtering modello su ordine degli utenti e ottenere alcuni risultati utili con ALS.train() ma mi piacerebbe provare ALS.trianImplicit() ma trianImplicit() è la previsione solo zeri sullo stesso insieme di dati che ASL.train() Stavo facendo previsioni decenti.

Quando si utilizza ALS.trianImplicit() per addestrare il modello mi stavo seguenti avvertenze:

15/09/01 15:39:29 WARN BLAS: Failed to load implementation from: com.github.fommil.netlib.NativeSystemBLAS 
15/09/01 15:39:29 WARN BLAS: Failed to load implementation from: com.github.fommil.netlib.NativeRefBLAS 

Questo indica che si trattava di un errore e non gli avvertimenti e il modello non poteva allenarsi nulla a causa di librerie mancanti?

Answer 1

Come @eliasah ha sottolineato questo avviso non critico, ma potrebbe rallentare le prestazioni. L'utilizzo di BLAS nativo può comportare un enorme miglioramento delle prestazioni. Ci sono alcune istruzioni su https://github.com/amplab/ml-matrix/blob/master/EC2.md su come configurare Spark + BLAS su EC2.

Se il cluster è in esecuzione Ubuntu è possibile installare i seguenti pacchetti:

libblas3gf 
libblas-doc 
libblas-dev 

liblapack3gf 
liblapack-doc 
liblapack-dev 

Tuttavia, alcune persone hanno riportato una migliore performance di utilizzare http://www.openblas.net/ così si può provare ad installare che sui vostri lavoratori. Sarà inoltre necessario includere com.github.fommil.netlib con l'applicazione (attualmente Spark utilizza la versione 1.1.2).