SparkSQL legge dalla tabella del database MySQL usando Python

Question

Ho una tabella 'utente' in MySQL. Voglio leggerlo nel mio programma Spark SQL. Come posso leggere la tabella da MySQL al modulo SparkSQL di Apache Spark usando Python? C'è un connettore che posso usare per questo compito? Grazie.

Answer 1

C'è un similar question answered. Inizia pyspark come questo

./bin/pyspark --packages mysql:mysql-connector-java:5.1.38 

Poi basta eseguire

sqlContext.read.format("jdbc").options(
url ="jdbc:mysql://localhost/mysql", 
driver="com.mysql.jdbc.Driver", 
dbtable="user", 
user="root", 
password="" 
).load().take(10) 

Questo sarebbe molto probabilmente solo di lavoro. Ma questo dipende dal tuo setup mysql, quindi se non prova a cambiare password, username, db-url e altre impostazioni.