Zeppelin SqlContext registerTempTable problema

Question

Sto cercando di accedere ad alcuni dati JSON utilizzando sqlContext.jsonFile in zeppelin ...

seguente codice eseguire senza alcun errore:

import sys.process._ 
val sqlCon = new org.apache.spark.sql.SQLContext(sc) 
val jfile = sqlCon.jsonFile(s"file:///usr/local/src/knoldus/projects/scaladay_data/scalaDays2015Amsterdam_tweets.json") 

import sqlContext.implicits._ 
jfile.registerTempTable("jTable01") 

output :

import sys.process._ sqlCon: org.apache.spark.sql.SQLContext = org.apache.spark.sql.SQLContext@7034473 jfile: org.apache.spark.sql.DataFrame = [id: struct, content: string, hashtags: array, score: struct, session: string, timestamp: bigint, tweetId: bigint, username: string] import sqlContext.implicits.

dopo ho verificare la tavola nome che mi sono appena iscritto

sqlCon.tableNames().foreach(println)

output :

jTable01

ma quando provo a correre dopo ottengo un errore:

%sql 
select * from jTable01 

output :

no such table jTable01; line 1 pos 14

allo stesso tempo quando si esegue l'esempio di tutorial per "banca" funziona .... l'unica differenza Potrei capire che nel tutorial bancario stiamo usando sc.textFile ma nel mio caso volevo usare sqlContext.jsonFile.

potresti fornire indicazioni su come risolvere questo problema?

Answer 1

trovato la soluzione rimosso

val sqlCon = new org.apache.spark.sql.SQLContext(sc)

dal mio codice e utilizzato di default zeppelin SqlContext e funziona !!!

Answer 2

Nel mio caso non risolto fino a quando ho rimosso

import org.apache.spark.sql.SQLContext