Spark Graphx ha visualizzazione come Gephi

Question

Ciao, sono nuovo nel mondo grafico. Sono stato assegnato a lavorare sull'elaborazione dei grafici ora so che Apache Spark pensava di usarlo Graphx per elaborare un grande grafico. Poi mi sono imbattuto in Gephi fornisce una buona GUI per manipolare i grafici. Graphx ha tali strumenti o è principalmente una libreria di elaborazione grafica parallela. Posso importare i dati del grafico di JSON provenienti da Gephi in graphx? Per favore guida. So che è una domanda semplice ma valida. Grazie in anticipo.

Answer 1

In aggiunta a questo si può anche provare Graphlab https://dato.com/products/create/open_source.html

Esso supporta direttamente Spark RDD https://dato.com/learn/userguide/data_formats_and_sources/spark_integration.html

Non molto lavoro necessario dopo che

from pyspark import SparkContext 
import graphlab as gl 

sc = SparkContext('yarn-client') 

t = sc.textFile("hdfs://some/large/file") 
sf = gl.SFrame.from_rdd(t) 

# do stuff... 

out_rdd = sf.to_rdd(sc) 

Answer 2

Se si è nuovi nel mondo grafico, è possibile utilizzare Apache Zeppelin per Spark, ma il progetto Apache Zeppelin è incubatore.

Answer 3

No, Apache Spark Graphx non ha visualizzazioni, è solo un motore di elaborazione ma è possibile importare dati da gephi a graphx utilizzando l'API di Gephi.