importazione codice sorgente Spark in intellj, costruire Errore: non trovato: Tipo di SparkFlumeProtocol e EventBatch

Question

IntelliJ: 14.1.4

Spark: 1.5 rilascio del codice sorgente di

Sto importando il codice sorgente Spark in IntellJ e seguenti passaggi su Spark website.

Durante l'elaborazione e la compilazione del progetto vengono visualizzati degli errori di seguito. Ho cercato su Google e ho provato ciò che è suggested here in spark user list in "Genera fonti e cartelle di aggiornamento" nella barra degli strumenti di Maven per "Spark Project External Flume Sink", ma con gli stessi errori.

Sono quasi sicuro che si tratta di un problema di risoluzione poiché tutte le altre classi sono state risolte correttamente. Forse non sto usando IntelliJ correttamente? Qualche suggerimento per favore? Grazie mille.

Error:(45, 66) not found: type SparkFlumeProtocol 
    val transactionTimeout: Int, val backOffInterval: Int) extends SparkFlumeProtocol with Logging { 
                   ^
Error:(70, 39) not found: type EventBatch 
    override def getEventBatch(n: Int): EventBatch = { 

Answer 1

ho risolto il problema, e si scopre che la "scintilla progetto esterno Flume Sink" è esclusi durante l'importazione di codice sorgente di scintilla sotto le impostazioni predefinite.

Quello che ho fatto:

1. File -> Struttura del progetto -> Moduli -> "scintilla-streaming-flume-sink_2.10" -> Sorgenti
2. nella visualizzazione albero delle cartelle, inizialmente La cartella "target" è esclusa, ma le classi "SparkFlumeProtocol" e "EventBatch" sono compilate in questa cartella.
3. imposta la cartella "target" come "Sources", quindi lascia tutto sotto "target" come "Excluded" tranne per "scala-2.10", vedi screenshot allegato.

In questo modo, le classi di compilazione sono incluse e le classi possono essere risolte correttamente dopo un progetto di ricostruzione.

--- aggiornamento di giugno-8-2016 --------

o più specificamente, l'intero percorso di questo modulo

favore attenzione al tipo e colore, interesserà il nome del pacchetto

package org.apache.spark.streaming.flume.sink;