Nel API ufficiali Spark RDD:Interfaccia Spark Async per Fold, Reduce, Aggregate?
https://spark.apache.org/docs/2.1.0/api/java/org/apache/spark/rdd/AsyncRDDActions.html
conteggio, raccogliere, foreach, e prendere tutti hanno le varianti asincrone che restituiscono un futuro.
Perché piegare, ridurre e aggregare non hanno questa interfaccia asincrona/futura? Sembra abbastanza importante.
TL; DR: La differenza è tra "azioni" scintilla contro "trasformazioni": https://spark.apache.org/docs/2.2.0/rdd-programming-guide.html#rdd-operations
Avviso, che tutte le cose che avete elencato con un'opzione asincrono sono scintilla "azioni", il che significa che inizieranno a elaborare i dati subito e tenteranno di tornare in modo sincrono. Potrebbe essere necessario molto tempo se ci sono molti dati, quindi è bello avere un'opzione asincrona.
Nel frattempo, le operazioni che hai elencato senza opzione asincrono sono scintilla "trasformazioni" che vengono valutati pigramente, il che significa che crea istantaneamente un piano per fare il lavoro, ma non sarà effettivamente elaborare tutti i dati fino a quando si applica una "azione" più tardi per restituire risultati.
Nel frattempo, hai il codice specifico o un problema che stai cercando di risolvere con questo?
E saveAsObjectFile – arivero