Spark DataFrame e ridenominazione di più colonne (Java)

Question

Esiste un modo migliore per aggiungere o rinominare tutte o più colonne contemporaneamente a SparkSQL dato DataFrame piuttosto che chiamare più volte dataFrame.withColumnRenamed()?

Un esempio sarebbe se voglio rilevare le modifiche (utilizzando il join esterno completo). Poi sono rimasto con due DataFrame s con la stessa struttura.

Answer 1

Suggerisco di utilizzare il metodo select() per eseguire questa operazione. Infatti il ​​metodo withColumnRenamed() usa select() da solo. Ecco ad esempio come rinominare più colonne:

import org.apache.spark.sql.functions._ 

val someDataframe: DataFrame = ... 

val initialColumnNames = Seq("a", "b", "c") 
val renamedColumns = initialColumnNames.map(name => col(name).as(s"renamed_$name")) 
someDataframe.select(renamedColumns : _*) 

Answer 2

ho Hève appena trovato la risposta

df1_r = df1.select(*(col(x).alias(x + '_df1') for x in df1.columns)) 

a stackoverflow here (vedere la fine della risposta accettata)

Answer 3

Anche se non risponde alla tua domanda direttamente, ma aggiorno sempre i nomi delle colonne uno per uno. Dal momento che aggiorna solo i metadati DF, non v'è nulla di male (senza impatto sulle prestazioni) sull'aggiornamento nomi delle colonne uno per uno, per es .:

for c in DF.columns: 
    new_c = c.strip().replace(' ','_') 
    DF = DF.withColumnRenamed(c, new_c) 

Answer 4

or (a <- 0 to newsales.columns.length - 1) 
{ 
var new_c = newsales.columns(a).replace('(','_').replace(')',' ').trim 
newsales_var = newsales.withColumnRenamed(newsales.columns(a),new_c) 
}