Come viene implementato l'idioma Spark select-explode?

Question

Si supponga di avere un DataFrame con una colonna di stringhe, col1 e una colonna di array, col2. Mi chiedevo che cosa succede dietro le quinte nel funzionamento Spark:

df.select('col1', explode('col2'))

Sembra che select prende una sequenza di Column oggetti come input e restituisce una explodeColumn così il match tipi. Ma la colonna restituita da explode('col2') è logicamente di lunghezza diversa da col1, quindi mi chiedevo come select sa "sincronizzarli" quando costruisce il suo output DataFrame. Ho provato a guardare la classe Column per gli indizi ma non ho potuto trovare nulla.

Answer 1

La risposta è semplice: non esiste una struttura dati come Column. Mentre Spark SQL utilizza lo storage colonnare per la memorizzazione nella cache e può sfruttare il layout dei dati per alcune colonne di operazioni di basso livello, sono solo descrizioni di dati e trasformazioni e non contenitori di dati. Quindi semplificare le cose un po 'explode è ancora un altro flatMap su Dataset[Row].