Differenza tra na(). Cadere() e filtro (col.isNotNull) (Apache Spark)

Question

C'è qualche differenza nella semantica tra il df.na().drop() e df.filter(df.col("onlyColumnInOneColumnDataFrame").isNotNull() && !df.col("onlyColumnInOneColumnDataFrame").isNaN()) dove df è Apache SparkDataframe?

O devo considerarlo come un bug se il primo non restituisce dopo null (non una stringa Null, ma semplicemente un valore null) nella colonna onlyColumnInOneColumnDataFrame e il secondo fa?

MODIFICA: aggiunto !isNaN() pure. onlyColumnInOneColumnDataFrame è l'unica colonna nel dato Dataframe. Diciamo che il suo tipo è Integer.

Answer 1

Con df.na.drop() si rilasciano le righe contenenti qualsiasi valore null o NaN.

Con df.filter(df.col("onlyColumnInOneColumnDataFrame").isNotNull()) si rilasciano quelle righe che hanno solo null nella colonna onlyColumnInOneColumnDataFrame.

Se si desidera ottenere la stessa cosa, vale df.na.drop(["onlyColumnInOneColumnDataFrame"]).

Answer 2

Non so se hai la tua risposta. Ma questo dovrebbe funzionare:

df.na.drop(subset=["onlyColumnInOneColumnDataFrame"]) 

o anche:

df.na.drop(how = 'any')