C'è un modo per filtrare un campo che non contiene qualcosa in un dataframe di scintilla usando scala?

Question

Speriamo di essere stupido e sarà facile.

Ho un dataframe che contiene l'url e il referrer delle colonne.

Voglio estrarre tutti i referrer che contengono il dominio di primo livello "www.mydomain.com" e "mydomain.co".

posso usare

val filteredDf = unfilteredDf.filter(($"referrer").contains("www.mydomain.")) 

Tuttavia, questo tira fuori l'url www.google.co.uk di ricerca URL che contiene anche il mio dominio web per qualche motivo. C'è un modo, usando scala in spark, che io possa filtrare qualsiasi cosa con google in esso mantenendo i risultati corretti che ho?

Grazie

Dean

Answer 1

È possibile negare predicato utilizzando not o ! quindi tutto quello che è rimasto è quello di aggiungere un'altra condizione:

import org.apache.spark.sql.functions.not 

df.where($"referrer".contains("www.mydomain.") && 
    not($"referrer".contains("google"))) 

o filtro separato:

df 
.where($"referrer".contains("www.mydomain.")) 
.where(!$"referrer".contains("google")) 

Answer 2

È possibile utilizzare uno Regex. Here puoi trovare un riferimento per l'uso della regex in Scala. E here puoi trovare alcuni suggerimenti su come creare un'espressione regolare per gli URL.

Così, nel vostro caso si avrà qualcosa di simile:

val regex = "PUT_YOUR_REGEX_HERE".r // something like (https?|ftp)://www.mydomain.com?(/[^\s]*)? should work 
val filteredDf = unfilteredDf.filter(regex.findFirstIn(($"referrer")) match { 
    case Some => true 
    case None => false 
}) 

Questa soluzione richiede un po 'di lavoro, ma è la più sicura.