Utilizzare grok per aggiungere il nome file di registro come campo nel logstash

Question

Sto utilizzando Grok & Logstash per inviare registri di accesso da Nginx a Ricerca elastica. Sto dando a Logstash tutti i miei registri di accesso (con un jolly, funziona bene) e vorrei ottenere il nome del file (parte di esso, per essere esatti) e usarlo come campo.

mio config è la seguente:

input { 
    file { 
    path => "/var/log/nginx/*.access.log" 
    type => "nginx_access" 
    } 
} 

filter { 
    if [type] == "nginx_access" { 
    grok { 
     match => { "message" => "%{COMBINEDAPACHELOG}" } 
     match => { "path" => "%{GREEDYDATA}/%{GREEDYDATA:app}.access.log" } 
     add_field => { "app" => "%{app}" } 
    } 
    } 
} 
output{ 
    # whatever 
} 

Ma non sembra funzionare: il campo app viene aggiunto, ma ha un valore di %{app} (non sostituito).

Ho provato diverse cose ma inutilmente. Potrei perdere qualcosa ... Qualche idea?

Grazie mille

Answer 1

Ok, trovato. grok interrompe la corrispondenza per impostazione predefinita. Quindi la prima partita è buona, salta la seconda.

ho risolto così:

filter { 
    if [type] == "nginx_access" { 
    grok { 
     match => { "message" => "%{COMBINEDAPACHELOG}" } 
     match => { "path" => "%{GREEDYDATA}/%{GREEDYDATA:app}.access.log" } 
     break_on_match => false 
    } 
    } 
} 

Answer 2

ho trovato più desiderabile utilizzare 2 blocchi Grok se ci saranno linee unmatching nei file di registro.

filter { 
    if [type] == "nginx_access" { 
    grok { 
     match => { "path" => "%{GREEDYDATA}/%{GREEDYDATA:app}.access.log" } 
    } 
    grok { 
     match => { "message" => "%{COMBINEDAPACHELOG}" } 
    } 
    } 
}