posso impostare logstash mappatura elasticsearch predefinita attraverso elasticsearch-template.json

Question

Io uso logstash + elasticsearch per raccogliere syslog e voglio impostare TTL per log invecchiamento

trovo un file chiamato elasticsearch-template.json nel logstash, il percorso è logstash/logstash-1.4.2/lib/logstash/uscite/elasticsearch/elasticsearch-template.json

aggiungo informazioni TTL nel file in questo modo:

{ 
    "template" : "logstash-*", 
    "settings" : { 
    "index.refresh_interval" : "5s" 
    }, 
    "mappings" : { 
    "_default_" : { 
     "_all" : {"enabled" : true}, 
     "dynamic_templates" : [ { 
     "string_fields" : { 
      "match" : "*", 
      "match_mapping_type" : "string", 
      "mapping" : { 
      "type" : "string", "index" : "analyzed", "omit_norms" : true, 
       "fields" : { 
       "raw" : {"type": "string", "index" : "not_analyzed", "ignore_above" : 256} 
       } 
      } 
     } 
     } ], 
     "_ttl": { 
     "enabled": true, 
     "default": "1d" 
     }, 
     "properties" : { 
     "@version": { "type": "string", "index": "not_analyzed" }, 
     "geoip" : { 
      "type" : "object", 
      "dynamic": true, 
      "path": "full", 
      "properties" : { 
       "location" : { "type" : "geo_point" } 
      } 
     } 
     } 
    } 
    } 
} 

quindi riavviare logstash, eliminare tutto l'indice elasticsearch. Controllo la mappatura del nuovo indice in elasticsearch, ma non ha funzionato in questo modo.

Come posso configurare il modello di indice?

Answer 1

Non sembra che il file JSON sia nella cartella corretta. Ecco la documentazione su come utilizzare i modelli: http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/indices-templates.html Informazioni sulla cartella:

Config

modelli indice può anche essere posizionato all'interno del percorso di configurazione (path.conf) nella directory dei modelli (nota, fare sicuro di posizionarli su tutti i nodi principali idonei). Ad esempio, un file chiamato template_1.json può essere inserito in config/templates e verrà aggiunto se corrisponde a un indice. Ecco un esempio del file menzionato:

Answer 2

è necessario modificare la configurazione del logstash.

se hai seguito le impostazioni predefinite, logstash ha già creato un modello all'interno di elasticsearch chiamato logstash, logstash continuerà a utilizzare quel modello memorizzato in elasticsearch a meno che tu non lo dica esplicitamente.

modificare quel file di modello che hai trovato, ma in aggiunta a ciò, nella configurazione logstash, impostare la seguente:

output { 
    elasticsearch { 
    ... 
    template_overwrite => true 
    ... 
    } 
} 

Answer 3

ho creato nuovo file template.json e il percorso definito in modo da in blocco di uscita elasticsearch di logstash.yml file di configurazione:

stdout { codec => json_lines } 

elasticsearch { 

"hosts" => ["ip:port"] 
"index" => "name-of-index-%{+dd.MM.YYYY}" 
template => "/{path-to-logstash-folder}/templates/your-template.json" 
template_overwrite => true 
manage_template => false 
} 

DOCUMENT_TYPE per elastico ho definito nel blocco di ingresso del file di configurazione logstash.yml:

input { 

file { 
path => "/your-path-to-directory/*.log" 
type => "name-of-type" 
} 
} 

C'è il mio file template.json

{ 
"name-of-index": { 
"order": 0, 
"version": 50001, 
"template": "name-of-index-*", 
"settings": { 
    "index": { 
    "refresh_interval": "5s" 
    } 
}, 
"mappings": { 
    "_default_": { 
    "dynamic_templates": [ 
     { 
     "message_field": { 
      "path_match": "message", 
      "mapping": { 
      "norms": false, 
      "type": "text" 
      }, 
      "match_mapping_type": "string" 
     } 
     }, 
     { 
     "string_fields": { 
      "mapping": { 
      "norms": false, 
      "type": "text", 
      "fields": { 
       "keyword": { 
       "type": "keyword" 
       } 
      } 
      }, 
      "match_mapping_type": "string", 
      "match": "*" 
     } 
     } 
    ], 
    "_all": { 
     "norms": false, 
     "enabled": true 
    }, 
    "properties": { 
     "@timestamp": { 
     "include_in_all": false, 
     "type": "date" 
     }, 
     "geoip": { 
     "dynamic": true, 
     "properties": { 
      "ip": { 
      "type": "ip" 
      }, 
      "latitude": { 
      "type": "half_float" 
      }, 
      "location": { 
      "type": "geo_point" 
      }, 
      "longitude": { 
      "type": "half_float" 
      } 
     } 
     }, 
     "@version": { 
     "include_in_all": false, 
     "type": "keyword" 
     } 
    } 
    } 
}, 
"aliases": {} 
} 
}