come pulire i log di hadoop-hdfs in/var/log/hadoop-hdfs

il mio nodo nome nel cluster hadoop è diventato in cattiva salute perché "la directory di registro del ruolo non è un file system con meno di 4 GB del suo spazio libero ./var/log/hadoop-hdfs (gratuito: 2,4 GB (11,12%), capacità: 21,7 GB "come pulire i log di hadoop-hdfs in/var/log/hadoop-hdfs

Ho esaminato quella cartella e ho scoperto che ho 5,5 GB di file di registro denominati" hdfs-audit.log " .0 "-" hdfs-audit.log.20 "in esso. Ho letto questi file e non ho davvero bisogno di salvare questi registri. Mi chiedo se esiste un modo per eliminarli definitivamente e non generarli mai più (? Ho provato a eliminarli manualmente, ma sembra che siano tornati dopo poche ore.)

Ho anche provato ad aggiungere "log4j.logger.org.ap ache.hadoop.hdfs.server.namenode.FSNamesystem.audit = WARN, NullAppender "nel mio /etc/hadoop/conf/log4j.properties. Ma non ha impedito a quei file di "tornare".

Grazie per il vostro aiuto in anticipo!

fonte

2013-08-12 Heidi Qiao

Quale versione di Hadoop stai correndo? Hai riavviato il namenode dopo aver apportato la modifica al file log4j.properties? –

@ChrisWhite L'ho riavviato proprio ora ei file di registro di controllo 5.5G sono ancora in/var/log/hadoop-hdfs. Devo cancellare manualmente poi di nuovo e poi ricominciare? –

E la versione è Hadoop 2.0.0-cdh4.3.0. Grazie! –

Prima di tutto, Hadoop è progettato per capacità molto più grandi di quelle che hai menzionato, il che significa che i registri di 5,5 GB non sono molto di solito. Questo spiega perché le impostazioni predefinite non sono appropriate nel tuo caso.

È possibile:

ridurre il numero di file di log che vengono mantenuti con il navigator.audit_log_max_backup_index (di solito 10)
o il file di registro massima dimensione variabile con navigator.audit_log_max_file_size

fonte

2015-02-21 22:24:59 Pixou

Grazie !! È passato un po 'di tempo da quando ho postato il problema, ma penso che abbiamo finito con la modifica di log_max_file_size per risolvere il problema. Sì, stavamo sperimentando qualcosa su un piccolo cluster, quindi le macchine non avevano grandi capacità. –

dove posso impostare queste variabili? Devo riavviare il datanode affinché queste modifiche riflettano? – amey91

come pulire i log di hadoop-hdfs in/var/log/hadoop-hdfs

risposta

Problemi correlati